Geliştirilmesi planlanan model mimarisi (RetinaNet) [7] içinde yer alan ResNet [8] yapısının yerine, piramidal özellik hiyerarşisi sağlayan Image Cascade Network [9] mimarisi, deforme edilebilir ‘inception blokları’ [10] ile başarıyla oluşturulmuş ve test edilmiştir. RetinaNet mimarisine entegre edilen deforme edilebilir ağların mAP değerinde bir artışı desteklediği fakat bu değerin beklenilenden oldukça düşük (%2) bir artış sağladığı gözlemlenmiştir. Residual blokların ardından eklenen 1×1 konvolüsyonel katmanların, mAP değerlerini yükseltmesi beklenirken, azaltıcı bir etkisinin olması, bu evrede çıkarılan özniteliklerin model doğruluğunu ve tespitini olumsuz etkilediği anlaşılmıştır. Buna karşın RetinaNet mimarisi içerisinde yer alan ResNet yapısının Image Cascade Network ile değiştirilmesi (1.5x cascade levellerin kullanılması) model sonuçlarına olumlu yansımış ve mAP değerlerinde yukarı doğru bir yönelimi desteklemiştir. Bu noktadan yola çıkarak daha küçük (0.75x ve 0.50x) cascade levelleri eklenmiş ancak deforme edilebilir ağlardan elde edilen mAP kazancından daha az bir etki gözlemlenmiştir. Bunun nedeni veri setinde yer alan nesnelerin küçük olmasıdır, dolasıyla çözünürlüğü düşürmek her zaman optimal bir çözüm olarak tercih edilememiştir.

Test sonuçları incelendiğinde ise, geliştirilen modelin 4 farklı tür tespitinde bir fark gözlemlenmezken, başarı oranı %60 doğruluk sınırlarında kalmıştır. Bunun nedeni, aynı türe ait fakat farklı boyut ve şekillerde yer alan nesnelerin tespitinde, modelin her görüntüde benzer başarıyı gösterememesidir. Şekil 2’de örnek bir görsel eklenmiş ve ‘insan’ nesnesi olmayan yapılar ‘insan’ şeklinde etiketlenirken aynı zamanda iş araçları da ‘taşıt’ olarak etiketlenmemiştir. Özellikle aynı sahne görüntüleri üzerinde doğruluk değerlerindeki büyük farklılık (%30-%80), modele olan güveni azaltmış ve farklı çözümler aranmıştır. Geliştirilmesi planlanan modelin performansının değerlendirilmesi ve karşılaştırılması amacı ile eş zamanlı olarak kullanılan YOLOR [11] ve Faster R-CNN [12] model performanslarının çok daha iyi sonuç vermesi (%80~) farklı model seçimi ve çözüm yönteminin değiştirilmesi açısından değerlendirilmiş ve uygun bulunmuştur. Bu nedenle, mimari yapı ve metrik seçimlerinde farklı çözümlere yönelim sağlanmış, sonuç olarak ise YOLOR mimarisine birleşik ağlar eklenerek, halihazırda kabul edilebilir sonuçlar sunan modelin, ‘darknet’ [13] olarak yer alan kemik yapısındaki katmanlarda ağırlık sayısı sabit tutulmak şartı ile probleme uygun gizli katman tür dönüşümleri yapılmış, geliştirilmiş ve test edilmiştir. Yapılan değişiklikler ve modelin seçim nedeni ‘Algoritmalar’ bölümünde detaylandırılmıştır. Model sonuçları incelendiğinde, %87 oranında mAP değeri yakalanmıştır. Mimari yapıda yapılan değişiklikle beraber, özellikle veri setinin seçimi ve eşit bir şekilde eğitim test veri setlerine dağılımının yapılmasının, görüntülerin açısal olarak döndürülmesinin, görüntülere gürültü verilerinin eklenmesinin ve geometrik şekillere sahip nesne tanımlama algoritmalarının kullanılmasının problem çözümüne etkisinin [14] oldukça yüksek olduğu doğrulanmış ve etken parametre optimizasyonu bu etken dahilinde gerçekleştirilmiştir. Bu yöntemlerin etki oranının beklenilenden yüksek olmasının, görüntü boyutlarında yapılan azaltma ile bozulan görüntü yapısının benzerlik göstermesi, doğru yöntemlerin kullanıldığını doğrulamıştır.

Son olarak hali hazırda etiketlenmeye devam eden görüntüler eğitim ve doğrulama veri setlerine dahil edilmekte, model sonuçları değerlendirilerek mimari yapı gereksinimlerinin doğru bir şekilde geliştirildiği test edilmektedir. Yarışmanın bir sonraki aşaması olan simülasyon aşaması için, modelden elde edilen nesne konum bilgilerini istenilen formata dönüştürecek ve Teknofest Yarışma Kurulu tarafından bizlere iletilecek olan API ile görüntü adreslerini içeren json uzantılı dosyanın okunması ve görüntülerin birer birer çekilmesi ve bunun yanında, UAI ve UAP alanlarının görüntülerde tam halinin görünmeden önceki durumlarının ve bu alanlar üzerinde herhangi başka bir nesnenin bulunması halinde ‘inişe uygun değil’ olarak etiketlenmesi için hazırlanan python kodunda daha iyi sonuçlar elde etmek için geliştirmeler yapılmaktadır. ‘Özgünlük’ bölümünde detayları açıklanan yaklaşımların ve yöntemlerin, herhangi bir nesne tespit türünün yanlış tahmin edilmesi durumunun dolaylı olarak ‘iniş durumu’ etkenini de etkileyeceği hesaba katılarak, özellikle tespit edilen nesnelerin tür doğruluğunun maksimize edilmesi, birincil koşul olarak kabul edilmiştir. Sahip olunan sistem kaynaklarının kapasitesi dahilinde model eğitimleri gerçekleştirildiği için görüntüler orijinal boyutlarında değil, boyut indirgeme işlemi uygulandıktan sonra eğitime sokulmuştur. Bu yaklaşım büyük oranda bilgi kaybına neden olmakta ancak sahip olunan kaynaklar ile model eğitimine imkân sağlamaktadır. Şekil 3 ile eklenen görsel, mevcut durumda geliştirilmiş ve en iyi sonuçları sunan YOLOR mimarisi ile test edilmiş örnek bir görüntü üzerinde gerçekleştirilen etiketlemeyi göstermektedir.

Not: Farklı mimari sonuçlarının farklı görsellerle sunulması, farklı sahnelerdeki sonuçların sunulması için eklenmiştir. Aynı görüntü üzerinde, farklı model performansları daha önce açıklandığı gibi YOLOR mimarisinde en başarılı sonucu sunmuştur.

Örtük bilgi, YOLOR ile görevleri gerçekleştirirken makine öğrenimi modellerine etkili bir şekilde yardımcı olabilmektedir ve sinir ağları için, derin katmanlardaki özelliklerle elde edilmektedir. Gözlemlere karşılık gelmeyen ve tecrübe ile kazanılan bilgi, örtük bilgi olarak tanımlanmıştır. Özetle, sığ katmanlardan elde edilen özellikler “açık bilgi” olarak bilinirken, derin katmanlardan elde edilen özellikler ise “örtük bilgi” olarak adlandırılmaktadır. Açık model nesne türünü belirlemeye odaklanırken, örtülü model nesne özelliklerini de çıkarmaktadır. YOLOR mimarisi örtülü bilgiyi kullanmak için Manifold Alanı Azaltma, Çekirdek (Merkezi Nokta) Hizalama ve daha derin katmanlar kullanmaktadır. Manifold uzayı indirgeme, nesne türleri arasında poz tahmini ve sınıflandırma gibi çeşitli görevleri başarabilmemiz için manifold uzayının boyutlarının küçültülmesidir. Çekirdek Alanı Hizalaması ise, birden çok nesne tespiti yapan sinir ağlarında, çekirdek alanı yanlış hizalanması sorunu ile başa çıkmak için, çıktı özelliğinin ve örtük temsillerin hem toplamasını hem de çarpmasını gerçekleştirmektedir. Böylece merkezi nokta, bir ağın her bir çıktı merkezini hizalayacak şekilde çevrilebilmekte, döndürülebilmekte ve ölçeklenebilmektedir. Yarışma sürecinde gelinen aşamada, nesne çerçevelerinin doğru tespit edilmesine ve mAP değerinin yükseltilmesine büyük oranda ihtiyaç duyulması, YOLOR modelinin seçilme nedenlerinden birini oluşturmaktadır. Bunun anlamı, Özellik Piramit Ağları (FPN)’nda büyük ve küçük nesnelerin özelliklerini hizalamak için, bu özelliğin önemli olmasıdır. Ön tasarım raporunda belirtildiği gibi, RetinaNet mimarisine entegre edilmesi planlanan Image Cascade Network ve Deforme Edilebilir Ağlar ile ulaşılması planlanan hedef tam olarak bu probleme çözüm getirmek için önerilmiştir. Özellik piramitleri, farklı ölçeklerdeki nesneleri algılamak için tanıma sistemlerinde temel bileşenler olarak karşımıza çıkmaktadır. Bu nedenle, YOLOR mimarisi, daha önce belirlenen probleme özgü çözüm yöntemlerini ve benzer katman yapılarını barındırması nedeniyle çözüm mimarisi olarak RetinaNet yerine YOLOR seçilmiştir.

YOLOR mimarisi içerisinde kullanılan ‘Implicit Layer’ [18] katman sayısı öznitelik çıkarımının pekiştirilmesi için %50 oranla artırılmıştır ve bu kazancın kaybolmaması için bu katmandan sonra gelen katmanların önüne ‘Silence Layer’ [19] katmanları eklenmiştir. Ayrıca aktivasyon fonksiyonu problem için fazla esnek olduğu tespit edilen ‘mish’ [20] aktivasyon fonksiyonu yerine, ‘SiLU’ aktivasyon fonksiyonu [21] ile değiştirilerek, çözüm için görüntülerden elde edilen bilgi kazancı artırılmaya çalışılmıştır. Kayıp fonksiyonu olarak ise, normal ‘iou’ yerine, ‘ciou’ [22] fonksiyonu kullanılmıştır. YOLOR mimarisi kernel optimizasyonu gerçekleştirdiği için, hata hesaplamasının nesne merkezinden yapılmasının hem kayıp fonksiyonunun performansını görmek hem de model üzerindeki etkisini test etmek için seçilmiş ve beklendiği gibi diğer hata fonksiyonlarından daha iyi performans alınmıştır.