UYDU-2020 Performans Ölçüm Metrik ve Kriterleri

Yarışmada yer alan otomatik tespit algoritmalarına ait yazılımların başarımı temel olarak doğru sınıflandırılan arka plan pikselleri (yarışma kapsamında tespit edilecek sınıflara ait olmayan ve doğru sınıflandırılmış pikseller) hesaplamalardan çıkartıldıktan sonra, nesne bazında rastgele bir pikselin ortalama doğru sınıflandırılma olasılığı ile ölçülecektir. Nesne bazında doğru sınıflandırma olasılığı, nesne bazında doğru sınıflandırılan hedef piksellerinin, nesne bazında gerçek hedef pikselleri ile yazılım tarafından hedef olarak sınıflandırılan piksellerin birleşim kümesine oranı (Jaccard Indeks veya kesişimin birleşime oranı) ile hesaplanacaktır.

Yazılımlar her bir girdi görüntüsü için bir çıktı görüntüsü oluşturacktır. Çıktı görüntüsünde her bir piksel için pikselin
  • hangi hedef kategorisine ait olduğu (C)
  • görüntü içindeki tekil nesneye ait olduğu (N)
  • pikselin ilgili hedef kategorisine ait olma olasılığı (P)
yer alacaktır.
Hedef kategorileri aşağıdaki indeksler ile kodlanacaktır.
  • tünel: 1
  • köprü girişi/çıkışı: 2
  • bina/hangar: 3
  • gemi: 4
  • pist: 5
  • helipad: 6
  • uçak: 7
  • pol/radom: 8

Tekil nesne numarası 1-65535 aralığında olacaktır.
Pikselin ilgili hedef sınıfına ait olma olasılığı 0-100 aralığında tamsayı olarak kodlanacaktır.
Çıktı görüntüsü formatı Veriler bölümünde detaylı olarak açıklanmıştır.
Yazılımların ürettikleri çıktı görüntülerindeki nesneler gerçek nesnelere eşlenirken, her gerçek nesneye tek bir nesne eşleşecek ve eşleşme skoru maksimum olacak şekilde otomatik seçim yapılacaktır. Daha sonra her bir nesne için doğru sınıflandırma olasılığı hesaplanacaktır. Doğru sınıflandırma olasılığı hesaplanırken yazılımların ürettikleri çıktı görüntülerinde yer alan olasılık değerleri eşiklenmeyecek; bunun yerine, ikili görüntülerde tercih edilen set kesişim operatörü yerine minimum operatörü, set birleşim operatörü yerine ise maksimum operatörü kullanılacaktır.

Nesne Bazında Doğru Sınıflandırma Olasılığının Hesaplanması

Test görüntüsü k için, bir hedef kategorisine ait i nesnesinin yazılım tarafından üretilen j nesnesine eşlenmesi durumunda, nesne bazında doğru sınıflandırma olasılığı şu şekilde hesaplanır:

Bu denklemde Ωj yazılım tarafından üretilen olasılık görüntüsünde tekil nesne numarası j olan pikselleri; Ωi, doğruluk maskesinde tekil nesne numarası i olan pikselleri; Pkj(x), k görüntüsü için yazılımın üretiiği olasılık maskesini, Gki(x), k görüntüsüne ait doğruluk maskesini göstermektedir. Gki(x) k görüntüsünde x pikselinin 0 ile 100 arasında nesne olma olasılığını gösterir. Benzer şekilde Pkj(x), k görüntüsünde x pikselinin 0 ile 100 arasında nesne olma olasılığını gösterir.
Örnek bir doğruluk maskesi ve algoritma sonucu aşağıda gösterilmiştir. Bu örnek için nesne doğruluk skoru 860/930 = %92.47 olarak elde edilir.

0 0 100 0 0
0 0 100 0 0
100 100 100 100 100
0 0 100 0 0
0 0 100 0 0
Doğruluk maskesi
0 0 90 0 0
0 20 90 0 0
100 100 100 100 100
0 10 90 0 0
0 0 90 0 0
Algoritma sonucu

Yarışma Sıralamasına Esas Kabul Edilen Performans Metriği

Her bir kategori için doğru sınıflandırma olasılığı diğer kategorilerden bağımsız olarak hesaplanacaktır.Test setindeki toplam görüntü sayısı K olsun. K görüntünün her biri için yazılım maskesi Pk ve doğruluk maskesinde Gk bulunan en az bir ortak piksele sahip nesneler, azami skor üretecek şekilde eşleştirilecektir. Eşleşme sonucunda yazılım tarafından tekil bir nesne olarak işaretlenen ancak gerçek bir tekil nesne ile eşlenememiş nesneler yanlış alarm (FA); yazılım tarafından üretilen herhangi bir tekil nesne ile eşlenememiş gerçek nesneler ise kayıp (M) sayılacaktır. Yazılım tarafından üretilen tekil bir nesne ile eşlenen her bir gerçek nesne ise yakalama (H) sayılacak ve bu nesneler için doğru sınıflandırma olasılığı, Dki, hesaplanacaktır.
Test setini oluşturan K adet görüntü için eşleştirmeler ve hesaplandırmalar yapıldıktan sonra kategori skoru farklı görüntülerdeki ilgi alanının birleşim kümesi kullanılarak hesaplanacaktır:

Bu denklemde Nk, k görüntüsünde ilgili hedef sınıfındaki tekil hedef sayısını göstermektedir.
FAk, Mk ve Hk ise sırasıyla k görüntüsündeki toplam yanlış alarm, kayıp ve yakalama sayılarını vermektedir.

Bütün hedef kategorilerinde yarışmaya katılan bir yazılımın tüm hedef kategorilerindeki toplam performansı, tüm hedef kategorilerindeki ortalama doğru sınıflandırma olasılığı ile belirlenecektir:

Performans Ölçme Yöntemi

Yazılımlar aşağıda özellikleri belirtilen donanım üzerinde koşacaktır:

İşlemci
2.1 GHz 4 Çekirdek Xeon
Bellek
16GB 2400MHz DDR4
Grafik İşlemci
Tesla P4

Yarışmacıların kullanacakları RAM ve GPU her bir yarışmacı için fiziksel olarak ayrılmıştır. CPU ise 8 çekirdekli Xeon E5-2620V4 2.1 GHz işlemciden sanallaştırma yoluyla 4 çekirdek olarak sağlanacaktır.

Yarışma sonuçlarının açıklanma tarihi belirli olduğu için yarışmaya katılan yazılımların hiçbir zaman kıstasına bağlı kalmadan test veri seti üzerinde koşması ve sonuç oluşturması olanaklı değildir. Yarışmacıların yazılımlarının tüm test setini bitirebilmesi için çalışması gereken minimum hız 0.15 Megapiksel/saniye'dir.

Herhangi bir yarışmacı yazılım için söz konusu eşit sürenin aşılması durumunda ilgili yazılımın testi durdurulacak ve test durdurulana kadar elde ettiği performans raporlanacaktır. Bu durumuda, yazılımın tüm test seti üzerindeki performansı, yazılımın işleyemediği görüntülerde çıktı görüntüsü olarak tüm pikselleri arka plan olarak sınıflandırdığı varsayılarak hesaplanacaktır.