Yarışmada yer alan otomatik tespit algoritmalarına ait yazılımların başarımı temel olarak doğru sınıflandırılan arka plan pikselleri (yarışma kapsamında tespit edilecek sınıflara ait olmayan ve doğru sınıflandırılmış pikseller) hesaplamalardan çıkartıldıktan sonra, nesne bazında rastgele bir pikselin ortalama doğru sınıflandırılma olasılığı ile ölçülecektir. Nesne bazında doğru sınıflandırma olasılığı, nesne bazında doğru sınıflandırılan hedef piksellerinin, nesne bazında gerçek hedef pikselleri ile yazılım tarafından hedef olarak sınıflandırılan piksellerin birleşim kümesine oranı (Jaccard Indeks veya kesişimin birleşime oranı) ile hesaplanacaktır.
Test görüntüsü k için, bir hedef kategorisine ait i nesnesinin yazılım tarafından üretilen j nesnesine eşlenmesi durumunda, nesne bazında doğru sınıflandırma olasılığı şu şekilde hesaplanır:
Bu denklemde
Ωj
yazılım tarafından üretilen olasılık görüntüsünde tekil nesne numarası
j olan pikselleri;
Ωi, doğruluk maskesinde tekil nesne numarası i olan
pikselleri;
Pkj(x), k
görüntüsü için yazılımın üretiiği olasılık maskesini,
Gki(x), k
görüntüsüne ait doğruluk maskesini göstermektedir.
Gki(x)
k görüntüsünde x pikselinin 0 ile 100
arasında nesne olma olasılığını gösterir. Benzer şekilde
Pkj(x), k görüntüsünde x pikselinin 0 ile
100 arasında nesne olma olasılığını gösterir.
Örnek bir doğruluk maskesi ve algoritma sonucu aşağıda
gösterilmiştir. Bu örnek için nesne doğruluk skoru 860/930 =
%92.47 olarak elde edilir.
0 | 0 | 100 | 0 | 0 |
0 | 0 | 100 | 0 | 0 |
100 | 100 | 100 | 100 | 100 |
0 | 0 | 100 | 0 | 0 |
0 | 0 | 100 | 0 | 0 |
0 | 0 | 90 | 0 | 0 |
0 | 20 | 90 | 0 | 0 |
100 | 100 | 100 | 100 | 100 |
0 | 10 | 90 | 0 | 0 |
0 | 0 | 90 | 0 | 0 |
Her bir kategori için doğru sınıflandırma olasılığı diğer
kategorilerden bağımsız olarak hesaplanacaktır.Test setindeki toplam
görüntü sayısı K olsun. K görüntünün
her biri için yazılım maskesi
Pk
ve doğruluk maskesinde
Gk
bulunan en az bir ortak piksele sahip nesneler, azami skor üretecek
şekilde eşleştirilecektir. Eşleşme sonucunda yazılım tarafından tekil
bir nesne olarak işaretlenen ancak gerçek bir tekil nesne ile
eşlenememiş nesneler yanlış alarm (FA); yazılım tarafından üretilen herhangi bir tekil nesne ile
eşlenememiş gerçek nesneler ise kayıp (M) sayılacaktır. Yazılım tarafından üretilen tekil bir nesne ile
eşlenen her bir gerçek nesne ise yakalama (H) sayılacak ve bu nesneler için doğru sınıflandırma olasılığı,
Dki, hesaplanacaktır.
Test setini oluşturan K adet görüntü için
eşleştirmeler ve hesaplandırmalar yapıldıktan sonra kategori skoru
farklı görüntülerdeki ilgi alanının birleşim kümesi kullanılarak
hesaplanacaktır:
Bu denklemde
Nk, k görüntüsünde ilgili hedef sınıfındaki tekil hedef sayısını
göstermektedir.
FAk,
Mk
ve
Hk
ise sırasıyla k görüntüsündeki toplam yanlış alarm, kayıp ve yakalama
sayılarını vermektedir.
Bütün hedef kategorilerinde yarışmaya katılan bir yazılımın tüm hedef kategorilerindeki toplam performansı, tüm hedef kategorilerindeki ortalama doğru sınıflandırma olasılığı ile belirlenecektir:
Yazılımlar aşağıda özellikleri belirtilen donanım üzerinde koşacaktır:
Yarışmacıların kullanacakları RAM ve GPU her bir yarışmacı için fiziksel olarak ayrılmıştır. CPU ise 8 çekirdekli Xeon E5-2620V4 2.1 GHz işlemciden sanallaştırma yoluyla 4 çekirdek olarak sağlanacaktır.
Yarışma sonuçlarının açıklanma tarihi belirli olduğu için yarışmaya katılan yazılımların hiçbir zaman kıstasına bağlı kalmadan test veri seti üzerinde koşması ve sonuç oluşturması olanaklı değildir. Yarışmacıların yazılımlarının tüm test setini bitirebilmesi için çalışması gereken minimum hız 0.15 Megapiksel/saniye'dir.
Herhangi bir yarışmacı yazılım için söz konusu eşit sürenin aşılması durumunda ilgili yazılımın testi durdurulacak ve test durdurulana kadar elde ettiği performans raporlanacaktır. Bu durumuda, yazılımın tüm test seti üzerindeki performansı, yazılımın işleyemediği görüntülerde çıktı görüntüsü olarak tüm pikselleri arka plan olarak sınıflandırdığı varsayılarak hesaplanacaktır.