UYDU-2019 Performans Ölçüm Metrik ve Kriterleri
Yarışmada yer alan otomatik tespit algoritmalarına ait yazılımların başarımı temel olarak arka plan pikselleri (yarışma kapsamında tespit edilecek sınıflara ait olmayan pikseller) hesaplamalardan çıkartıldıktan sonra, rastgele bir pikselin doğru sınıflandırılma olasılığı ile ölçülecektir. Doğru sınıflandırma olasılığı, doğru sınıflandırılan hedef piksellerinin, gerçek hedef pikselleri ile yazılım tarafından hedef olarak sınıflandırılan piksellerin birleşim kümesine oranı (Jaccard Indeks veya kesişimin birleşime oranı) ile hesaplanacaktır.
Doğru sınıflandırma olasılığı hesaplanırken yazılımların üretecekleri çıktı görüntülerinde yer alan olasılık değerleri eşiklenmeyecek; bunun yerine, ikili görüntülerde tercih edilen set kesişim operatörü yerine minimum operatörü, set birleşim operatörü yerine ise maksimum operatörü kullanılacaktır.
Yarışma Sıralamasına Esas Kabul Edilen Performans Metriği
Doğruluk maskeleri ve yazılım tarafından üretilen görüntülerdeki herhangi bir piksel konumunun x ile ifade edildiğini varsayalım. Tek bir test görüntüsü ve yarışmada ölçülen herhangi bir hedefin sınıfı kapsamında yazılım tarafından üretilen çıktı görüntüsü (P) ile doğruluk maskesi (G) için arka plan pikselleri hesaplamalardan çıkartıldıktan sonra elde edilen ilgi alanındaki doğru sınıflandırma olasılığı (D) şu şekilde hesaplanır:
Bu denklemde doğruluk maskesi, G, ilgili hedef sınıfına ait olan pikseller için 100, diğer pikseller için 0 değerini taşır. Benzer şekilde, yazılımların ürettikleri çıktı görüntüsünde her bir piksele o piksel için kestirilen hedef olma olasılığını 0-100 aralığında bir tam sayı olarak yazmaları gerekmektedir. Örnek bir doğruluk maskesi ve algoritma sonucu aşağıda gösterilmiştir. Bu örnek için doğruluk skoru 860/930 = %92.47 olarak elde edilir.
| 0 | 0 | 100 | 0 | 0 |
| 0 | 0 | 100 | 0 | 0 |
| 100 | 100 | 100 | 100 | 100 |
| 0 | 0 | 100 | 0 | 0 |
| 0 | 0 | 100 | 0 | 0 |
| 0 | 0 | 90 | 0 | 0 |
| 0 | 20 | 90 | 0 | 0 |
| 100 | 100 | 100 | 100 | 100 |
| 0 | 10 | 90 | 0 | 0 |
| 0 | 0 | 90 | 0 | 0 |
Test setini oluşturan K adet görüntü için ilgi alanındaki doğru sınıflandırma olasılığı, farklı görüntülerdeki ilgi alanının birleşim kümesi kullanılarak hesaplanacaktır:
Bu denklemde \(P_k\) ve \(G_k\) sırasıyla Görüntü-k için yazılım tarafından üretilen çıktı görüntüsü ve doğruluk maskesini göstermektedir.
Bütün hedef kategorilerinde yarışmaya katılan bir yazılımın tüm hedef kategorilerindeki toplam performansı, tüm hedef kategorilerindeki ortalama doğru sınıflandırma olasılığı ile belirlenecektir:
Performans Ölçme Yöntemi
Yazılımlar aşağıda özellikleri belirtilen donanım üzerinde koşacaktır:
- İşlemci
- 2.1 GHz 4 Çekirdek Xeon
- Bellek
- 16GB 2400MHz DDR4
- Grafik İşlemci
- Tesla P4
Yarışmacıların kullanacakları RAM ve GPU her bir yarışmacı için fiziksel olarak ayrılmıştır. CPU ise 8 çekirdekli Xeon E5-2620V4 2.1 GHz işlemciden sanallaştırma yoluyla 4 çekirdek olarak sağlanacaktır.
Yarışma sonuçlarının açıklanma tarihi belirli olduğu için yarışmaya katılan yazılımların hiçbir zaman kıstasına bağlı kalmadan test veri seti üzerinde koşması ve sonuç oluşturması olanaklı değildir. Her bir yarışmacıya, yazılımlarının 1 MegaPiksel/saniye ve üzerindeki hızlarda çalıştığı durumda tüm test setini bitirebilecekleri kadar eşit süre ayrılacaktır.
Herhangi bir yarışmacı yazılım için söz konusu eşit sürenin aşılması durumunda ilgili yazılımın testi durdurulacak ve test durdurulana kadar elde ettiği performans raporlanacaktır. Bu durumuda, yazılımın tüm test seti üzerindeki performansı, yazılımın işleyemediği görüntülerde çıktı görüntüsü olarak tüm pikselleri arka plan olarak sınıflandırdığı varsayılarak hesaplanacaktır.