Çoklu bant görüntü füzyon yoluyla gelişmiş hedef tespiti ve takibi

Abstract

Hedef tespit ve takibi son yıllarda gelişen ve önemi giderek artan kritik bir konu haline gelmiştir. Askeri ve sivil alanlar başta olmak üzere radar veya görüntü üzerinden hedef tespit ve takibi yapmak mümkündür. Özellikle maliyet açısından düşük olması ve kullanılabilirlik açısından günümüzde sıklıkla görüntü üzerinden hedef tespit ve takibi yapılmaktadır. Gelişen teknoloji ve yapay zekâ ile birlikte elde edilen tek bant görüntüler kolaylıkla kandırılabilir/atlatılabilir hale gelmiştir. Bu soruna çözüm olarak, çoklu bant görüntü füzyon yöntemi öne çıkmaktadır. Bu çalışmada, günümüzde sıklıkla kullanılan görünür bant ve kızılötesi bant görüntüler, modern füzyon tekniklerinden biri olan piksel bazlı uyarlanabilir ağırlıklı görüntü füzyonu (PAWIF) ve klasik füzyon tekniklerinden biri olan ayrık dalgacık dönüşümü kullanılarak birleştirilmiştir. 320x240 çözünürlüğe sahip ve çoklu hedef barındırarak birleştirilen görüntüler daha sonra takip performansını daha sağlıklı ölçebilmek adına 640x480 çözünürlüğe ölçeklendirilmiştir. Tespit ve takip performansını artırmak amacıyla çeşitli görüntü işleme teknikleri kullanıldıktan sonra modern tespit algoritmalarından birisi olan YOLO ve klasik tespit algoritmalarından birisi olan Haar Cascade kullanılarak tespit işlemi yapılmıştır. Her tespit adımından sonra yine günümüzde oldukça popüler olan DeepSORT algoritması ve klasik takip algoritması olan Basitleştirilmiş Kalman Filtre kullanılarak takip yapılmıştır. Modern ve klasik, tespit ve takip algoritmaları kullanılarak füzyon edilen görüntülerin hem görüntü işlemeli hem görüntü işlemesiz hem de füzyon edilmeden ki versiyonlarının performansları, tespit için Doğruluk (Accuracy), Duyarlılık (Recall), Kesinlik (Precision), F1 Skoru; takip için Çoklu Nesne Takip Doğruluğu (MOTA), Çoklu Nesne Takip Duyarlılığı (MOTP) ve Yüksek Düzey Takip Doğruluğu (HOTA) kullanılarak hesaplanmıştır. Tez çalışmasında elde edilen sonuçlar, modern füzyon yöntemlerinin modern tespit ve takip algoritmalarıyla birlikte kullanıldığında klasik yöntemlere kıyasla daha yüksek performans sağladığını ortaya koymuştur.