İnsansız hava araçlarında akıllı kontrol sistemlerine yönelik nesne takibi uygulamaları

Abstract

İnsansız hava araçları günümüzde sıklıkla kullanılmakta olup bunlara olan revaç ve ihtiyaç gün geçtikçe artmaktadır. Hava araçlarının insansız olması ile bu araçlarda otonom kontrol uygulamaları gereksinimi hızla artmaktadır. İnsansız hava araçları çeşitli koşullarda ve çeşitli görevler için kullanılmakta ve bu görevlerde tam otonom uçuş için akıllı kontrol uygulamaları gerekmektedir. Akıllı bir kontrol sisteminde çeşitli makine öğrenmesi, derin öğrenme ve istatistiksel öğrenme metotları gibi kontrol sistemleri geliştirilmiş ve geliştirilmeye devam etmektedir. Bilindiği üzere insansız hava araçları oldukça hızlı hareket edebilmektedir. Engelden kaçınma veya nesne takibi gibi özelliklere sahip bir insansız hava aracı göz önüne alındığında, kontrolü sağlayan akıllı kontrol sistemi kararları oldukça hızlı ve doğru vermelidir aksi halde hava aracı ya engele çarpacak ya da yanlış karar vererek nesneyi kaybedecektir. Bunun için geliştirilecek nesne takip algoritmasının iki olmazsa olmaz özelliğe sahip olması gerekmektedir. Bu özellikler hız ve doğruluktur. Algoritmanın hızlı olması kullanılacak algoritmanın işlem gücüne ve kullanılacak olan donanımın yeterliliğine bağlıdır. Algoritmanın doğruluğu ise kullanılan metodun sınıflandırma veya takip işlemini ne kadar doğru yaptığına bağlı olacaktır. Bu nedenle, bu çalışmada literatürde halihazırda kullanılan derin öğrenme ve istatistiksel öğrenme metotları kullanılarak performansları karşılaştırılmış ve insansız hava araçlarında akıllı kontrol sistemlerine en uygun nesne takibi metodu bulunmaya çalışılmıştır. Bu çalışmaya yönelik, bir insansız hava aracının 5, 10 ve 20 metre irtifalarda hareketli ve sabit uçuşlarından alınan görüntüler üzerinde Parçacık Filtresi (PF), Kalman Filtresi (KF), Faster R-CNN ve Single Shot Multibox Detector (SSD) yöntemleri kullanılarak nesne tanıma ve nesne takibi uygulamaları gerçekleştirilmiş, sonuçları karşılaştırılmış ve insansız hava araçlarında akıllı kontrol sistemlerine yönelik en uygun nesne takibi yöntemi bulunması amaçlanmıştır. Performans değerlendirmesi amacıyla her bir yöntemin her uçuş sırasında saniye başına kare (FPS), takip doğruluğu, GPU ve CPU kullanım yüzdeleri kıyaslanmıştır. Sonuçlar göz önüne alındığında, Faster R-CNN en yüksek başarı oranına sahipken bunu sırasıyla SSD, KF ve PF takip etmiştir. FPS oranları kıyaslandığında en iyi sonucu KF vermiş ve sırasıyla PF, SSD ve Faster R-CNN gelmiştir. FPS oranlarında SSD ve PF oldukça yakın çıkmışlardır. Kıyaslamalar sonucunda insansız hava araçları için akıllı kontrol sistemlerinde nesne takibi için kullanılmaya en uygun metot, ortalama 12 FPS ile hızı ve yakın mesafede ortalama %90 başarı oranı göz önüne alınarak SSD olarak görülmüştür. Fakat maliyetin, sistem ağırlığının ve işlem gücünün az olması gerektiği sistemlerde ise KF kullanımının uygun olacağı kararına varılmıştır.

Unmanned aerial vehicles are frequently used nowadays and the demand for them is increasing. As the aerial vehicles are becoming unmanned, the need for autonomous control applications increases rapidly. Unmanned aerial vehicles are used in a variety of conditions and for a variety of tasks, requiring intelligent control applications for full autonomous flight. In an intelligent control system, control systems such as various machine learning, deep learning and statistical learning methods have been developed and continue to be developed. As it is known, unmanned aerial vehicles can move very fast. When an unmanned aircraft with obstacle avoidance or object tracking is considered, the intelligent control system that provides control must make decisions very quickly and accurately, otherwise the aircraft will either hit the obstacle or lose the object by making the wrong decision. For this, the object tracking algorithm to be developed must have two essential features. These features are speed and accuracy. The speed of the algorithm depends on the computing power of the algorithm to be used and the adequacy of the hardware to be used. The accuracy of the algorithm will depend on how accurately the method used makes the classification or track the object. For this reason, in this study, the performance of deep learning and statistical learning methods used in the literature is compared and the most suitable method for object tracking for intelligent control systems in unmanned aerial vehicles is tried to find.For this study Particle Filter (PF), Kalman Filter (KF), Faster R-CNN and Single Shot Multibox Detector (SSD) are used in order to track objects during stable and moving flights on 5, 10 ,20 meter altitude. After this the results were compared and teh most suitable object tracking method is aimed to find. For the purpose of performance evaluation, frames per second (FPS), tracking accuracy, GPU and CPU usage percentages of each method during each flight were compared. When the results were considered, Faster R-CNN had the highest success rate, followed by SSD, KF and PF, respectively. When FPS ratios were compared, KF yielded the best results and PF, SSD and Faster R-CNN respectively. SSD and PF were very close in FPS rates. As a result of the comparisons, the most suitable method for tracking objects in smart control systems for unmanned aerial vehicles is observed as SSD by considering 12 FPS speed and average %90 success rate on lower altitude. However, in systems where cost, system weight and computing power should be low, it is concluded that the use of KF will be appropriate.