İnsansız hava araçları ile haritalama ve yapay zeka tabanlı nesne tanıma

Abstract

Gelişen teknolojiyle birlikte İnsansız Hava Araçları (İHA) ile yapılan çalışmaların sayısı her geçen gün artmaktadır. Örneğin, yangın tespiti, doğal afetler sonrası ortaya çıkan zararın tespit edilmesi ve kazazedelere hızlı ulaşılması, tarım arazilerinde; ürünlerin takip edilmesi, ilaçlanması, hastalık tespiti ve toprağın nem durumunun takip edilmesi gibi birçok alanda İHA'lar sıklıkla kullanılmaktadır. Belirtilen örneklerdeki gibi ve çeşitli uygulamalarda, hedeflenen bilgilerin çıkarılmasında GPS, IMU, LiDAR, kamera gibi sensörler hayati önem taşımakta ve çeşitli sensörlerden faydalanılmaktadır. Bu çalışma kapsamında; kamera ve GPS sensörleri kullanılarak elde edilen sıralı görüntülerden mümkün olduğunca çok bilgi çıkarılması hedeflenmiştir. Bu nedenle farklı amaçlar için kullanılabilecek üç farklı algoritmayı içeren bir yaklaşım sunulmuştur. Yaklaşımda farklı ortamlarda çeşitli bilgilerin elde edilmesi için derin sinir ağları, coğrafi konumlandırma ve görüntü mozaikleme metotlarının birlikte kullanılması önerilmiştir. Yaklaşım ilk olarak derin öğrenme modeli ile başlamıştır. Uygulamada Faster R-CNN (Faster Region-based Convolutional Neural Network) isimli model kullanılmış ve nesne tespitindeki verimi hesaplanmıştır. Tespit edilen nesnelerin piksel koordinatları belirlendikten sonra coğrafi konumlandırma yöntemi ile nesnelerin GPS konumları belirlenmiştir. Bu hesaplama yapılırken kameranın sürekli olarak yere doğru baktığı ve İHA'nın yüksekliğinin değişmediği varsayılmıştır. Son olarak, belli bir sıraya göre elde edilmiş görüntüler görüntü mozaikleme yöntemi ile tek ve büyük bir görüntü haline getirilmiştir. Mozaikleme yönteminin sebep olabileceği hataların coğrafi konumlandırma ve nesne tespitinin verimini etkilememesi için önerilen yaklaşımın son aşamasında kullanılmıştır. Diğer iki yöntemin mozaikleme algoritmasının verimini etkilememesi için ise gerekli geometrik dönüşümler yapıldıktan sonra derin öğrenme ve coğrafi konumlandırma yöntemlerinin çıktısı olan görüntüler birleştirilmiştir. Böylece her bir metodun birbirini olumsuz yönde etkilemesi önlenmiştir. Sonuç olarak bu tez çalışmasında, farklı alanlarda kullanılması için görüntülerdeki nesnelerin tespiti ve bu nesnelerin coğrafi koordinatlarının belirlenmesi ve sıralı görüntülerin birleştirilmesi yapılmıştır.

With the developing technology, the number of studies with Unmanned Aerial Vehicles (UAV) is increasing day by day. For example, fire detection, detection of damage after natural disasters and rapid access to victims, in agricultural lands; UAVs are frequently used in many areas such as tracking of crops, spraying, disease detection and monitoring of soil moisture. As in the examples mentioned and in various applications, sensors such as GPS, IMU, LiDAR, camera are vital in extracting the targeted information and various sensors are used. In this dissertation; It is aimed to extract as much information as possible from the sequential images obtained using camera and GPS sensors. For this reason, an approach that includes three different algorithms that can be used for different purposes is presented. In the approach, it is proposed to use deep neural networks, geolocation and image mosaicing methods together to obtain various information in different environments. The approach first started with the deep learning model. In the application, a model named Faster R-CNN (Faster Region-based Convolutional Neural Network) was used and its efficiency in object detection was calculated. After the pixel coordinates of the detected objects were determined, the GPS locations of the objects were determined by the geolocation method. While making this calculation, it is assumed that the camera is constantly demonstrating towards the ground and the height of the UAV does not change. Finally, the images obtained in a certain order were turned into a single and large image with the image mosaic method. It was used in the last stage of the proposed approach so that the errors that may be caused by the mosaicking method do not affect the efficiency of geolocation and object detection. In order for the other two methods not to affect the efficiency of the mosaicing algorithm, the images that are the output of the deep learning and geolocation methods were combined after the necessary geometric transformations were made. Thus, each method has been prevented from affecting each other negatively. In conclusion, in this dissertation study, the detection of objects in the images, the determination of the geographical coordinates of these objects and the merging of sequential images were made for use in different areas.