Otonom sistemler için sensör füzyon ve görsel tabanlı konumlandırma

Abstract

İnsanlar gibi kendi kararlarını veren ve görevlerini gerçekleştiren otonom mobil robot uygulamalarının ihtiyaç duyduğu bir özellik, insansı görevleri robotlara yaptırma gerekliliğidir. Otonom bir robot, bulunduğu ortamın geometrik yapısını anlamalı, kendini doğru bir şekilde konumlandırmalı ve bu bilgileri kullanarak belirlenen görev noktasına yönlendiren bir hareket yörüngesi oluşturmalıdır. Özellikle tek bir sensörün yetersiz olduğu durumlarda, farklı sensörlerin birleştirilmesiyle elde edilen sensör füzyonu, mobil robot konumlandırma çalışmalarında önemli bir rol oynamaktadır. Son yıllarda, işlemci hızındaki gelişmeler sayesinde, düşük maliyetli monoküler kameralar kullanılarak gerçekleştirilen Görsel Odometri (Visual Odometry (VO)) yöntemlerine daha fazla odaklanılmıştır. Ayrıca, kameralara ek olarak düşük maliyetli Atalet Ölçü Birimi (Inertial Measurement Unit (IMU)) sensörlerini içeren VIO çözümleri, konumlandırmaya katkı sağlamak amacıyla tercih edilmeye başlanmıştır. Geleneksel geometrik tabanlı çözümler genellikle karmaşık dünyayı doğru bir şekilde temsil etmekte zorlanır ve güvenilir sonuçlar elde etmekte zorluk yaşar. Bu nedenle, günümüzde Yapay Zeka tabanlı çözümler, farklı ortamlara ve kolay uyarlanabilme avantajları nedeniyle geleneksel çözümlerin yerini almaktadır. Bu tez çalışması, yukarıda belirtilen bilgiler ışığında, tek bir sensörün yetersiz olduğu durumlarda otonom araç geliştirmek için iki farklı uygulama önermektedir. İlk uygulama, iç ortamda hareket eden bir İHA'nın konumunu tahmin etmek amacıyla görsel ve IMU bilgilerine dayalı derin öğrenme tabanlı bir hibrit mimari sunmaktadır. İkinci uygulama ise ardışık kamera görüntülerini işleyerek otonom aracın konumunu başarılı bir şekilde tahmin eden yapay zeka tabanlı farklı bir VIO uygulamasını, farklı bir füzyon tekniğiyle gerçekleştirmektedir. Her iki uygulama da otonom aracın konumlandırması için yenilikçi yöntemler sunmaktadır. Bu yöntemler, önceki çalışmalara kıyasla üstün performans sergileme eğilimindedir. Ayrıca, gerçekleştirilen uygulamaların gerçek zamanlı sistemlerde çalışabilecek nitelikte olduğu belirlenmiştir.

One of the essential features for autonomous mobile robot applications that make their own decisions and perform tasks like humans is the necessity of delegating humanoid tasks to robots. An autonomous robot should understand the geometric structure of its environment, accurately localize itself, and create a motion trajectory guiding it to the specified point using this information. Sensor fusion obtained by combining different sensors plays a significant role in mobile robot localization, especially in cases where a single sensor is insufficient. In recent years, advancements in processor speed have led to increased focus on Visual Odometry (VO) methods using low-cost monocular cameras. Additionally, Visual-Inertial Odometry (VIO) solutions, incorporating low-cost Inertial Measurement Unit (IMU) sensors alongside cameras, have been preferred to contribute to localization. Traditional geometric-based solutions often struggle to accurately represent complex environments and face difficulties in obtaining reliable results. Therefore, Artificial Intelligence-based solutions are increasingly replacing traditional methods due to their adaptability to different environments. In light of the information mentioned above, this thesis proposes two different applications for developing autonomous vehicles in cases where a single sensor is insufficient. The first application presents a deep learning-based hybrid architecture using visual and IMU information to predict the position of a UAV (Unmanned Aerial Vehicle) moving indoors. The second application implements an artificial intelligence-based VIO (Visual-Inertial Odometry) application successfully predicting the position of an autonomous vehicle by processing consecutive camera images, using a different fusion technique. Both applications offer innovative methods for the localization of autonomous vehicles, demonstrating a tendency to outperform previous studies. Furthermore, it has been determined that the implemented applications are capable of operating in real-time systems.