Otonom sürüş için derin öğrenme tabanlı yenilikçi çözüm yaklaşımları

Abstract

Derin öğrenme alanındaki ilerlemeler, son yıllarda otonom sürüş teknolojilerinde önemli gelişmelere yol açmıştır. Bu gelişmeler, çeşitli endüstriyel ve akademik alanlarda büyük heyecan uyandırmış ve otonom araç teknolojilerinin gelişimine ivme kazandırmıştır. Derin öğrenme yöntemlerinin kullanımı, otonom araçların çevresel algılama, karar alma ve yol takibi gibi temel yeteneklerini geliştirmede kritik bir rol oynamıştır. Günümüzde geliştirilen birçok otonom araç, genellikle LiDAR, radar ve gelişmiş kameralar gibi maliyetli sensörlerle donatılmış zengin bir sensör altyapısı kullanmaktadır. Ancak, insan sürücüler, pahalı sensörlere ihtiyaç duymadan yalnızca görsel algılarıyla gündüz, gece ve hatta zorlu hava koşullarında etkileyici bir sürüş performansı sergileyebilmektedirler. Hem otonom araçlar hem de insan sürücüler, çevresel algılamalarına dayanarak hareket kontrol komutları üretirler. Bu komutlardan direksiyon açısı ve hızın tahmini, otonom sürüşün yerine getirilmesi gereken temel görevlerindendir. Bu tez çalışması, direksiyon açısını ve araç hızını tahmin etmek için monoküler kamera görüntüsünden elde edilen çeşitli anlamlı ipuçları kullanan uçtan uca bir yöntem sunmaktadır. Önerilen model çerçevesinde üç giriş görüntüsü kullanılmaktadır. Sahne dokusu ve görünüm detaylarını aktaran renkli görüntünün yanı sıra, uzamsal ve anlamsal çevre yapıları hakkında bilgi veren monoküler derinlik görüntüsü ve anlamsal segmentasyon görüntüsü de dahil edilmiştir. Ayrıca, zamansal özellikleri elde etmek için de LSTM birimleri kullanılmıştır. Önerilen çok girdili çok görevli model, gerçek dünya şartlarında insan sürücüler tarafından oluşturulmuş Udacity ve Sully Chen veri kümelerinde ve CARLA Sürüş Simülatörü üzerinden toplanan veri kümesinde değerlendirilmiş ve mevcut yöntemlerle karşılaştırılmıştır. Bu karşılaştırmalar sonucunda, önerilen modelin, Udacity veri kümesinde direksiyon açısı için %44,96 ve hız için %4,39 iyileştirme sağlayarak RMSE değerlerinde literatürdeki en başarılı sonuçlara ulaştığı gözlemlenmiştir. Benzer şekilde Sully Chen ve CARLA veri kümeleri üzerinde elde edilen sonuçlar da literatürdeki en başarılı sonuçlardır. Modelin her bir bileşenin etkinliğini değerlendirmek ve modele katkısını incelemek amacıyla kapsamlı bir eksiltme çalışması da gerçekleştirilmiştir. Elde edilen sonuçlar, yalnızca görsel girdi kullanan otonom sürüş sistemlerinin potansiyelini vurgulamaktadır. Araştırmanın sonunda, farklı amaçlar doğrultusunda otonom sürüş alanında çalışmak isteyen araştırmacılar için kolayca erişilebilecek, çeşitli amaçlara hitap eden kapsamlı bir veri kümesi oluşturulmuştur. Elde edilen veri kümesi, sensör çeşitliliği, toplanan veri miktarı ve veri çeşitliliği açısından mevcut literatürdeki en kapsamlı CARLA veri kümesi olmuştur. Bu veri kümesi, kullanıma hazır bir şekilde sunulmuştur, böylece araştırmacılar verilere ulaştıktan sonra hemen kullanabilirler. Söz konusu yaklaşım, araştırmacıların veri kümesi oluşturmak için zaman ve efor harcamadan hızlı bir şekilde CARLA veri kümesi üzerinde çalışmalarını sürdürmelerine olanak tanır.

Advances in deep learning have led to significant developments in autonomous driving technologies in recent years. These developments have aroused great excitement in various industrial and academic fields and accelerated the development of autonomous vehicle technologies. The use of deep learning methods has played a critical role in improving the basic capabilities of autonomous vehicles such as environmental sensing, decision making and lane following. Many autonomous vehicles developed today utilise a rich sensor infrastructure, often equipped with costly sensors such as LiDAR, radar and advanced cameras. However, without the need for expensive sensors, human drivers can achieve impressive driving performance in daytime, nighttime and even in extreme weather conditions using only their visual perception. Both autonomous vehicles and human drivers generate motion control commands based on their environmental perceptions. Among these commands, steering angle and speed estimation are the main tasks of autonomous driving. This dissertation presents an end-to-end method for estimating steering angle and vehicle speed using various meaningful cues extracted from a monocular camera image. Three input images are used in the proposed model. In addition to the colour image, which conveys scene texture and appearance details, the monocular depth image and the semantic segmentation image, which provide information about spatial and semantic structures of the environment, respectively, are also included. In addition, LSTM units are used to obtain temporal features. The proposed multi-modal multi-task model is evaluated and compared with existing methods on the Udacity and Sully Chen datasets generated by human drivers in real-world conditions and on the dataset collected through the CARLA Driving Simulator. As a result of these comparisons, it is observed that the proposed model achieves the state-of-the-art results in the literature in RMSE values by providing 44,96% improvement for steering angle and 4,39% improvement for speed in the Udacity dataset. Similarly, the results obtained on the Sully Chen and CARLA datasets are the most successful results in the literature. A comprehensive ablation study was also performed to evaluate the effectiveness of each component of the model and to examine its contribution to the model. The results obtained emphasise the potential of autonomous driving systems using only visual input. At the end of the research, a comprehensive dataset has been created for researchers aiming to work in the field of autonomous driving for various purposes. The obtained dataset has become the most comprehensive CARLA dataset in the current literature in terms of sensor diversity, collected data quantity, and data variety. This dataset has been made available ready-to-use, allowing researchers to utilize it immediately upon accessing the data. This approach enables researchers to work quickly on the CARLA dataset without spending significant time and effort to create a dataset.