Canbilen, Ayşe Elifİnce, Ahmet Melih2025-09-102025-09-102025https://tez.yok.gov.tr/UlusalTezMerkezi/TezGoster?key=5NNqZKwwGohPh6_KCcfp-tXeB6YfFT8nMq-v2qafW8IuFcnXny7nbeUinSwXQqT2https://hdl.handle.net/20.500.13091/10759Bu tez çalışmasında; yüksek irtifa platform istasyonu (high altitude platform station, HAPS) destekli araçtan-her şeye (vehicle-to-everything, V2X) haberleşme sistemleri için çok ajanlı derin deterministik politika gradyanı (multi agent deep deterministic policy gradiant, MADDPG) algoritmasına dayalı yeni bir kaynak yönetim çerçevesi önerilmektedir. Geliştirilen sistem; bilgi güncelliği, enerji verimliliği ve iletişim kapasitesi gibi temel performans göstergelerini oldukça dinamik bir araç ortamında optimize etmeyi amaçlamaktadır. Önerilen yapı, karasal baz istasyonları ve yol kenarı birimlerini tamamlayıcı nitelikte olan HAPS ile geniş kapsama alanı ve daha güçlü görüş hattı iletişimi sağlamaktadır. Kaynak tahsisi, her biri bir araç kümesine karşılık gelen çok sayıda ajanın yer aldığı bir optimizasyon problemi olarak formüle edilmiştir. Ortamın karmaşıklığını yönetmek amacıyla ajanlar, zaman içinde optimal iletişim stratejilerini öğrenmek için MADDPG algoritmasını kullanmaktadır. Ödül fonksiyonu; bilgi yaşını (age of information, AoI) minimize eden, kanal kapasitesini gözeten ve iletim gücü sınırlamalarını dikkate alan çok kriterli bir yapı ile tasarlanmıştır. Bu sayede ajanlar, bilgi tazeliği ile kaynak verimliliği arasında denge kuran politikaları birlikte öğrenebilmektedir. Simülasyon sonuçları, önerilen HAPS destekli MADDPG çerçevesinin, klasik ve tamamen dağıtık yaklaşımlara kıyasla yakınsama hızı, kararlılık ve genel ödül performansı açısından üstün olduğunu göstermektedir. Özellikle HAPS entegrasyonu sayesinde, değişen araçlar arası mesafelerde daha kararlı ve güncel veri iletimi sağlanarak AoI performansı önemli ölçüde iyileştirilmiştir. Karşılaştırmalı değerlendirmeler, önerilen yöntemin çevresel dalgalanmalara karşı güçlü bir uyarlanabilirlik sunduğunu ve sınırlı ağ koşullarında üstün iletişim kalitesi sağladığını ortaya koymaktadır. Genel olarak, bu çalışma HAPS sistemlerinin ve derin pekiştirmeli öğrenme yaklaşımlarının bütünleşik kullanımının, yeni nesil araç haberleşme ağlarında akıllı ve ölçeklenebilir kaynak yönetimi sağlama potansiyelini güçlü bir şekilde ortaya koymaktadır.In this thesis, a novel resource management framework based on the multi-agent deep deterministic policy gradient (MADDPG) algorithm is proposed for high altitude platform station (HAPS)-enabled vehicle-to-everything (V2X) communication systems. The developed framework aims to optimize key performance indicators such as information freshness, energy efficiency, and communication capacity in highly dynamic vehicular environments. The proposed system integrates HAPS into the communication infrastructure as a complementary component to terrestrial base stations and roadside units, providing wider coverage and enhanced line-of-sight connectivity. Resource allocation problem is formulated as an optimization problem involving multiple agents, each representing a vehicle platoon. To handle the complexity of the environment, agents utilize the MADDPG algorithm to learn optimal communication strategies over time. The reward function is designed as a multi-objective structure that minimizes age-of-information (AoI), satisfies channel capacity constraints, and respects transmission power limits. This design enables agents to jointly learn policies that balance information freshness and resource efficiency. Simulation results show that the proposed HAPS-assisted MADDPG framework significantly outperforms both classical and fully decentralized approaches in terms of convergence speed, stability, and overall reward performance. In particular, HAPS integration allows for more stable and up-to-date data transmission across varying inter-vehicle distances, leading to significant improvements in AoI performance. Comparative evaluations also demonstrate that the proposed method offers strong adaptability to environmental dynamics and ensures superior communication quality under constrained network conditions.trElektrik ve Elektronik MühendisliğiElectrical and Electronics EngineeringMaster Thesis