Evrişimli sinir ağları için hibrit bir iyileştirici geliştirilmesi

Abstract

The success of deep learning models depends not only on architectural design but also on the effectiveness of optimization algorithms responsible for updating model parameters. Although the Adam optimization algorithm, which has become an industry standard, provides high computational efficiency and fast convergence, it suffers from several structural limitations, including limited generalization capability, variance instability in the early stages of training, and excessive sensitivity to noisy gradients. To address these limitations and to ensure a more stable and robust learning process, this thesis proposes a novel hybrid optimization algorithm named Self-Confident RadaBelief (SCRB). The proposed method integrates the variance rectification mechanism of the RAdam algorithm with the precise gradient estimation strategy of AdaBelief. In addition, an L1-based variance smoothing term, which has not been previously explored in adaptive optimization methods, is introduced to enhance robustness against sudden and erroneous gradient fluctuations. This design enables the optimizer to achieve more reliable parameter updates, particularly in noise-sensitive training scenarios. The performance of the proposed algorithm was evaluated on multiple benchmark datasets representing varying levels of complexity, including CIFAR-10, CIFAR-100, Caltech-101, STL-10, and Fashion MNIST. All experiments were conducted using a Deep Convolutional Neural Network (Deep CNN) architecture enhanced with modern techniques such as Swish activation functions and Batch Normalization. Experimental results demonstrate that the SCRB algorithm outperforms widely used optimization methods such as Adam and RMSprop, particularly on high-complexity datasets. On the CIFAR-100 dataset, SCRB achieved an accuracy of 79.66%, surpassing Adam (78.72%) and RMSprop (77.19%). Furthermore, on the Caltech-101 dataset, which is characterized by an imbalanced data distribution, the proposed method exhibited superior computational efficiency by converging faster, reaching optimal performance at the 184th epoch. These findings indicate that SCRB provides a stable optimization process while significantly improving the generalization capability of deep learning models, making it an effective alternative for noise-sensitive image classification tasks.Derin öğrenme modellerinin başarısı, mimari tasarımın yanı sıra model parametrelerini güncelleyen optimizasyon algoritmalarının performansına da bağlıdır. Günümüzde endüstri standardı hâline gelen Adam optimizasyon algoritması, yüksek hesaplama verimliliği ve hızlı yakınsama kabiliyeti sunmasına rağmen; düşük genelleme kapasitesi, eğitim sürecinin başlangıcında gözlenen varyans kararsızlığı ve gürültülü gradyanlara karşı aşırı duyarlılık gibi yapısal sınırlamalara sahiptir. Bu tez çalışmasında, mevcut adaptif yöntemlerin bu kısıtlamalarını gidermek ve daha kararlı ve dayanıklı bir öğrenme süreci sağlamak amacıyla Self-Confident RadaBelief (SCRB) adı verilen özgün bir hibrit optimizasyon algoritması geliştirilmiştir. Önerilen yöntem; RAdam algoritmasının varyans doğrultma (rectification) mekanizması ile AdaBelief'in gradyan tahmin hassasiyetini birleştirmekte, buna ek olarak literatürde ilk kez önerilen L1 tabanlı varyans düzgünleştirme terimi sayesinde modelin ani ve hatalı gradyan dalgalanmalarına karşı daha dirençli hâle gelmesini sağlamaktadır. Algoritmanın performansı; farklı zorluk seviyelerini temsil eden CIFAR-10, CIFAR-100, Caltech-101, STL-10 ve Fashion MNIST veri setleri üzerinde, modern tekniklerle (Swish aktivasyon fonksiyonu ve Batch Normalization) güçlendirilmiş Derin Konvolüsyonel Sinir Ağı (Deep CNN) mimarisi kullanılarak değerlendirilmiştir. Deneysel sonuçlar, SCRB algoritmasının özellikle yüksek karmaşıklık içeren CIFAR-100 veri setinde %79,66 doğruluk oranına ulaşarak Adam (%78,72) ve RMSprop (%77,19) algoritmalarını geride bıraktığını göstermektedir. Dengesiz veri dağılımına sahip Caltech-101 veri setinde ise rakiplerine kıyasla daha hızlı yakınsama sağlayarak (184. epokta) hesaplama verimliliğini ortaya koymuştur. Elde edilen bulgular, geliştirilen yöntemin hem kararlı bir optimizasyon süreci sunduğunu hem de modelin genelleme yeteneğini artırarak gürültüye duyarlı görüntü sınıflandırma görevleri için etkin bir alternatif oluşturduğunu göstermektedir.