Kompleks değerli yapay sinir ağları için yeni aktivasyon fonksiyonlarının tanımlanması

Abstract

Kompleks değerli yapay sinir ağı (KDYSA), ağırlıkları, eşik değerleri, giriş, çıkış sinyallerinin tamamı kompleks sayılardan oluşan sinir ağlarıdır. KDYSA, kompleks sayılara sahip verileri doğrudan işlemek için geliştirilmiştir. Kompleks sayılara sahip verileri içeren problemlerin çözümünde, bilinen yöntem kullanıldığında, kompleks olan verinin reel ve imajiner kısımları için ayrı ayrı YSA uygulanması gerekmektedir. Hâlbuki aynı problem için KDYSA uygulandığında veriler üzerinde, reel ve imajiner kısımları ayırmaya gerek kalmadan, doğrudan işlem yapabilmektedir. Böylelikle problemlerin işlem zamanının azaldığı gibi ağın da doğruluk oranının arttırıldığı görülmüştür. KDYSA radar görüntüleme, telekomünikasyon, Fourier dönüşümü ile görüntü işleme ve karmaşık sayılarla uğraşan anten tasarımı gibi çeşitli alanlarda yaygın olarak kullanılmaktadır. Bu işlemleri yapan yapay sinir ağlarının performansı bazı faktörlere göre değişme göstermektedir. Bunlar; verilerin normalizasyonu, öğrenme oranı, başlangıç ağırlıkları ve uygun aktivasyon fonksiyonunu seçimi olarak sıralanabilir. Bu faktörlerden en önemlisi uygun aktivasyon fonksiyonunun seçimidir. Bir aktivasyon fonksiyonunun seçimi, kompleks geriye yayılım algoritmasının yakınsamasını ve genel oluşum özelliklerini belirler. Yapay sinir ağlarında aktivasyon fonksiyonun seçimi, eğitim dinamikleri ve görev performansı üzerinde önemli bir etkiye sahiptir. Bu tez çalışmasında, KDYSA performansını arttırmak ve eğitim süresini kısaltmak için yeni kompleks aktivasyon fonksiyonları tanımlanmıştır. Bu fonksiyonlar; kompleks swish, kompleks modifiye swish, kompleks e-swish ve kompleks düzleştirilmiş t-swish olarak isimlendirilmiştir. Yeni tanımlanan bu aktivasyon fonksiyonlarını kullanan ağların performansı, literatürde sıklıkla çözülen Exclusive-OR (XOR), Simetri ve Kanal dengeleme problemleri üzerinde değerlendirilmiştir. Elde edilen sonuçlar karşılaştırmalı olarak sunulmuştur.

Complex-valued artificial neural network (CVANN), whose parameters (weights, threshold values, input and output signals) are all complex numbers, was developed to process complex valued data directly. In the solution of problems involving data with complex numbers, ANN should be applied separately for real and imaginary parts of complex data when known method is used. However, when CVANN is applied for the same problem, data can be processed directly without having to separate real and imaginary parts. Thus, it has been observed that the processing time is reduced and the accuracy rate of network is increased. CVANN have become widely used in various fields such as radar imaging, communication signal processing, image processing with the Fourier transformation and antenna designing which dealing with complex numbers. The performance of the CVANN performing these processes varies depending on some factors. These factors are; minimization criterion, learning rate, initial bias and weights and activation function. The most important of these factors is activation function. The selection of the appropriate activation function determines the convergence and general formation characteristics of the complex back propagation algorithm. In this thesis, new complex activation functions are defined to increase the performance of our complex-valued neural network and shorten the training period. These functions are; complex swish, complex modified swish, complex e-swish and complex flatten t-swish. The convergence performance of networks using these newly defined activation functions has been evaluated on Exclusive-OR (XOR), Symmetry and fading equalization problems which are frequently solved in the literature. The results obtained are presented comparatively.