Evrimsel hesaplama algoritmaları ile yapay sinir ağının bağlantı optimizasyonu

Abstract

Optimizasyon, bir problem için olası çözümler arasından en uygun çözümü bulma işlemidir. Optimizasyon problemleri kârın maksimuma çıkarılmasını ya da maliyetin minimuma indirilmesini amaçlamaktadırlar. Optimizasyon yöntemleri genel olarak klasik ve sezgisel yöntemler olmak üzere iki kategoride ele alınabilir. Parametre sayısının fazla olması ve arama uzayının büyük olması gibi nedenlerden dolayı gerçek dünya problemlerini çözmede klasik optimizasyon yöntemleri yetersiz kalmaktadır. Bu gibi durumlarda sezgisel optimizasyon yöntemleri tercih edilmektedir. Sezgisel optimizasyon yöntemleri, bir amacı gerçekleştirmek için çözüme ulaşmada doğal fenomenleri kullanmaktadırlar. Doğal fenomenlerin kullanılması sürü zekâsı kavramını ortaya çıkarmaktadır. Sürü zekâsı, kendi kendini organize eden ve merkezi olmayan sistemlerin toplu davranış şeklidir. Doğada bulunan sürü zekâsına kuş sürüleri, balıklar, karınca kolonileri vb. gibi sürü halinde yaşayan canlılar örnek verilebilir. Doğada bulunan canlıların hareketlerinden esinlenilerek geliştirilen Parçacık Sürü Optimizasyonu (PSO) da bir sürü zekâsı algoritmasıdır. Biyolojik sinir hücrelerine benzer başlıca ağ tipleri Hopfield, Boltzman makineleri, tekrarlayan ağlar ve iğneli ağlardır. Bu ağların yapısı çoğu zaman rastgele olmakla beraber manuel olarak da oluşturulabilmektedir. Gün geçtikçe ilerleyen teknoloji sayesinde biyolojik sinir sistemlerini modelleyen bu yaklaşımların önü açılmıştır. Bu çalışmada biyolojik sinir hücrelerinden ilham alınarak geliştirilen yeni bir ağ mimarisi geliştirilmiştir. Oluşturulacak olan yapay sinir ağının en iyi sonucu verebilmesi amacıyla ağda bulunan bağlantılar, ikili bir problem olarak ele alınmıştır ve BPSO (İkili Parçacık Sürü Optimizasyonu) ile çözüm aranmıştır. Ayrıca yapay sinir ağında bulunan bağlantıların ağırlıkları da sürekli PSO ile optimize edilmiştir. Sonuç olarak, biyolojik sinir sistemi ile uyumlu ve farklı tiplerdeki problemlere uygulanabilen esnek ve doğruluğu yüksek bir ağ yapısı oluşturulmuştur. Oluşturulan bu ağ yapısı farklı veri setleri üzerinde uygulanarak ağırlıkları hem PSO hem de BP (Geri Yayılım) ile eğitilmiş tam bağlantılı yapay sinir ağları ile kıyaslanmıştır. Ayrıca literatürde yapay sinir ağının bağlantı optimizasyonu için sıklıkla tercih edilen evrimsel hesaplama yöntemlerinden biri olan GA (Genetik Algoritma) ile bağlantı optimizasyonu işlemi de gerçekleştirilerek önerilen yöntem ile kıyaslanmıştır. Sonuç olarak biyolojik sinir ağlarının yapısına daha uygun bir yapay sinir ağı tasarımı için bir sürü zekâsı algoritması önerilmiştir. Önerilen yöntemin performansı 4 veri seti üzerinde araştırılmış ve karşılaştırmalar yapılmıştır. Elde edilen sonuçlar yapay sinir ağı bağlantı optimizasyonun ağın sınıflandırma performansını iyileştirdiği görülmüştür.

Optimization is the process of finding the most suitable solution among possible solutions for a problem. Optimization problems aim at maximizing profit or minimizing cost. Optimization methods can generally be considered in two categories as classical and heuristic methods. Due to the large number of parameters and the large search space, classical optimization methods are insufficient in solving real-world problems. In such cases, heuristic optimization methods are preferred. Heuristic optimization methods use natural phenomena to reach a solution to achieve a goal. The use of natural phenomena reveals the concept of herd intelligence. Swarm intelligence is the collective behavior of self-organizing and decentralized systems. Flock of birds, fish, ant colonies etc. to the herd intelligence found in nature. Animals that live in flocks are examples. Particle Swarm Optimization (PSO), which is inspired by the movements of living things in nature, is also a swarm intelligence algorithm. The main types of networks similar to biological neurons are Hopfield, Boltzman machines, repetitive networks, and needle networks. Although the structure of these networks is mostly random, they can also be created manually. Thanks to the advancement of technology day by day, these approaches that model biological nervous systems have been paved the way. In this study, a new network architecture was developed, inspired by biological nerve cells. In order for the artificial neural network to be created to give the best result, the connections in the network were considered as a binary problem and a solution was sought with BPSO (Binary Particle Swarm Optimization). In addition, the weights of the connections in the artificial neural network are continuously optimized with PSO. As a result, a flexible and highly accurate network structure has been created that is compatible with the biological nervous system and can be applied to different types of problems. This network structure was applied on different data sets and compared with fully connected artificial neural networks whose weights were trained with both PSO and BP (Backpropagation). In addition, the connection optimization process with GA (Genetic Algorithm), which is one of the most preferred evolutionary computation methods for the connection optimization of the artificial neural network in the literature, is also compared with the proposed method. As a result, a swarm intelligence algorithm has been proposed for an artificial neural network design that is more suitable for the structure of biological neural networks. The performance of the proposed method was investigated on 4 data sets and comparisons were made. The results show that neural network connectivity optimization improves the classification performance of the network.