Yapay Ari Kolonisi Algoritmasi ile Özellik Seçimi

Abstract

Veri madenciliği ve makine öğrenmesi alanında özellik seçimi boyut indirgemek amacıyla yapılmaktadır. Bu sayede makine öğrenmesi yöntemleri ile işlenen veriler üzerinde hem işlem süresi azalmakta hem de gereksiz özelliklerin silinmesiyle makine öğrenmesi yöntemlerinin sınıflandırma başarıları artmaktadır. Özellik seçiminde veri kümesindeki özelliklerin sayısına bağlı olarak seçilebilecek özellik alt kümelerinin sayısı üstel şekilde artmakta ve bundan dolayı olası bütün çözümlerin denenerek optimum alt kümenin bulunması uzun süreler alabilmektedir. Tez kapsamında öncelikle özellik seçme problemi ikili optimizasyon problemi olarak ele alınmış ve her özelliğin seçilip seçilmediği {0,1} kümesi ile temsil edilmiştir. Bir özellik için 0 değeri özelliğin seçilmediğini ve 1 değeri ise özelliğin seçildiğini temsil etmektedir. İkili optimizasyon ile modellenen problemdeki çok zaman tüketebilen bu sürecin üstesinden gelmek amacıyla literatürde özellik seçimi için evrimsel hesaplama ve/veya sürü zekâsı algoritmalarına sıklıkla başvurulmaktadır. Bu algoritmalar ikili, ayrık, sürekli vb. herhangi bir optimizasyon probleminde optimum çözümü garanti etmese de makul sürelerde optimum veya yakın optimum çözümleri elde edebilmektedir. Bu tez çalışmasında sürü zekâsı alanının önde gelen üyelerinden biri olan yapay arı kolonisi algoritmasının ikili versiyonları üzerinde durulmuştur. 8 farklı ikili ABC algoritması 5 farklı veri setinde özellik seçme amacıyla kullanılmıştır. Bu algoritmalarda üretilen çözümlerin değerlendirilmesi amacıyla amaç fonksiyon olarak aşırı öğrenme makinesi ile eğitilmiş yapay sinir ağı kullanılmıştır. Bir çözümün değerlendirilmesi için çözümdeki özellikler ile veri kümesi indirgenmekte ve elde edilen indirgenmiş veri kümesi eğitim ve test olarak ikiye ayrılmaktadır. Eğitim veri seti üzerinde aşırı öğrenme makinesi ile yapay sinir ağı eğitilmekte ve eğitilmiş ağ ile test veri seti sınıflandırılmaktadır. Sınıflandırma hatası ise bu amaç fonksiyondan döndürülmekte ve çözümün kıyaslanması amacıyla kullanılmaktadır. Yöntemlerin veri kümelerine uygulanması sonucunda indirgenmiş veri kümeleri ile yapılan sınıflandırma işleminde hem eğitim başarısı hem de test başarılarının indirgenmemiş veri kümesine göre daha yüksek başarı elde ettiği görülmüştür. Ayrıca ikili ABC algoritmaların karşılaştırılmasında ise genetik operatörler kullanılarak ikili optimizasyon amacıyla uygulanan ABC algoritmasının diğer algoritmalardan daha başarılı sonuçlar ürettiği görülmüştür.

The feature selection is performed for the dimension reduction of the data in the fields of data mining and machine learning. Not only processing time of the machine learning methods is decreased, but also their classification success is improved on the data by removing irrelevant features from the dataset. By depending on the number of the features on the dataset, the number of feature subsets exponentially increases, and finding the optimum subset by evaluating all the possible solutions can consume much more time. In this thesis, the feature selection problem is considered as a binary optimization problem, and whether each feature is selected or not is represented with the set of {0,1}. 0 and 1 represent the unselected and selected feature, respectively. In order to cope with this time-consuming process of the problem modelled as a binary optimization problem, the evolutionary computing or swarm intelligence algorithms are often used for feature selection in the literature. These algorithms do not guarantee the optimum solution for the problem, but they guarantee to achieve the optimum or near-optimum solutions in a reasonable time. The artificial bee colony algorithm, which is a prominent member of swarm intelligence algorithms, is studied in this thesis. Eight different binary artificial bee colony algorithms are used for feature selection on five datasets. In order to evaluate the solutions produced by these algorithms, the artificial neural network trained by extreme learning machine is used. The dataset is reduced with the feature subset represented in a solution, and the resulting reduced dataset is divided into training and test sets for evaluating this solution. The artificial neural network is trained with the extreme learning machine on the training dataset and the test dataset is classified with the trained network. Classification error is returned from this objective function and used to compare the solutions. In order to evaluate a possible solution, the data are reduced by the feature subset, the extreme learning machine is trained on this reduced dataset, and the reduced dataset is classified with this trained network. Classification error is returned by this objective function, and it is used for comparing the solutions. As a result of the application of the methods to the datasets, it is seen that both the training and test successes in the classification process with the reduced datasets achieved higher success than the non-reduced dataset. Moreover, when the binary versions of ABC are compared, the binary ABC that modified with the genetic operators produced more successful results than the compared binary ABC variants.