Şiir kategorisinin doğal dil işleme yöntemleri kullanılarak tahmin edilmesi

Abstract

Doğal dil işleme; insanlar tarafından kullanılan dillerin (doğal dil) bilgisayarlar tarafından anlaşılmasını, yorum ve cevap üretilmesini sağlayan bilgisayar bilimleri ve dilbilim yöntemlerinin birlikte kullanıldığı bir bilim alanıdır. Doğal dil işleme, insanlarla bilgisayarların etkileşimini artırmak ve özellikle büyük veri setleri üzerinde çalışan kurumlar ve araştırmacılar için doğal dil verilerini analiz etmeyi ve anlamayı kolaylaştırmak amacıyla kendine birçok uygulama alanı bulmuştur. Bu uygulama alanlarından bir tanesi de metinlerin sınıflandırılmasıdır. Bu tezde, metin formatında olan ve farklı kategoride yazılmış olan şiirlerin önceden etiketlenmiş olan kategorilere göre sınıflandırılması üzerine çalışma yapılmıştır. Çalışmada web kazıma yöntemi ile elde edilen ve 4198 adet şiirden oluşan veri seti kullanılmıştır. Veri seti üzerinde 13 farklı doğal dil işleme adımları uygulanmıştır. Söz konusu işlemlerin yapılabilmesi için Zemberek Kütüphanesi kullanılmıştır. Sınıflandırma işlemi için altı farklı makine öğrenmesi algoritması kullanılmış, elde edilen sonuçlar değerlendirilmiş ve model performansını artırmaya yönelik hiperparametre analizi yapılmıştır. Hiperparametre analizi için GridSearchCV ve RandomizedSearchCV yöntemleri kullanılmıştır. Sınıflandırma algoritmalarının sonuçları kıyaslandığında en yüksek doğruluk oranını Random Forest ve SVM algoritmalarının verdiği görülmüştür.

Natural language processing is a field of science that combines methods from computer science and linguistics to enable computers to understand, interpret and respond to human language (natural language). Natural language processing has found many applications to improve human-computer interaction and to make it easier to analyse and understand natural language data, especially for organisations and researchers working with large data sets. One such application is text classification. In this thesis, a study was conducted on the classification of poems in text format and written in different categories according to pre-labelled categories. The study used a dataset of 4198 poems obtained by web scraping. Thirteen different natural language processing steps were applied to the dataset. The Zemberek library was used to perform these operations. Six different machine learning algorithms were used for classification, the results obtained were evaluated and hyperparameter analysis was performed to improve model performance. The methods GridSearchCV and RandomizedSearchCV were used for the hyperparameter analysis. When the results of the classification algorithms were compared, it was found that the Random Forest and SVM algorithms gave the highest accuracy rate.