Derin ögrenme yaklasimlariyla tibbi yara görüntülerinin segmentasyonu ve siniflandirilmasi

Abstract

Tıp alanında doktorların her ne kadar çalıştığı uzmanlık alanında becerileri yüksek olsa da, aynı hasta için farklı zamanlarda farklı karar verme durumları ve tedavi önermeleri söz konusu olabilmektedir. Bu durum, karar verme süreçlerinde danışılanlar arasında farklılıklara yol açabilmektedir. Bu tür öznelliklerin azaltılması ve giderek ortadan kalkabilmesi için tüm dünyada doktorlara yardımcı olabilecek nicel ölçütlere dayalı tanı sistemlerinin geliştirilmesi çalışmaları gün geçtikçe artmaktadır. Bu tez çalışmasında derin öğrenme tabanlı evrişimsel sinir ağı (ESA) yöntemleriyle tıbbi yara görüntülerinin segmentasyonu ve sınıflandırılmasının sağlanması amacıyla farklı yöntemler önerilmiştir. Tez çalışmasının kapsamı şu şekildedir: (i) Anlamsal bölütleme (semantik segmentasyon) yöntemleriyle yara görüntülerinin mevcut görüntüden ayrıştırılması, (ii) Ayrıştırılan görüntülerin literatürde güncel derin öğrenme mimarileri ile sınıflandırılması, (iii) Sınıflandırma aşamasında en iyi sonuçlar veren mimari için parametre optimizasyonunun yapılması, (iv) En başarılı yöntemden yola çıkılarak evrişimsel sinir ağları modellerinin tasarlanmasıdır. İlk olarak tıbbi yara görüntülerinin segmente edilmesi için kodlayıcı-kod çözücü (encoder-decoder) temelli 20 farklı yaklaşım ele alınmıştır. Kodlayıcı-kod çözücü tabanlı derin öğrenme mimarilerinin segmentasyon başarıları ile yara görüntülerinin segmentasyonunda farklı özellik çıkarıcı ESA mimarilerinin temel model olarak kullanıldığı durumlardaki segmentasyon başarısı incelenmiştir. Segmentasyon işleminde ön eğitimli derin öğrenme mimarilerinin yanı sıra 5 katmanlı bir Vanilla ESA ağı tasarlanmış ve segmentasyonda temel model olarak kullanılmıştır. Literatürde kodlayıcı-kod çözücü segmentasyon yöntemleriyle tıbbi yara görüntülerinin segmente edilmesi ilk defa bu tez kapsamında gerçekleştirilmiştir. İkinci olarak, yara görüntülerinin granül, nekrotik ve slough sınıflarından hangisine ait olacağına karar verecek şekildeki sınıflandırma probleminde, yöntemlerin sınıflandırma başarımları araştırılmıştır. Bunun için 19 adet ESA mimarisinin veri seti üzerinde sabit tanımlı parametrelerle başarılarının ölçülmesi hedeflenmiştir. Sonraki aşamada ise ESA mimarilerinde kullanılan parametre değerlerinin sonuçlar üzerindeki etkisi ele alınmıştır. Çalışmada yara görüntülerinin sınıflandırılmasında başarıyı en iyi bulan epok sayısı, yığın boyutu ve öğrenme hızı parametrelerinin bulunması da ele alınmıştır. Üçüncü olarak, 19 adet ESA mimarisinden, en başarılı yöntem olan AlexNet mimarisine odaklanılmıştır. Özgün olarak üretilen bir yara veri seti üzerinde, basınç ve diyabetik ayak yarası görüntülerinin sınıflandırılmasında kullanılan eğitim parametrelerinin başarıyı ne kadar etkilediği incelenerek, optimum sonuçların bulunmasında hangi parametre(ler)in etkili olduğu araştırılmıştır. Yapılan parametre optimizasyon deneylerinde, değerlendirme metrikleri üzerinde yapılan değişimler incelendiğinde öğrenme hızı parametresinin 1e-4 değerinde optimum değerleri ürettiği gözlenmiştir. Son olarak optimum sonuçların elde edildiği parametreler ile en iyi sonuçların elde edildiği AlexNet mimarisi modifiye edilmiş, farklı versiyonları önerilmiş ve sınıflandırma başarıları incelenmiştir. Farklı sayıda evrişim katmanına sahip yeni modeller üretilerek performansları ölçülmüş ve yara görüntülerinin tanımlanmasındaki başarımları karşılaştırılmıştır. Ayrıca AlexNet mimarisinin sınıflandırma katmanında bulunan Softmax Sınıflandırıcı yerine Destek Vektör Makinesi (SVM) sınıflandırıcısı da kullanılarak, karşılaştırmalı deneyler yapılmıştır. Bu modellerin eğitim ve test aşamalarında kullanılmak üzere yara görüntülerine ait 2100 adet görüntüden oluşan özgün yeni bir veri seti de oluşturulmuştur. Segmentasyon için tasarlanan kodlayıcı-kod çözücü tabanlı modeller arasında en yüksek doğruluğu elde eden MobileNet-UNet modelinin başarısı %99.67 olarak bulunmuştur. Sınıflandırma işlemi için en yüksek doğruluğa sahip ESA modeli AlexNet mimarisinin başarısı ise %95.83 olarak elde edilmiştir. Son olarak AlexNet mimarisinin geliştirilmesiyle önerilen modeller arasında altı evrişim katmanına sahip 6Conv_SVM modeliyle sınıflandırma doğruluğu %98.85 başarıya yükseltilmiştir. Özetle bu tez çalışmasında, tıbbı yara görüntüleri üzerinde otomatik karar vermeye yardımcı yeni yöntemlerin tasarlanması hedefiyle, derin öğrenme evrişimsel sinir ağı yöntemleri kullanılarak tıbbi yara görüntülerinin segmentasyonu ve sınıflandırılması için yeni yöntemler önerilmiştir.

In the field of medicine, although doctors have high skills in the specialty they work in, different decisions and treatment recommendations can be made for the same disease at different times. This may lead to differences among observers in decision-making processes. In order to reduce and gradually eliminate such subjectivity, efforts to develop diagnostic systems based on quantitative criteria that can help doctors all over the world are increasing day by day. In this thesis, different methods have been proposed to provide segmentation and classification of medical wound images with deep learning convolutional neural network methods.The scope of the thesis work is as follows: (i) Segmentation of wound images from the existing image by semantic segmentation methods, (ii) Classification of the segmented images with popular deep learning architectures in the literature, (iii) Parameter optimization for the architecture that gives the best results in the classification phase, (iv) Designing new convolutional neural network models based on the most successful method. First, 20 different encoder-decoder-based methods are discussed for segmenting medical wound images. The study discusses how deep learning performs in this field by examining the effects of these approaches on pixel-level (pixel-based) classification when used together with different featureextracting CNN architectures in the segmentation of wound images. Thus, the study also examines the segmentation success of the base (backbone) model. In the segmentation process, in addition to the pre-trained deep learning architectures, a 5-layer vanilla CNN network was designed and used as the base model in the segmentation. To our knowledge of the literature, this is the first attempt to segment medical wound images with encoder-decoder semantic segmentation methods undertaken within the scope of this thesis. Secondly, classification performances were investigated to decide whether the wound images belonged to granule, necrotic, and slough classes. For this, it is aimed to measure the success of 19 CNN architectures with constantly initialized parameters on the data set. The next stage discusses the effect of parameter values used in CNN architectures on the results. At this stage, finding the epoch number, batch size, and learning rate parameters that find the best success in the classification of wound images are also discussed. Thirdly, AlexNet architecture, which is the most successful method among 19 CNN architectures, is discussed. The effect of training parameters used in the classification of pressure and diabetic foot wound images on success was examined and investigated which parameter/s were effective in finding the optimum results. In the parameter optimization experiments, when the changes made to the evaluation metrics were examined, it was observed that the learning rate parameter produced the optimum values at the value of 1e-4. Finally, by using the parameters with which optimum results are obtained, the AlexNet architecture, in which the best results are obtained, has been modified, different versions have been proposed and the classification successes have been examined. The performances of the models with different number of convolution layers were measured and their performances in defining the wound images were compared. In addition, comparative experiments were carried out by using the SVM classifier instead of the Softmax Classifier in the classification layer of the AlexNet architecture. A unique data set consisting of 2100 images of wound images was created to be used in the training and testing stages of these models. The success of the MobileNet-UNet model, which achieved the highest accuracy among the encoder-decoder-based models designed for segmentation, was achieved at 99.67%. The success of the AlexNet architecture, which is the CNN model with the highest accuracy for the classification process, has been achieved at 95.83%. In addition, with the development of the AlexNet architecture, the classification accuracy was increased to 98.85% with the 6Conv_SVM model, which has six convolution layers, among the proposed models. In summary, in this thesis, new methods have been proposed for the segmentation and classification of medical wound images with deep learning CNN methods with the aim of designing new methods for automatic decision-making on medical wound images.