Hiperspektral Görüntüleme Yöntemi Kullanılarak Yenidoğan Sağlık Durumlarının Derin Öğrenme Metotları ile Sınıflandırılması

Abstract

Yenidoğan bebeklerin sağlık durumlarının hızlı ve zararsız bir şekilde erken tespiti, bebeklerin hem hayatta kalmasını hem de yaşam kalitesini artırabilir. Bu doğrultuda, yenidoğan bebeklerin sağlık durumu tespitinde en iyi yöntem, bebeğe en az invaziv girişim yapılan yöntemdir (az dokun-çok gözlemle prensibi). Yenidoğan Yoğun Bakım Ünitesinde (YYBÜ) bulunan yenidoğanların yaşatılması ve sekellerinin azaltılmasında önemli unsurlardan birisi de gelişen teknolojilerden faydalanılarak oluşturulacak ön tanı ve takip sistemleridir. Hiperspektral görüntüleme (HSG), doku biyopsisinden kaçınarak doku hakkında tanısal bilgiler verdiği için, temassız olarak yenidoğan sağlık durumunun tespitinde güçlü bir araç olarak görülmektedir. Tez çalışmasında kullanılan hiperspektral görüntüler, Selçuk Üniversitesi Tıp Fakültesi Yenidoğan Yoğun Bakım Ünitesindeki 19 farklı yenidoğandan elde edilmiştir. Toplamda 32 hiperküp ve bu hiperküplerden elde edilen 6528 hiperspektral görüntü mevcuttur. HSG kullanarak yenidoğanların sağlık durumunu tespit etmek için 2 boyutlu Evrişimli Sinir Ağları (2B-ESA) ve 3 boyutlu Evrişimli Sinir Ağları (3B-ESA) modelleri kullanılmıştır. Komşuluk çıkarma yöntemi kullanılarak mini küpler oluşturulup 3B-ESA ile sınıflandırma işlemi yapılmıştır. Sınıflandırma performansını değerlendirmek için genel doğruluk, Cohen'in kappa katsayısı, hassasiyet ve özgüllük değerleri hesaplanmıştır. Komşuluk çıkarma yöntemi kullanılarak %100 genel doğruluk, %100 Cohen'in kappa katsayısı, %100 hassasiyet ve %100 özgüllük değerine ulaşılmış ve tüm veriler doğru sınıflandırılmıştır. Ayrıca komşuluk çıkarma yöntemiyle az eğitim verisi kullanılarak yüksek doğruluk oranları elde edilmiştir. Bu sonuçlar yenidoğanlara ait hiperspektral görüntülerin sınıflandırılmasında derin öğrenme yöntemlerinin oldukça başarılı olduğunu göstermektedir.Rapid and harmless methods for early detection of the health status of premature babies can both ensure survival and improve these babies' quality of life. In this regard, the best method for health status detection of premature babies is the least invasive process (the principle of less touch/much more observation). In the neonatal intensive care unit (NICU), one of the important factors in keeping neonates alive and reducing their sequelae is the preliminary diagnosis and follow-up systems that will be created by using technologies that are still in the developmental stages. Hyperspectral imaging (HSI) is seen as a powerful tool for determination of neonatal health status because it provides diagnostic information about the disease. The hyperspectral images used in the thesis study were obtained from 19 different neonates in Selcuk University Medical Faculty Neonatal Intensive Care Unit. There are 32 hypercubes in total and 6528 hyperpectral images obtained from these hypercubes. 2 dimensional Convolutional Neural Networks (2D-CNN) and 3 dimensional Convolutional Neural Networks (3D-CNN) models were used to detect the health status of neonates using HSI. Mini cubes were created using the neighbourhood extraction method, and classification was done with 3D-CNN. In order to evaluate the classification performance, general accuracy, Cohen's kappa coefficient, sensitivity and specificity values were calculated. Using the neighbourhood extraction method, 100% overall accuracy, 100% Cohen's kappa coefficient, 100% sensitivity and 100% specificity were reached, and all data were classified correctly. In addition, high accuracy rates were obtained by using less training data with the neighboring method. These results show that deep learning methods are very successful in classifying hyperspectral images of neonates.