Yenidoğan yoğun bakım üniteleri için termal görüntü analizi

Abstract

Sıcaklık ölçümü günlük yenidoğan bakımı için hayati önem taşımaktadır. Özellikle erken doğan ve çok düşük doğum ağırlığına sahip olan yenidoğanların vücut sıcaklığının sabit tutulması oldukça önemlidir. Dolayısıyla sıcaklığın doğru bir şekilde ölçümü ve sıcaklık değişimlerinin hızlı bir şekilde tespit edilmesi yenidoğan takibi için büyük önem arz etmektedir. Medikal kızılötesi termal görüntüleme teknolojilerinin hızlı gelişimi, sıcaklığın temassız ve doğru bir şekilde ölçülmesine imkân sağlamaktadır. Temassız, iyonize olmayan, non-invazif (cerrahi işlem gerektirmeyen) ve zararsız bir metot olan kızılötesi termal görüntülemenin yenidoğan yoğun bakım ünitesinde kullanılması son zamanlarda önem kazanmıştır. Kızılötesi termal görüntüleme, vücudun yaydığı kızılötesi enerjiyi yakalayarak, organlardan ve dokulardan yayılan sıcaklık dağılımını ölçmek için kullanılan bir görüntüleme tekniğidir. Termal görüntüleme, fizyolojik fonksiyon bozukluklarının lokalize olduğu yerdeki sıcaklık değişimlerinin saptanabilmesine olanak sağlamaktadır. Vücudun sıcaklık dağılımında ortaya çıkan asimetrilerin anormalliklere işaret etmesi, termal görüntüler kullanılarak bir ön-tanı sisteminin geliştirilebileceği fikrini ortaya çıkarmıştır. Bu tez çalışması, termal görüntüleme ile yenidoğanlardan alınan termal görüntülerin sağlıklı-hasta olarak sınıflandırılmasına yönelik gerçekleştirilen çalışmaları içermektedir. Bu tezde kullanılan görüntü koleksiyonu, TÜBİTAK tarafından desteklenen 215E019 numaralı proje kapsamında, Selçuk Üniversitesi Tıp Fakültesi Yenidoğan Yoğun Bakım Ünitesinde bulunan yenidoğan bebeklerden alınan termal görüntüler (vücut sıcaklık haritası görüntüleri) ile oluşturulmuştur. İlk olarak, termal görüntülerde bebeğin vücut bölgesi dışında kalan arka planı (sınıflandırma sonucunu olumsuz etkileyebilecek) çıkarmak için görüntülere segmentasyon işlemi uygulanmıştır. İkinci olarak, segmente edilmiş görüntülere çoklu çözünürlük analizi yöntemleri uygulanarak özellik vektörleri elde edilmiştir. Tezde kullanılan çoklu çözünürlük analizi yöntemleri; Ayrık Dalgacık Dönüşümü (ADD), Ayrık Ridgelet Dönüşümü (ARiD), Curvelet Dönüşümü (CuD) ve Contourlet Dönüşümü (CoD)' dür. Son olarak, elde edilen özellik vektörleri YSA kullanılarak sağlıklı-hasta olarak sınıflandırılmıştır. İlk kez bu tez çalışması ile çoklu çözünürlük analiz yöntemlerinin yenidoğan bebeklerin termal görüntülerinin sağlıklı-hasta olarak sınıflandırılmasındaki performansları değerlendirilmiştir. Elde edilen sonuçlar karşılaştırmalı olarak sunulmuştur. Tez çalışmasının ilk aşamasında, 19 sağlıklı ve 19 hasta yenidoğana ait 190 termal görüntünün sıcaklık haritaları kullanılarak sınıflandırılması işlemi gerçekleştirilmiştir. Segmente edilmiş 190 termal görüntüye çoklu çözünürlük analizi yöntemleri (ADD, ARiD, CuD ve CoD) uygulanarak özellik vektörleri çıkarılmış ve bu özellik vektörleri YSA kullanılarak sağlıklı-hasta olarak sınıflandırılmıştır. En yüksek sınıflandırma başarısı %100 ile ADD, en yüksek hassasiyet oranı %100 ile ADD, ARiD ve CuD, en yüksek özgüllük oranı ise %100 ile ADD kullanılarak elde edilmiştir. Daha sonra, özellik vektörlerinin boyutlarının azaltılabilmesi için çoklu çözünürlük analizi yöntemlerinin uygulanması sonucu elde edilen yaklaşım katsayılarından istatistiki özellikler (ortalama, standart sapma, varyans, çarpıklık katsayısı (skewness), basıklık katsayısı (kurtosis) ve moment) çıkarılarak YSA ile sınıflandırma işlemi gerçekleştirilmiştir. Bu sınıflandırmada termal görüntüler; ADD ile %74.74, ARiD ile %72.11, CuD ile %68.42, CoD ile %71.58 doğrulukla sınıflandırılmıştır. En yüksek hassasiyet oranı %81.05 ile ARiD, en yüksek özgüllük oranı ise %86.32 ile ADD kullanılarak elde edilmiştir. Tez çalışmasının ikinci aşamasında ise yenidoğan bakım ünitesinde kalp hastalığı (AORT Koarkrasyon, Pulmoner atreti) teşhisi konulmuş 14 hasta ve 29 sağlıklı prematüre (PRM) bebeğin RGB (kırmızı-yeşil-mavi) renk uzayına sahip termal görüntüleri kullanılmıştır. ADD, ARiD, CuD ve CoD uygulanarak özellik vektörleri çıkarılmış ve bu özellik vektörlerinin YSA kullanılarak sağlıklı-hasta olarak sınıflandırılması gerçekleştirilmiştir. Sınıflandırma sonucunda; ADD ile %81.40, ARiD ile %74.42, CuD ile %72.09 ve CoD ile %74.42 başarı sağlanmıştır. En yüksek hassasiyet oranı %57.14 ile CuD, en yüksek özgüllük oranı ise %100 ile ADD kullanılarak elde edilmiştir. Çıkan sınıflandırma sonuçlarına göre kullanılan termal görüntülerin sayısının yetersiz olduğu düşünülmüş ve bu nedenle ikinci bir sınıflandırma işlemi gerçekleştirilmiştir. Bu sınıflandırma işleminde ilk olarak, termal görüntülerin sayısının sentetik olarak artırılması için veri artırma yöntemi kullanılmıştır. 43 termal görüntü üzerinde veri artırma yöntemi uygulanarak her bir görüntüden 5 farklı görüntü daha elde edilmiştir. Böylece görüntü koleksiyonu 43 termal görüntüden 258 termal görüntüye artırılmıştır. Gerçekleştirilen sınıflandırma işleminde termal görüntüler; ADD ile %90.7, ARiD ile %90.7, CuD ile %91.09, CoD ile %91.09 doğrulukla sınıflandırılmıştır. En yüksek hassasiyet oranı %86.91 ile ADD, en yüksek özgüllük oranı ise %94.25 ile CuD kullanılarak elde edilmiştir. Sonuç olarak veri artırma yöntemi uygulanarak gerçekleştirilen sınıflandırmada daha yüksek doğruluk, hassasiyet ve özgüllük oranlarına ulaşılabildiği görülmüştür.

Measuring temperature has crucial importance for neonatal care. Especially keeping the body temperature of neonates who are premature and have low birth-weight constant is vital. Therefore, measuring the temperature correctly and detecting temperature changes quickly are quite important. Fast developments in medical infrared thermal imaging provided us with measuring temperature contactless and correctly. Using the infrared thermal imaging which is contactless, non-ionized, non-invasive, and harmless in neonatal intensive care units has gained importance recently. The medical thermal imaging is an imaging technique which is used to measure temperature distribution emitted by organs and tissues by catching infrared energy of the body. Thermal imaging can detect temperature changes which occurs at a body region where there are physiological dysfunctions. The detection of anomalies by the aid of the asymmetries observed at body temperature distribution revealed the idea of pre-diagnosing system installation by using thermal images. This thesis covers studies conducted to classify thermal images of neonates as a healthy or unhealthy. The thermal images (body temperature map images) used in this thesis were captured from the neonates in the Neonatal Intensive Care Unit of Selcuk University Faculty of Medicine within the scope of the project numbered 215E019 supported by TUBITAK. Firstly, the images were segmented to remove the background from the neonates' body region to avoid the effect of background on classification result. Secondly, multiresolution analysis methods were applied to segmented images to obtain feature vectors. Multiresolution analysis methods used in the thesis are Discrete Wavelet Transform (DWT), Discrete Ridgelet Transform (DRiT), Curvelet Transform (CuT), and Contourlet Transform (CoT). Finally, the obtained feature vectors were classified as healthy or unhealthy by using ANN. To the best of our knowledge, performance evaluation of multiresolution analysis methods used to classify thermal images of neonates as a healthy or unhealthy was carried out in this thesis for the first time. The evaluation results were presented comparatively. In the first stage of the thesis, the temperature map of 190 thermal images belonging to 19 unhealthy and 19 healthy neonates was classified. In the first implementation, multiresolution analysis methods (DWT, DRiT, CuT and CoT) were applied to the segmented 190 thermal images to extract the feature vectors. Then, these feature vectors were classified as healthy or unhealthy by using ANN. In the considered this implementation, the following statistical results were observed: the highest classification success (100%) with DWT, the best sensitivity rate (100%) was with DWT, DRiT, and CuT and the best specificity rate (100%) with DWT. In the second implementation, some statistical features (mean, standard deviation, variance, skewness, kurtosis, and moment) from approximation coefficients obtained by applying multiresolution analysis methods were extracted in order to reduce the dimension of feature vectors. After that, these statistical features were classified by using ANN. In this implementation, classification success for DWT, DRiT, CuT, and CoT was 74.74%, 72.11%, 68.42%, and 71.58%, respectively. The highest sensitivity rate (81.05%) was achieved with DRiT, while the highest specificity rate (86.32%) was reached with DWT. In the second stage of the thesis study, RGB color space conversion of thermal images belonging to 29 healthy premature (PRM) infants and 14 neonates who were diagnosed as heart disease (Aortic Coarctation, pulmonary artery) in the neonatal care unit were used. The feature vectors were extracted by using DWT, DRiT, CoT, and CuT. Then, these feature vectors were classified as healthy or unhealthy by using ANN. In this implementation, accuracy of classification for DWT, DRiT, CuT, and CoT was 81.4%, 74.42%, 72.09%, and 74.42%, respectively. The highest sensitivity rate (57.14%) was achieved with CuT, while the highest specificity rate (100%) was reached with DWT. Based on these results, it was thought that the number of thermal images used in the study was insufficient. As a result, a second implementation was performed. In this implementation, firstly the data augmentation method was used to increase the number of thermal images artificially. The data augmentation method was performed on 43 images which were used in the previous implementation in order to create further 5 different images from each image. Thus, the number of thermal images was increased from 43 to 258. In the second implementation, accuracy of classification for DWT, DRiT, CuT, and CoT was 90.7%, 90.7%, 91.09%, and 91.09%, respectively. The highest sensitivity rate (86.91%) was achieved with DWT, whereas the highest specificity rate (94.25%) was reached with CuT. The results of the second implementation show how the higher accuracy, sensitivity and specificity rates were achieved by using the data augmentation method.