COVID-19 hastalığının derin öğrenme yöntemleri kullanılarak tespiti

Abstract

2019 yılının son günlerinde Çin'in Hubei eyaletinin Wuhan kentinde ortaya çıkan SARS-CoV-2 virüsü, dünya çapında ciddi bir salgına neden olmuştur. Zoonotik kökenli olduğu değerlendirilen SARS-CoV-2 virüsü ilk olarak Çin'i etkisi altına almıştır. İlerleyen günlerde söz konusu virüsün diğer ülkelere de yayılmasıyla Dünya'nın bütün ülkeleri ciddi biçimde salgından etkilenmeye başlamıştır. SARS-CoV-2 virüsü hastalarda solunum sıkıntısına neden olmaktadır. Söz konusu virüsün insanlarda neden olduğu zatürre, Dünya Sağlık Örgütü (DSÖ) tarafından COVID-19 (Coronavirus Disease-2019) hastalığı olarak isimlendirilmiştir. COVID-19 hastalığının yaygın semptomları ateş, öksürük, nefes darlığı, kas ağrısı ve halsizlik olarak sıralanmaktadır. Hastalığın genel olarak akciğer üzerinde oldukça ağır ve olumsuz etkileri vardır. Bilgisayarlı Tomografi (BT) ve X-ray görüntüleme, bir bakteri veya virüsün neden olduğu zatürrenin teşhisi ve klinik değerlendirmesi için önemli radyolojik bilgiler sağlamaktadır. COVID-19 hastalığının ortaya çıkmasından sonra söz konusu görüntüleme yöntemleri bu hastalığın radyolojik olarak görüntülenmesinde de yaygın olarak kullanılmaya başlamıştır. COVID-19 hastalığı akciğer üzerinde interstisyel tutuluma, iki taraflı ve düzensiz buzlu cam opasitelerine ve parankimal apselere neden olmaktadır. Bu radyolojik belirtiler BT ve X-ray görüntüleri üzerinden gözlemlenebilmektedir. Ayrıca, COVID-19 hastalığının radyolojik semptomları ile diğer viral veya bakteriyel zatürrelerin radyolojik semptomlarında bazı farklılıklar vardır. COVID-19 hastalığının en yaygın teşhisi, Ters Transkripsiyon-Polimeraz Zincir Reaksiyonu (TT-PZR) testi ile yapılmaktadır. Bu test genellikle birkaç saat içinde sonuç vermektedir. Ancak, TT-PZR testinin COVID-19 hastalığına sebep olan SARS-CoV-2 virüsünün tespitindeki duyarlılığı oldukça düşüktür. Yani, gerçekte virüs taşıyanlar söz konusu test ile sıklıkla yanlış teşhis edilebilmektedir. Bu sebeple DSÖ, sadece TT-PZR testi pozitif olan vakaların değil, TT-PZR sonucu negatif olmasına rağmen radyolojik veya klinik semptomlarla bu virüsü taşıdığı tespit edilen vakaların da doğrudan bildirilmesini şart koşmaktadır. COVID-19 salgınının kontrol altına alınmasında en önemli faktörlerden biri virüsü taşıyan hastaların hızlı teşhis edilmesi ve izolasyonudur. TT-PZR testinin sonuç vermesinin saatler alması virüsü taşıyan kişilerin hızlı şekilde izole edilmesini zorlaştırmaktadır. Ayrıca, testin duyarlılığının düşük olması virüsü taşıyan kişilerin yanlış teşhis edilmesine bağlı olarak bulaş oranlarını yükseltmektedir. Bu durum COVID-19 salgını ile mücadele konusunda radyolojik görüntülemenin etkili şekilde kullanılmasını ve görüntülerin otomatik olarak değerlendirilmesini bir zorunluluk haline getirmektedir. Tez çalışmasında söz konusu ihtiyaçlara cevap vermek için derin öğrenme temelli yapay zekâ uygulamaları gerçekleştirilmiştir. Tez çalışması toplam yedi adet uygulama içermektedir. Birinci uygulamada BT görüntüleri üzerinden COVID-19 ve COVID-19 değil sınıflandırılması gerçekleştirilmiştir. Uygulamada klasik makine öğrenme yöntemleri olan Destek Vektör Makinesi ve k-En Yakın Komşu ile derin öğrenme yöntemi olan İki Boyutlu (2B) Evrişimli Sinir Ağları (ESA) mimarilerinin sınıflandırma performansları karşılaştırılmıştır. 2B ESA olarak uygulamada oluşturulmuş 23 katmanlı bir mimari ile transfer öğrenme AlexNet ve MobileNetV2'den yararlanılmıştır. Uygulamada doğrudan orijinal görüntülerin yanı sıra ön işlem olarak Gri Seviye Eş-oluşum Matrisi, Yerel İkili Desenler (YİD) ve Lokal Entropi (LE) kullanılarak elde edilen özellik görüntüleri için de sınıflandırma işlemi yapılmıştır. Ayrıca, tüm bu orijinal ve özellik görüntülerinin ikili, üçlü ve dörtlü olarak birleştirilmesi için deneyler tekrarlanmıştır. Uygulamada gerçekleştirilen deneyler iki kat çapraz doğrulama ve on kat çapraz doğrulama olmak üzere iki farklı eğitim ve test prosedürü ile gerçekleştirilmiştir. Tez çalışmasının bu uygulamasında ayrıca, veri artırımının uygulama sonuçlarına etkisi incelenmiştir. Bu kapsamda görüntülerin veri artırma teknikleri ile beş, on ve yirmi kat artırılması durumu için 23 katmanlı 2B ESA mimarisiyle iki kat çapraz doğrulama prosedürüne göre deneyler gerçekleştirilmiştir. Uygulama sonuçları özellik görüntülerinin orijinal görüntülerle birlikte kullanılmasının sonuçlara önemli katkılar sağladığını göstermektedir. Tez çalışmasının ikinci uygulamasında BT görüntüleri üzerinden COVID-19 ve COVID-19 değil sınıflandırılması ile COVID-19 zatürresi ve diğer zatürre sınıflandırması olmak üzere iki başlıkta iki sınıflı sınıflandırma gerçekleştirilmiştir. Sınıflandırma için uygulama kapsamında oluşturulmuş 24 katmanlı bir 2B ESA mimarisinden yararlanılmıştır. Uygulamada orijinal BT görüntülerinin doğrudan kullanılması ve orijinal görüntülere ön işlem olarak YİD uygulanması durumu için deneyler gerçekleştirilmiştir. Ayrıca, ikincil işlem olarak Kompleks Değerli Dalgacık Dönüşümü (KDDD) uygulanmasıyla elde edilen görüntü alt bantlarının tek başlarına ve kombinasyonlar halinde kullanılması durumu için sınıflandırma işlemleri tekrarlanmıştır. Uygulamada son olarak orijinal BT görüntüleri kullanılarak elde edilen sonuçlar ile ön işlem olarak YİD uygulanarak elde edilen sonuçların birleştirilmesini sağlayan Veri Akış Hattı (VAH) yaklaşımlarının başarıları analiz edilmiştir. Uygulamanın deneyleri on kat çapraz doğrulama kullanılarak gerçekleştirilmiştir. Uygulama sonuçları VAH yaklaşımlarının sonuçların iyileştirilmesine önemli katkılar sağladığını göstermektedir. Ayrıca, KDDD kullanılarak görüntü boyutlarının başarılı şekilde azaltılabileceği ve VAH kullanılmasına bağlı olarak oluşan zaman maliyetinin ortadan kaldırılabileceğine işaret etmektedir. Tez çalışmasının üçüncü uygulamasında BT görüntüleri üzerinden COVID-19 zatürresi, sağlıklı ve diğer zatürre olmak üzere üç sınıflı otomatik sınıflandırma gerçekleştirilmiştir. Uygulamada MobileNetV2, ResNet-101, GoogleNet, Xception, DenseNet-201, EfficientNetB0 ve InceptionV3 olmak üzere toplam yedi adet transfer öğrenme 2B ESA mimarisi kullanılmıştır. Uygulamada kullanılan COVID-19 görüntülerinden 810 tanesi Konya Selçuk Üniversitesi Tıp Fakültesi Hastanesi'nden (27.07.2020 tarih ve 220/326 sayılı etik kurul kararı) elde edilmiştir. Uygulamada doğrudan orijinal BT görüntüleri ve ön işlem olarak YİD uygulanarak elde edilen özellik görüntüleri için dört kat çapraz doğrulama esasına göre deneyler gerçekleştirilmiştir. Ayrıca, ikinci uygulamaya benzer şekilde VAH yaklaşımı kullanılarak sonuçlar birleştirilmiştir. Üçüncü uygulama sonuçları da VAH yaklaşımlarının sonuçların iyileştirilmesine önemli katkılar sağladığını göstermektedir. Ayrıca, VAH yaklaşımında YİD özellik görüntüleri kullanılmasının yanlış sınıflandırılan görüntülerin sayısının azaltılmasında daha etkili olduğuna işaret etmektedir. Tez çalışmasının dördüncü uygulamasında ilk üç uygulamadan farklı olarak BT görüntüler üzerinden COVID-19 hastalık tespitini yerine COVID-19 zatürre seviyesinin sınıflandırılmasına odaklanılmıştır. Uygulamada kullanılan BT görüntüleri COVID-19 görüntüleri Selçuk Üniversitesi Tıp Fakültesi Hastanesi'nden (27.07.2020 tarih ve 220/327 sayılı etik kurul kararı) elde edilmiştir. Uygulamada sınıflandırma işlemleri MobileNetV2, ResNet-101, Xception, InceptionV3, GoogleNet, EfficientNetB0, DenseNet-201 ve DarkNet-53 olmak üzere toplam sekiz farklı transfer öğrenme 2B ESA mimarisi kullanılarak gerçekleştirilmiştir. En yüksek başarıyı gösteren transfer öğrenme 2B ESA mimarilerinin sonuçları VAH yaklaşımı kullanılarak birleştirilerek yeni sınıflandırma sonuçları hesaplanmıştır. Uygulamada eğitim ve test işlemleri beş kat çapraz doğrulama kullanılarak gerçekleştirilmiştir. Dördüncü uygulama sonuçları ESA mimarileri kullanılarak COVID-19 zatürrre seviyesinin başarılı şekilde sınıflandırılabileceğine işaret etmektedir. Ayrıca, VAH yaklaşımlarının sonuçların iyileştirilmesine önemli katkılar sağladığını göstermektedir. Tez çalışmasının beşinci uygulamasında X-ray görüntüleri üzerinden COVID-19 ve COVID-19 değil sınıflandırılması gerçekleştirilmiştir. Sınıflandırma için uygulama kapsamında oluşturulmuş 23 katmanlı ve 54 katmanlı iki farklı 2B ESA mimarisinden yararlanılmıştır. Beşinci uygulamada, ikinci uygulamaya benzer şekilde, orijinal X-ray görüntülerinin doğrudan kullanılması ve ön işlem olarak YİD uygulanarak kullanılması durumu için deneyler gerçekleştirilmiştir. Ayrıca, ikincil işlem olarak KDDD uygulanmasıyla elde edilen görüntü alt bantlarının tek başlarına ve kombinasyonlar halinde kullanılmasıyla sınıflandırma işlemleri yapılmıştır. Uygulamada son olarak orijinal X-ray görüntüleri kullanılarak elde edilen sonuçlar ile ön işlem olarak YİD uygulanarak elde edilen sonuçların birleştirilmesini sağlayan VAH yaklaşımlarının başarıları analiz edilmiştir. Uygulamada deneyler iki kat çapraz doğrulama ve yirmi üç kat çapraz doğrulama prosedürü kullanılarak gerçekleştirilmiştir. Uygulama sonuçları VAH yaklaşımlarının sonuçların iyileştirilmesine önemli katkılar sağladığını göstermektedir. Ayrıca, KDDD kullanılarak görüntü boyutlarının başarılı şekilde azaltılabileceği ve VAH kullanımına bağlı olarak oluşan zaman maliyetinin ortadan kaldırılabileceği anlaşılmaktadır. Tez çalışmasının altıncı uygulamasında X-ray görüntüleri üzerinden COVID-19 ve sağlıklı, COVID-19 zatürresi ve bakteriyel zatürre, COVID-19 zatürresi ve viral zatürre ile COVID-19 zatürresi ve diğer zatürre olmak üzere toplam dört başlıkta iki sınıflı sınıflandırma gerçekleştirilmiştir. Uygulamada orijinal X-ray görüntülerinin tek başına kullanılmasının yanı sıra ön işlem olarak YİD ve LE uygulanarak elde edilen görüntüler için de sınıflandırma sonuçları hesaplanmıştır. Orijinal görüntüler, YİD ve LE görüntülerinin çeşitli kombinasyonlarda birleştirilmesiyle elde edilen görüntüler için sınıflandırma işlemleri tekrarlanmıştır. Uygulamada sınıflandırıcı olarak transfer öğrenme 2B ESA ve Üç Boyutlu (3B) ESA mimarilerinden yararlanılmıştır. Uygulamada transfer öğrenme 2B ESA mimarisi olarak MobileNetV2, ResNet-101 ve GoogleNet mimarileri kullanılmıştır. 3B ESA için ise uygulama kapsamında 24 katmanlı bir mimari tasarlanmış ve kullanılmıştır. Uygulamanın eğitim ve test işlemleri beş kat çapraz doğrulama ile gerçekleştirilmiştir. Uygulama sonuçları 3B ESA mimarisinin transfer öğrenme 2B ESA mimarilerine göre daha yavaş ancak daha başarılı olduğunu göstermektedir. Ayrıca, özellik görüntülerinin orijinal görüntülerle birlikte kullanılmasının sonuçlara önemli katkılar sağladığına işaret etmektedir. Tez çalışmasının yedinci uygulamasında X-ray görüntüleri üzerinden COVID-19 zatürresi, sağlıklı ve diğer zatürre ile COVID-19 zatürresi, sağlıklı, bakteriyel zatürre ve viral zatürre olmak üzere toplam iki başlıkta sırasıyla üç sınıflı ve dört sınıflı otomatik sınıflandırma gerçekleştirilmiştir. Uygulamada sınıflandırıcı olarak transfer öğrenme 2B ESA kullanılmıştır. Bu kapsamda MobileNetV2, ResNet-101, GoogleNet, Xception, DenseNet-201, EfficientNetB0 ve InceptionV3 olmak üzere toplam yedi adet transfer öğrenme 2B ESA mimarisinden yararlanılmıştır. Uygulamada doğrudan orijinal X-ray görüntüleri kullanılarak sınıflandırma sonuçları elde edilmiş olup ön işlem olarak YİD ve LE uygulanarak elde edilen özellik görüntüleri kullanılarak da sınıflandırma işlemleri gerçekleştirilmiştir. Ayrıca, VAH yaklaşımı kullanılarak daha önce elde edilen sonuçlar birleştirilmiş ve yeni sınıflandırma sonuçları elde edilmiştir. Uygulamada eğitim ve test işlemleri dört kat çapraz doğrulama kullanılarak yapılmıştır. Yedinci uygulama sonuçları VAH yaklaşımlarının sonuçların iyileştirilmesine önemli katkılar sağladığını göstermektedir.

The SARS-CoV-2 virus, which emerged in Wuhan, China's Hubei province, in the last days of 2019, has caused a serious epidemic worldwide. SARS-CoV-2 virus, which is considered of zoonotic origin, first affected China. In the following days, with the spread of the said virus to other countries, all countries began to be seriously affected by the epidemic. The SARS-CoV-2 virus causes respiratory distress in patients. Pneumonia caused by the virus in question in humans has been named COVID-19 (Coronavirus Disease-2019) by the World Health Organization (WHO). Common symptoms of COVID-19 are fever, cough, shortness of breath, muscle pain, and weakness. The disease has quite severe and adverse effects on the lung. Computed Tomography (CT) and X-ray imaging provide important radiological information for diagnosing and clinically evaluating pneumonia caused by a bacteria or virus. After the emergence of COVID-19, these imaging methods began to be widely used in the radiological imaging of this disease. COVID-19 causes interstitial involvement in the lung, bilateral and irregular ground-glass opacities, and parenchymal abscesses. These radiological signs can be observed on CT and X-ray images. In addition, there are some differences in the radiological symptoms of COVID-19 and the radiological symptoms of other viral or bacterial pneumonias. The most common diagnosis of COVID-19 is made by the Reverse Transcription-Polymerase Chain Reaction (RT-PCR) test. This test usually gives results within a few hours. However, the sensitivity of the RT-PCR test in detecting the SARS-CoV-2 virus that causes COVID-19 is very low. Therefore, those who carry the virus can often be misdiagnosed with the test. For this reason, WHO requires that patients with positive RT-PCR tests and cases carrying this virus with radiological or clinical symptoms despite negative RT-PCR results should be reported directly. One of the most important factors in controlling the COVID-19 epidemic is the rapid identification and isolation of patients with the virus. However, it takes hours for the RT-PCR test to give results, making it difficult to isolate people who carry the virus quickly. In addition, the test's low sensitivity increases the rate of transmission due to the misdiagnosis of nearly half of the people with the virus. This situation necessitates the effective use and automatic evaluation of radiological imaging in the fight against the COVID-19 epidemic. In the thesis study, deep learning-based artificial intelligence applications were carried out to respond to these needs. A total of seven applications were carried out in the thesis study. In the first application, the classification of COVID-19 and Non-COVID-19 was carried out on CT images. In the application, classification performances of Support Vector Machine and k-Nearest Neighbor, which are classical machine learning methods, and Two-Dimensional (2D) Convolutional Neural Networks (CNN) architectures, which are deep learning methods, are compared. As a 2D ESA, a 23-layer architecture created in the application and transfer learning AlexNet and MobileNetV2 were used. In the application, besides the original images directly, the classification process was performed for the feature images obtained by using Gray Level Co-occurrence Matrix, Local Binary Patterns (LBP), and Local Entropy (LE) as pre-processing. In addition, experiments were repeated to combine all these original and feature images in pairs, triplets, and quads. The experiments in the application were carried out with two different training and testing procedures, two-fold cross validation and ten-fold cross validation. In this application of the thesis, the effect of using data augmentation on the application results was also examined. In this context, experiments were carried out according to the two-fold cross validation procedure with a 23-layer 2D CNN architecture for five, ten, and twenty-fold augmentation of images with data augmentation techniques. The application results show that texture feature images and the original images contribute significantly to the results. In the second application of the thesis study, a dual classification was carried out under two headings: COVID-19 and Non-COVID-19 classification, and COVID-19 pneumonia and other pneumonia classification, based on CT images. A 24-layer 2D ESA architecture created within the scope of the application was used for classification. Experiments have been carried out in the case of using the original CT images directly and applying LBP to the original images as a pre-processing in the application. In addition, classification processes are repeated for the case of using the image sub-bands obtained by applying Complex Value Wavelet Transform (CVWT) as a secondary process, alone or in combinations. Finally, the success of pipeline approaches, which combine the results obtained by using the original CT images and the results obtained by applying LBP as a pre-process, were analyzed in the application. In application, experiments were performed using ten-fold cross validation. Application results show that pipeline approaches make significant contributions to improving outcomes. It also points out that image sizes can be successfully reduced using CVWT, and the time cost associated with pipelines can be eliminated. In the third application of the thesis, three-class automatic classification of COVID-19 pneumonia, healthy and other pneumonia was performed on CT images. Within the scope of the application, a total of seven transfer learning 2D CNN architectures were used, namely MobileNetV2, ResNet-101, GoogleNet, Xception, DenseNet-201, EfficientNetB0, and InceptionV3. 810 of the COVID-19 images used in the application were obtained from Konya Selcuk University Medical Faculty Hospital (ethics committee decision dated 27.07.2020 and numbered 220/326). In application, experiments were performed based on four-fold cross validation for the original CT images and feature images obtained by applying LBP as a pre-processing. Also, results were combined using the pipeline approach, similar to the second application. Similar to the second application, the results of the third application also show that pipeline approaches make significant contributions to improving the results. It also indicates that using LBP feature images in the pipeline approach is more effective in reducing the number of misclassified images. In the fourth application of the thesis, unlike the first three applications, the focus was on classifying the COVID-19 pneumonia level instead of detecting COVID-19 disease from CT images. The automatic classification of COVID-19 pneumonia into three classes as mild, moderate, and severe; and two classes as non-severe and severe was carried out on CT images. The COVID-19 images used in the application were obtained from Konya Selcuk University Medical Faculty Hospital (ethics committee decision dated 27.07.2020 and numbered 220/327). In the application, classification processes were carried out using eight different transfer learning 2D CNN architectures, namely MobileNetV2, ResNet-101, Xception, InceptionV3, GoogleNet, EfficientNetB0, DenseNet-201 and DarkNet-53. The highest performing 2D CNN architectures were combined using the pipeline approach, and new classification results were calculated. The training and testing processes within the application were carried out using five-fold cross validation. The fourth application results indicate that the level of COVID-19 pneumonia can be successfully classified using CNN architectures. It also shows that pipeline approach makes significant contributions to improving outcomes. In the fifth application of the thesis study, the classification of COVID-19 and Non-COVID-19 was carried out on X-ray images. Two different 2D ESA architectures with 23 and 54 layers were used for classification. In the fifth application, similar to the second application, experiments were carried out using the original X-ray images directly, and LBP as a pre-process. In addition, classification processes were carried out using the image sub-bands obtained by applying CVWT as a secondary process, alone or in combinations. Finally, the success of the pipeline approaches, which combined the results obtained using the original X-ray images and the results obtained by applying LBP as a pre-process, were analyzed in the application. In application, experiments were performed using two-fold cross validation and twenty-three-fold cross validation. Application results show that pipeline approaches make significant contributions to improving outcomes. It also points out that image sizes can be successfully reduced by using CVWT and the time cost associated with using a pipeline can be eliminated. In the sixth application of the thesis, binary classification was carried out on X-ray images under four headings: COVID-19 and healthy, COVID-19 pneumonia and bacterial pneumonia, COVID-19 pneumonia and viral pneumonia, and COVID-19 pneumonia and other pneumonia. In addition to using the original X-ray images alone in the application, the classification results were calculated using the images obtained by applying LBP and LE as a pre-process. The classification processes were repeated for the images obtained by combining the original images, LBP, and LE images in various combinations. 2D CNN and Three Dimensional (3D) CNN architectures were used as classifiers in the application. MobileNetV2, ResNet-101, and GoogleNet architectures were used as transfer learning 2D CNN architecture. For the 3D CNN, a 24-layer architecture was designed and used within the scope of the application. Five-fold cross validation was carried out in the training and testing processes in the application. The application results show that the 3D CNN architecture is slower but more successful than the 2D CNN architecture. It also points out that the texture feature images and the original images make significant contributions to the results. In the seventh application of the thesis study, three-class automatic classification as COVID-19 pneumonia, healthy, and other pneumonia, and four-class COVID-19 pneumonia, healthy, bacterial pneumonia, and viral pneumonia were performed on X-ray images. In the application, transfer learning 2D CNN was used as a classifier. In this context, a total of seven transfer learning 2D CNN architectures, namely MobileNetV2, ResNet-101, GoogleNet, Xception, DenseNet-201, EfficientNetB0 and InceptionV3, were utilized. In the application, classification results were obtained by using the original X-ray images directly, and classification processes were carried out using the feature images obtained by applying LBP and LE as a pre-process. In addition, using the pipeline approach, previous results were combined, and new classification results were obtained. In application, training and testing was done using four-fold cross validation. The seventh application results show that pipeline approach make significant contributions to improving outcomes.