Termal görüntü çözünürlüğünün artırılması için derin öğrenme tabanlı bulut sisteminin geliştirilmesi

Abstract

Termal görüntüleme sistemleri temassız bir şekilde sıcaklık ölçümü sağlamakta olup, insan sağlığına zararsızdırlar. Dolayısıyla, canlılar üzerinde güvenli bir şekilde kullanılabilmektedir. Termal kameralar, sıcaklık değişiminin tespitini gerektiren kamu güvenliği, sağlık, savunma gibi birçok sektörde kullanılabilmektedir. Bununla birlikte termal kameraların hem yüksek maliyetli olması hem de kenar detay bilgisi düşük görüntüler oluşturması kullanımlarını sınırlandırmaktadır. Düşük maliyetli termal kameralar ise termal görüntülemenin farklı alanlarda kullanımını kolaylaştırmaktadır. Bu termal kameralar düşük detay bilgisine sahip düşük çözünürlüklü termal görüntüler oluşturabilmektedir. Bu sebeple, düşük çözünürlüklü bu termal görüntülerin çözünürlüklerini iyileştirme ihtiyacı ortaya çıkmıştır. Burada, süper çözünürlük tekniklerinin düşük kalitedeki bu görüntüler üzerinde kullanımı büyük önem arz etmektedir. Süper çözünürlük, bir dizi düşük çözünürlüklü görüntü kullanılarak daha yüksek çözünürlüklü bir görüntü oluşturulması olarak tanımlanmaktadır; fakat son yıllardaki derin öğrenme tabanlı uygulamalar için, yüksek çözünürlüklü (gerçek referans) bir görüntünün, düşük çözünürlüklü (DÇ) karşılığından tahmin edilmesi şeklinde tanımlanması daha doğru bir ifade olacaktır. Süper çözünürlük kavramı hem yazılım hem de donanım tabanlı olarak uygulanabilir olmasına rağmen, gerçekleştirilen çalışmaların büyük bir kısmı yazılım tabanlı süper çözünürlük uygulamaları üzerinedir. Son yıllardaki derin öğrenme alanında yaşanan gelişmeler ve donanımsal ilerlemeler, derin öğrenme algoritmalarının süper çözünürlük uygulamalarında daha yaygın bir şekilde kullanılmasını sağlamıştır. Tez çalışması kapsamında, iki farklı termal veri tabanı oluşturularak süper çözünürlük uygulamaları gerçekleştirilmiştir. Ayrıca, süper çözünürlük uygulamaları için ilk önce çekişmeli üretici ağlar (ÇÜA) tabanlı "Termal Süper Çözünürlük Çekişmeli Üretici Ağlar (TSÇÇÜA)" modeli tasarlanmış olup, daha sonra bu modelin başarısını artırmak amacıyla TSÇÇÜA+ modeli geliştirilmiştir. Süper çözünürlük uygulamalarında kullanılan ilk veri tabanı yenidoğan bebeklere (neonatal) ait termal görüntülerdir ve çalışmalarda yüksek çözünürlüklü (gerçek referans) görüntüler olarak dikkate alınmıştır. Daha sonra, düşük çözünürlüklü görüntülerden oluşan veri setleri belirli oranlarda (1/2, 1/4, 1/8, 1/16) alt ölçekleme yapılarak elde edilmiştir. Elde edilen sonuçlar görüntü kalite metrikleri olan tepe sinyal gürültü oranı (TSGO) ve yapısal benzerlik indeksi (YBİ) ile değerlendirilmiştir. TSGO ve YBİ değerleri incelendiğinde, geliştirilen modellerin literatürdeki diğer modellerle karşılaştırıldığında daha başarılı oldukları görülmektedir. Ayrıca TSÇÇÜA+ modeli TSÇÇÜA modeli ile karşılaştırıldığında, TSGO değerlerinde 1-1,5 dB aralığında artış gösterirken, YBİ değerlerinde %2-3 aralığında artış göstermiştir. Ek olarak, görev tabanlı değerlendirme yapabilmek amacıyla evrişimli sinir ağları tabanlı (ESA) tabanlı bir sınıflayıcı model tasarlanarak, hasta-sağlıklı bebekleri sınıflama uygulamaları gerçekleştirilmiştir. Sonuçlar değerlendirildiğinde, süper çözünürlüklü görüntülerin sınıflama başarısının düşük çözünürlüklü görüntülere kıyasla yaklaşık %10 arttığı gözlenmiştir. Ayrıca, TSÇÇÜA+ modelinin de TSÇÇÜA modeline göre yaklaşık % 3 daha başarılı sınıflama yaptığı görülmüştür. Tez çalışmaları kapsamında kullanılan ikinci veri tabanı, termal yüz görüntülerinden oluşmaktadır. Bu veri tabanı iki farklı termal kamera vasıtasıyla oluşturulmuştur. Burada, yüksek maliyetli bir termal görüntüleme sistemi kullanılarak yüksek çözünürlüklü (gerçek referans) görüntüleri elde edilirken, düşük maliyetli ve akıllı telefona takılarak kullanılabilen bir termal kamera aracılığıyla düşük çözünürlüklü görüntüler elde edilmiştir. Süper çözünürlük uygulamalarında yine TSÇÇÜA ve TSÇÇÜA+ modellerinden yararlanılmıştır. Burada, düşük maliyetli kameranın performansını yüksek maliyetli kameranın performansına yaklaştırarak, termal görüntüleme projelerindeki maliyet problemlerinin önüne geçilmesi hedeflenmiştir. Elde edilen sonuçlar değerlendirildiğinde, TSGO ve YBİ değerlerinin en gelişmiş modellere göre artış gösterdiği gözlenmiştir. Bunun yanı sıra TSÇÇÜA+ modelinin TSÇÇÜA modeline kıyasla TSGO değerinde yaklaşık olarak 0,5 dB, YBİ değerinde ise %5 daha başarılı olduğu görülmüştür. Ayrıca, oluşturulan süper çözünürlük sisteminin bulut ortamında çalıştırılmasına yönelik bir çalışma yürütülmüştür. Android bir arayüz kullanılarak oluşturulan bulut tabanlı sistem sayesinde süper çözünürlük tekniklerinden gerçek zamanlı ve aktif olarak yararlanılabileceği öngörülmektedir. Farklı kullanıcılar tarafından kolay bir şekilde erişilebilen ve farklı uygulamalara adapte edilebilen bulut tabanlı geliştirilen bu sistem sayesinde düşük maliyetli termal kameralar gerçek hayata yönelik uygulamalarda yaygın bir şekilde kullanılabilecektir.

Thermal imaging systems provide non-contact temperature measurement and are harmless to human health. Therefore, it can be used safely on living things. Thermal cameras can be used in many sectors such as public security, health and defense that require the detection of temperature changes. However, the high cost of thermal cameras and their low edge detail information limit their usage. Thus, low-cost thermal cameras facilitate the use of thermal imaging in different areas. These thermal cameras can create low resolution thermal images with low detail information. Therefore, the need to improve the resolution of these low-resolution thermal images has emerged. Here, the use of super resolution techniques on these low quality images is of great importance. Super resolution is defined as the creation of a higher resolution image using a set of low resolution images; but deep learning-based applications in recent years, it would be more accurate to describe it as estimating a high resolution (ground truth) image from its low resolution (LR) counterpart. Although the concept of super resolution can be applied both in software and hardware, most of the studies carried out are on software-based super resolution applications. In recent years, hardware advances and developments in the field of deep learning have made deep learning algorithms more widely used in super resolution (SR) applications. Within the scope of the thesis study, super resolution applications were carried out by creating two different thermal databases. In addition, for super resolution applications, firstly, the "Thermal Super Resolution Generative Adversarial Networks (TSRGAN)" model based on generative adversarial networks (GAN) was designed, and then the TSRGAN+ model was developed in order to increase the success of this model. The first database used in super resolution applications was the thermal images of newborn babies (neonates) and were considered as high resolution (ground truth) images in the studies. Then, datasets consisting of low resolution images were obtained by down-scaling at certain ratios (1/2, 1/4, 1/8 and 1/16). The obtained results were evaluated with the image quality metrics peak signal to noise ratio (PSNR) and structural similarity index (SSIM). When PSNR and SSIM values are examined, it is seen that the developed models are more successful when compared to the state-of-the-art models. Also, when the TSRGAN+ model is compared with the TSRGAN model, PSNR values increased in the range of 1-1.5 dB, while SSIM values increased by 2-3%. In addition, a convolutional neural network-based (CNN-based) classifier model was designed to make task-based evaluation, and the applications were carried out to classify unhealthy-healthy babies. When the results were evaluated, it was observed that the classification success of super resolution images increased by about 9-11% compared to low resolution images. In addition, the TSRGAN+ model was found to be approximately 3% more successful than the TSRGAN model. In addition, the TSRGAN+ model has achieved approximately 3% more successful classification success than the TSRGAN model. The second database used within the scope of the thesis studies consists of thermal face images. This database was created by means of two different thermal cameras. Here, high-resolution (ground truth) images were obtained using a high-cost thermal imaging system, while low-resolution images were obtained through a low-cost thermal camera that can be attached to a smart phone. In super resolution applications, TSRGAN and TSRGAN+ models were used again. Here, it is aimed to avoid cost problems in thermal imaging projects by bringing the performance of a low-cost camera closer to that of a high-cost camera. When the obtained results were evaluated, it was observed that PSNR and SSIM values increased compared to the state-of-the-art models. In addition, the TSRGAN+ model was found to be approximately 0.5 dB more successful in PSNR and 5% more successful in SSIM compared to the TSRGAN model. In addition, a study was conducted to run the created super resolution system in the cloud environment. It is foreseen that super resolution techniques can be utilized in real time and actively through the cloud-based system created using an Android interface. Thanks to the cloud-based system, which can be easily accessed by different users and adapted to different applications, low-cost thermal cameras will be widely used in real-life applications.