Düşük Çözünürlüklü Termal Yüz Görüntü Çözünürlüğünün Derin Öğrenme İle Artırılması

Abstract

Termal görüntüleme, gözle görülmeyen kızılötesi enerjiyi (ısıyı) esas alan ve görüntünün genel yapısını kızılötesi enerjiye göre oluşmuş renkler ve şekillerin belirlediği görüntüleme sistemidir. Genelde güvenlik amaçlı kullanılmakla birlikte çok çeşitli sektörlerin de kullanımına açıktır. Özellikle son yıllarda termal görüntüleme sistemleri medikal alanda da oldukça geniş bir kullanım alanı bulmaktadır. Termal görüntüleme, tasarımı zor ve maliyeti yüksek bir görüntüleme sistemidir. Bundan dolayı termal görüntülerin çözünürlüğünün artırılması için termal görüntüleme alanındaki süper çözünürlük uygulamalarına ilgi son yıllarda oldukça artmıştır. Burada derin öğrenme alanındaki gelişmeler bu çalışmaları hızlandırmış ve başarıyı artırmıştır. Bu çalışmada da insan yüzlerine ait RGB termal görüntüler üzerinde çekişmeli üretici ağlar kullanılarak süper çözünürlük uygulaması gerçekleştirilmiştir. Bu çalışmada Variocam HD termal kameradan elde edilen görüntüler yüksek çözünürlüklü, Flir One Pro termal kameradan elde edilen görüntüler ise düşük çözünürlüklü görüntüler olarak kullanılmıştır. Bu proje için 12 kişiye ait 5’ er adet termal görüntü çifti(yüksekçözünürlüklü- düşük çözünürlüklü) kullanılmıştır. Bu görüntülerden 45’ er çift görüntü eğitim veri seti olarak, 15’ er çift görüntü ise test veri seti olarak ayrılmıştır. Çekişmeli üretici ağın eğitilmesi sırasında gradyanın yok olması probleminin önüne geçmek ve ağın daha hızlı eğitilmesini sağlamak amacıyla hem üretici ağ hem de ayırt edici ağ kısmında batch normalizasyon katmanları kullanılmıştır. Artık (residual) bloklar çok derin ağların eğitim zorluklarını kolaylaştırarak başarı performansını artırdığı için üretici ağında, ResNet’ e benzer şekilde atlamalı bağlantı (skip connection) uygulanmıştır. Ağın eğitilmesi sonucunda elde edilen sonuçların başarı performansı PSNR (tepe sinyal gürültü oranı) ve SSIM (yapısal benzerlik indeksi ölçümü) görüntü kalite metrikleri kullanılarak değerlendirilmiştir. Sonuç olarak bikübik interpolasyona kıyasla PSNR değerlerinde yaklaşık 1,5dB’lik bir artış ve SSIM değerlerinde yaklaşık % 6’lık bir artış gözlemlenmiştir. İlerde yapılacak çalışmalarda, derin ağın daha fazla veri kullanılarak ve iki farklı kameradan elde edilen görüntülerin renk tonları birbirine benzetilerek eğitilmesi sonucunda yüksek maliyetli termal kamera sistemlerine bir alternatif çözüm sunulabilecektir.