Derin öğrenme ile histopatolojik görüntü analizi

Abstract

Kanser, bir veya bir grup hücrenin kontrolsüz biçimde bölünerek çoğalması ile tanımlanabilen son derece tehlikeli bir hastalık türüdür. Son yıllarda yapılan araştırmalara göre, genel ölümler arasında kanserden kaynaklanan ölümler ikinci sıradan ilk sıraya yükselmiştir. Kanserden kaynaklanan ölümlerin önlenebilmesi için erken teşhis büyük önem arz etmektedir. Erken dönemde yapılacak doğru tıbbi müdahaleler hayatta kalabilme şansını arttırmaktadır. Kanser teşhisinde altın standart olarak biyopsi kullanılmaktadır. Biyopsi işleminde, riskli dokulardan alınan örnekler uzman patologlar tarafından uygun mikroskoplar altında incelenmektedir. Alınan doku parçalarının incelenmesi ve karar verme aşaması için patologların eğitilmesi ve uzmanlaşması oldukça uzun ve maliyetli bir süreçtir. Bu süreçleri başarı ile tamamlamış olsalar bile, aynı doku parçası için iki ayrı patolog farklı kararlar verebilirler. Bu öznelliğin giderilebilmesi için nicel veriler kullanarak hesaplama yapabilen görüntü işleme yöntemleri kullanılmaktadır. İlk zamanlardaki çalışmalar, histopatolojik görüntülerden matematiksel olarak elle belirlenen özelliklerin elde edilmesi üzerine kuruluydu. Görüntü işleme araştırmacıları tarafından belirlenen bu özellik çıkarma teknikleri oldukça fazla tecrübe gerektirmekteydi ve her görüntü için yüksek başarı sağlayamamaktaydı. Özellikle, histopatolojik görüntülerdeki doku bileşenlerinin uzamsal yapısında karmaşık renk bilgileri bu işlemi zorlaştırmaktadır. Genel çerçeveden bakıldığında, histopatolojik görüntüler oldukça fazla renk varyasyonu, piksel seviyesinde parazit bilgiler, hücre dizilimindeki farklılıklar gibi birçok zorlayıcı etmen içermektedir. Otomatik olarak belirlenmeyen özellikler ile böyle bir görüntü içeriğinin analiz edilmesi sınırlı bir başarı düzeyi ve sınırlı sayıda doku için mümkündür. Son yıllarda, yapay zekâ algoritmalarındaki ilham verici gelişmeler ve bilgisayar donanımlarındaki hızlı gelişme otomatik özellik çıkarma yöntemleri için bir umut ışığı olmuş ve el ile çıkarılan özelliklerden doğan olumsuz etkilerin ortadan kaldırılmasını sağlamıştır. Uygulamalardaki başarısı sayesinde derin öğrenme (deep learning) yöntemi, otomatik özellik çıkarma ve bu özellikler ile sınıflandırma yapabilen algoritmalar arasında en popüleri hale gelmiştir. Özellikle görüntü işleme problemleri için oldukça başarılı sonuçlar üreten konvolüsyonel sinir ağları (convolutional neural networks) neredeyse tüm alanlardaki görüntüler için kullanılmaktadır. Konvolüsyonel sinir ağları, görüntülerden otomatik olarak özellik çıkarmakta ve bu özellikleri kendi sahip olduğu tam bağlı ağlar sayesinde sınıflayabilmektedir. Oluşturulan mimari yapılarına göre sınıflandırma, segmentasyon, yorumlama gibi üst düzey işlemleri gerçekleştirebilmektedir. Bu tez çalışmasında, tam boyutlu histopatolojik görüntülerin konvolüsyonel sinir ağları kullanılarak analizi için oldukça verimli ve kararlı bir sınıflandırma tekniği ve yeni bir semantik segmentasyon mimarisi sunulmaktadır. Bu amaçla, ilk olarak histopatolojik görüntülerin yapısı ve geleneksel yöntemlerin bu görüntüler üzerindeki başarıları incelenmiştir. Daha sonra lineer konvolüsyonel sinir ağları ile görüntülerin analizi yapılmış ve ağ parametrelerinin analiz başarısına etkisi incelenmiştir. Tüm bu veriler ışığında, histopatolojik görüntülerin sınıflandırılması için yeni bir konvolüsyonel sinir ağı mimarisi önerilmiştir. Önerilen mimari, histopatolojik görüntüler için yumuşak bir önişleme katmanı ve lineer yapıdaki bir konvolüsyonel sinir ağı mimarisinden oluşmaktadır. Önerilen model literatürdeki diğer sınıflandırıcılar ile karşılaştırılmıştır ve daha başarılı olduğu görülmektedir. Sınıflandırma sonucunda, önerilen algoritma tarafından üretilen bilgiler genellikle imge hakkında kanserli ve normal olan büyük ölçekli alanlar hakkında rakamsal bilgiler içermektedir. Fakat kanser gibi insan hayati için son derece önemli bir hastalığın sadece yapay zekâ programı tarafından değerlendirilmesi yetersiz olarak görülmektedir. Böyle bir karar uzman patologlar tarafından bile ortaklaşa alınmaktadır. Bir dokunun kanserli olduğuna kesin karar verilebilmesi için birden fazla patoloğun kararına başvurulması genel olarak uygulanan prosedürdür. Bu sebeple, yapay zekâ tarafından üretilen sonuçlar patologlar için bir danışma sistemi olmak için önemli bir eksikliğe sahiptir. Üretilen sonuçlarda, alan bilgisi ve görsellik olmadığından, patoloğun inceleme sürecini kısaltamaz. Bu problemin aşılabilmesi için semantik segmentasyon tekniğinden yararlanılmıştır. Önerilen sistemde, histopatolojik görüntülerdeki arka plan, boyalı alanlar, kanserli hücreler ve normal hücreler fark edilebilir biçimde temsil edilmektedir. Bu algoritmanın geliştirilmesi aşamasında, literatürdeki en güçlü semantik konvolüsyonel sinir ağları incelenerek, bu yapıların güçlü yanları belirlenmiştir. Tüm bu güçlü tarafları içeren yeni bir semantik segmentasyon mimarisi önerilmiştir. Önerilen mimari görsel sonuçlar üreterek kanser tehlikesi olan bölgelerin patolog tarafından kolayca anlaşılmasını sağlamaktadır. Bu sayede patologların iş yükü azalmış olur ve bir hızlı danışma sistemi oluşturulmuş olur. Önerilen semantik segmentasyon mimarisi diğer semantik segmentasyon algoritmaları ile karşılaştırılmıştır ve daha başarılı sonuçlar ürettiği görülmüştür.

Cancer is an extremely dangerous disease that can be defined by the uncontrolled multiplication of one or a group of cells. According to recent studies, the deaths from cancer among the general deaths are in the first rank. Early diagnosis is crucial to prevent deaths from cancer. Early medical interventions increase the chance of survival. Biopsy is used as the gold standard for cancer diagnosis. In the biopsy procedure, samples taken from risky tissues are examined under appropriate microscopes by expert pathologists. Training and specialization of pathologists for the examination and decision-making of tissue fragments is a long and costly process. Even if they have successfully completed these processes, two different pathologists can make different decisions for the same piece of tissue. In order to eliminate this subjectivity, image processing methods that can calculate by using quantitative data are used. Early studies were based on obtaining the mathematically hand-determined properties from histopathological images. This feature extraction techniques, determined by image processing researchers, required a lot of experience and could not achieve high success for each image. In particular, the complex color information in the spatial structure of the tissue components in the histopathological images complicates this process. From the general framework, histopathological images include many color variations, pixel-level parasitic information, and many challenging factors, such as differences in cell lineage. Analyzing such image content with features that are not automatically determined is possible for a limited success level and a limited number of textures. In recent years, inspirational developments in artificial intelligence algorithms and rapid growth in computer hardware have been a glimmer of hope for automated feature extraction methods and have eliminated the negative effects arising from hand-crafted features. Thanks to its success in applications, deep learning method has become the most popular among automatic feature extraction and classification algorithms. Convolutional neural networks, which produce highly successful results especially for image processing problems, are used for images in almost all areas. Convolutional neural networks automatically remove features from the images and classify them by their own fully connected networks. According to the architectural structures formed, it can perform high level operations such as classification, segmentation and interpretation. In this thesis, a highly efficient and stable classification technique and a new semantic segmentation architecture are presented for the analysis of full-size histopathological images using convolutional neural networks. For this purpose, firstly the structure of histopathological images and the success of traditional methods on these images were examined. Then, the images were analyzed with linear convolutional neural networks and the effect of network parameters on the analysis success was investigated. In the light of all these data, a new convolutional neural network architecture has been proposed for the classification of histopathological images. The proposed architecture consists of a soft preprocessing layer for histopathological images and a convolutional neural network architecture of a linear structure. The proposed model is compared with other classifiers in the literature and appears to be more successful. As a result of the classification, the information generated by the proposed algorithm usually contains numerical information about large-scale areas of the image, which are cancerous and normal. However, the evaluation of an extremely important disease, such as cancer, by the artificial intelligence program is seen as insufficient. Such a decision is taken jointly by expert pathologists. It is generally the procedure to apply for the decision of more than one pathologist to make sure that one tissue is cancerous. Therefore, the results produced by artificial intelligence have an important deficiency to be a counseling system for pathologists. The results do not shorten the pathologist's review process because there is no field information and visuality. Semantic segmentation technique was used to overcome this problem. In the proposed system, the background, stained areas, cancerous cells and normal cells in histopathological images are markedly recognizable. During the development of this algorithm, the strongest semantic convolutional neural networks in the literature were examined and the strengths of these structures were determined. A new semantic segmentation architecture with all these strengths has been proposed. The proposed architecture produces visual results and allows the pathologist to easily understand the risk of cancer. In this way, the workload of pathologists is reduced and a quick consultation system is created. The proposed semantic segmentation architecture has been compared with other semantic segmentation algorithms and has been found to produce more successful results.