Optik koherens tomografisi görüntüleri kullanarak evrişimsel sinir ağı tabanlı retinal hastalık tespiti

Abstract

İnsan hayatını etkileyen önemli sebeplerden biri de retina rahatsızlıklarıdır. Retinadaki patolojik değişimler sonucu oluşabilen yaşa bağlı makula dejenerasyonu (AMD) ve diyabetik makula ödemi (DME) rahatsızlıkları, Optik Koherens Tomografisi (OCT) görüntüleme tekniği kullanılarak teşhis edilebilen körlüğün başlıca nedenlerindendir. Bu rahatsızlıkların erken tanısı, tedavi açısından çok önemlidir. Özellikle son zamanlarda makine öğrenmesi ve derin öğrenmedeki gelişmeler, OCT görüntüleri üzerinde retina rahatsızlıklarının teşhisine olan ilgiyi arttırmıştır. Bu çalışmada OCT görüntüleri üzerinden retina rahatsızlıklarının tespiti için evrişimsel sinir ağına (ESA) dayanan bilgisayar destekli bir erken tanı sistemi önerilmiştir. Ayrıca klinikte OCT görüntülerinin elde edilmesi esnasında kızılötesi dalgaların aktarımından kaynaklanan benek gürültülerinin giderilmesi için görüntü ön işleme yöntemleri uygulanmıştır. Bu çalışmada önerilen yöntemlerin değerlendirilmesinde halka açık California San Diego Üniversitesi (UCSD) OCT veri seti kullanılmıştır. İlk olarak UCSD veri setinde uygulanan görüntü ön işlem yöntemleri, OCT görüntülerinde benek gürültülerini çoğunlukla gidermiştir. Sonrasında UCSD veri seti, ön işlemli ve ön işlemsiz olarak transfer öğrenmeye dayalı ince ayarlanmış AlexNet (FT-CNN) mimarisi üzerinde eğitilmiştir. Görüntüler üzerinde uygulanan ön işlemlerin sistem performansını olumlu yönde etkilediği görülmüştür.

Retina hastalıklarının tespitinde sınıflandırma performansını arttırabilmek için, ön işlemli ve ön işlemsiz oluşturulan UCSD veri setleri üzerinde eğitilmiş FT-CNN mimarisinin son tam bağlı katmanından öğrendiği derin özellikler aktivasyon fonksiyonu yardımıyla çıkartılmıştır. FT-CNN’den çıkartılmış derin özellikler ön işlemli ve ön işlemsiz özellik vektörü halinde, homojen ve heterojen topluluk öğrenme yöntemleriyle sınıflandırılmıştır. Topluluk öğrenme yöntemleri arasında diğerlerine göre en üstün performansı ön işlemsiz özellik vektörüyle sınıflandırılmış istifleme (heterojen) topluluk öğrenmesi elde etmiştir. Önerilen yöntem %99,70 doğruluk, %99,70 duyarlılık, %99,90 özgüllük, %99,70 kesinlik ve %99,70 F1-score performans değerleri ile literatürdeki diğer çalışmalar ile kıyaslanmış ve önerilen yöntemin başarılı olduğu görülmüştür. Bu çalışmadaki karşılaştırmalı sonuçlar neticesinde, önerilen stacking topluluk öğrenmesi OCT görüntülerinden retina hastalıklarının tespitinde kayda değer sonuçlar göstermesi, klinik ortamda uzmana yardımcı bilgisayar destekli erken tanı sistemlerin gelişimine öncelik sağlayacağı düşünülmektedir. Ayrıca bu çalışma derin öğrenme ve topluluk öğrenmesi yöntemlerinin birlikte kullanması ile OCT görüntülerinde retina hastalıklarının tespitinde etkili sınıflandırma performansının elde edilmesi, literatürde yeni hibrit tekniklerin gelişimine katkı sunacaktır. Ek olarak FT-CNN mimarisinin test görüntülerini sınıflandırılmasında sırasında modelin tahmininin arkasındaki nedenler, açıklanabilir yapay zekâ tekniklerinden Gradyan Ağırlıklı Sınıf Aktivasyon Haritalama (Grad-CAM) yardımıyla değerlendirilmiştir. Bu çalışmada Grad-CAM aracılığıyla ısı haritaları oluşturularak uzmanların tanıya yaklaşımını destekleyici ve tahmini kolaylaştırabilen görseller sunulmuştur. Bu görsel açıklamalar, OCT görüntülerinde retina hastalıklarının tespiti için geliştirilen bilgisayar destekli tanı sistemlerinin geliştirilmesine katkı sağlayacaktır.

One of the important reasons affecting human life is retinal diseases. Age-related macular degeneration (AMD) or diabetic macular edema (DME), which can occur as a result of pathological changes in the retina, are the main causes of blindness (vision loss) that can be diagnosed using Optical Coherence Tomography (OCT) imaging technique. Early diagnosis of these disorders is very important in terms of treatment. Especially recent advances in machine learning and deep learning have increased the interest in diagnosing retinal diseases on OCT images. In this study, a computer-aided early diagnosis system based on convolutional neural network (CNN) is proposed for detecting retina diseases via OCT images. In addition, image pre-processing methods were applied to eliminate speckle noises caused by the transmission of infrared waves during the acquisition of OCT images in the clinic. The publicly available California San Diego University (UCSD) OCT dataset was used to evaluate the methods proposed in this study. Image pre-processing methods first applied in UCSD dataset mostly eliminated speckle noises in OCT images. Then, the UCSD dataset is trained on a fine-tuning AlexNet (FT-CNN) architecture based on transfer learning, with and without pre-processing. It has been observed that the pre-processing applied on the images positively affect the system performance.

In order to increase the classification performance in detecting retinal diseases, the deep features learned from the last fully connected layer of the FT-CNN architecture, trained on pre-processing and without pre-processing UCSD datasets, were extracted with the help of the activation function. Deep features extracted from FT-CNN are classified as pre-processing and without pre-processing feature vectors, using homogeneous and heterogeneous ensemble learning methods. Stacking (heterogeneous) ensemble learning classified with without pre-processing feature vector has achieved the best performance in ensemble learning methods compared to others. The proposed method was compared with other studies in the literature with 99.70% accuracy, 99.70% sensitivity, 99.90% specificity, 99.70% precision and 99.70% F1-score performance values, and the proposed method was found to be successful. As a result of the comparative results of this study, it is thought that the proposed stacking ensemble learning shows remarkable results in detecting retinal diseases from OCT images, and will give priority to the development of computer-aided early diagnosis systems that assist the expert in the clinical setting. In addition, this study will contribute to the development of new hybrid techniques in the literature, by using deep learning and ensemble learning methods together, to achieve effective classification performance in detecting retinal diseases in OCT images. In addition, the reasons behind the prediction of the model during the classification of the test images of the FT-CNN architecture were evaluated with the help of Gradient Weighted Class Activation Mapping (Grad-CAM), one of the explainable artificial intelligence techniques. In this study, heat maps were created using Grad-CAM, and visuals were presented that support the approach of experts to diagnosis and facilitate the prediction. These visual explanations will contribute to the development of computer aided diagnosis systems developed for the detection of retinal diseases in OCT images.