Mask R-CNN ile mikroskobik idrar görüntüsü içeriklerinin tespiti

Abstract

Mikroskobik idrar içerikleri doğru ve dikkatli bir şekilde analiz edildiğinde vücut hakkında önemli bilgiler verir. İdrar tahlilinin insan sağlığı için önemi nedeniyle mikroskobik idrar içeriklerinin tespit edilmesi amacıyla derin öğrenme görüntü işleme tekniği kullanılarak yapay zeka uygulamaları yapılmıştır. Literatürde yer alan çalışmaların çoğunda genel olarak semantik segmentasyon üzerine yoğunlaşılmıştır. Bu çalışmada ise piksel düzeyinde segmentasyon yapabilen Mask R-CNN modeli ile mikroskobik idrar görüntülerindeki alyuvar, akyuvar, epitel, kristal, bakteri ve mantar içerikleri konum ve nesne türü bilgisiyle birlikte tespit edilmiştir. Mask R-CNN ile tespit edilen nesnelere maske ve çerçeve olmak üzere iki tip sınır çizilmektedir. Sistemin performansı her iki sınır tipi için ayrı ayrı incelenmiştir. Test için kullanılan 100 görüntüdeki toplam 1154 örüntüden maskelere göre 808 ve çerçevelere göre 843 nesne doğru şekilde tespit edilmiştir (IoU=0,5). En iyi tespit oranı akyuvarlar ve alyuvarlar için gerçekleşmiştir. Epiteller çerçevelere göre hesaplamada başarılı bir şekilde tespit edilmiştir fakat düzgün maske oluşturulamamıştır. Bakteriler diğerlerine göre çok küçük olduğu için doğru tespit oranı düşük kalmıştır. Kristallerin ve mantarların çoğu doğru şekilde tespit edilmiştir. Ayrıca, nesne tespitinde sıklıkla kullanılan değerlendirme metriği mAP de hesaplanmıştır. Sistem için hesaplanan mAP değerleri maskelere göre 0,7842 ve çerçevelere göre 0,8343 olmuştur. Mask R-CNN sistemi iyi bir şekilde optimize edilip daha fazla idrar içeriğine ait görüntülerle eğitilmesi durumunda idrar analiz sistemlerinde kullanılabilir.

Urinary particles in microscopic images provide important information about the body when they analyse carefully and correctly. Based on the importance of urinalysis for human health, artificial intelligence applications were made using deep learning image processing technique in order to detect microscopic urine contents. Most of the studies in the literature have generally focused on semantic segmentation. Unlike the others, in this study, the urinary contents of red blood cells, white blood cells, epithelium, crystals, bacteria and yeast in microscopic urine images were determined using Mask RCNN, which can perform instance segmentation. In object detection with Mask R-CNN, two types of boundaries are drawn as mask and bounding box. The performance of the system is examined for both boundary types. From a total of 1154 patterns in 100 images used for the test, 808 with masks and 843 with bounding boxes were correctly identified (IoU=0.5). The best detection occurred for white and red blood cells. Epithelium has also been successfully identified according to bounding boxes, but there were problems creating masks. Bacteria detection success rate is low because bacteria are so small. Most of the crystals and yeast were correctly detected. In addition, mAP, a frequently used evaluation metric for object detection, was also calculated. Calculated mAP values are 0.7842 and 0.8343 for masks and bounding boxes respectively. Mask R-CNN can be used in urine analysis systems if it is welloptimized and trained with images of more urine contents.