Güçlü temsil yöntemleri ile kişi tanıma ve takibi için hibrit bir yaklaşım

Abstract

Halka açık ve kalabalık alanlarda yapılan gözetimlerde, otomatik bir takip sistemi olmadan manuel olarak gerçekleştirilen izlemelerde kişilerin takibi zor bir görevdir. Önerilen çalışma, bu sorunu çözmek ve literatüre katkı sağlamak amacıyla geliştirilmiştir. Hibrit sistem, gözetim sistemlerinde kişilerin tanımlanması ve takibi için tasarlanmıştır. Kamera sistemlerinin kaydettiği videolarda takip edilmek istenen kişi, Mask R-CNN yöntemi kullanılarak segmente edilir ve farklı tekniklerle çıkarılan özellikleri birleştirilerek daha güçlü bir temsil vektörü oluşturulur. Bu temsil vektörü, kişilerin videolarda otomatik bir sistemle aranmasını ve daha etkili bir şekilde takip edilmesini kolaylaştırır. Çalışmada, renk histogramları, Gabor filtreleri, yönlendirilmiş gradyan histogramı ve VGG16 mimarisinden oluşan özellik çıkarım teknikleri kullanılarak güçlü bir temsil oluşturulmaktadır. Bu temsil, kişilerin daha iyi tanımlanmasını sağlayarak videolarda daha hızlı ve etkin bir arama performansı sunar. Çalışma, güvenlik personelinin yüz tanıma zorluğu yaşadığı durumlarda olağan şüpheli kişilerin tanımlanması ve takibini kolaylaştırmak için önemli bir altyapı sağlar. Sorgulanan kişinin her bir video karesinde tespit edilip işaretlenmesini sağlayarak gerçek dünyada kullanılabilir bir uygulama örneği sunar. Elde edilen sonuçlar, kesinlik, duyarlılık ve F skoru metrikleri kullanılarak yorumlanmıştır.

Tracking people is a difficult task in surveillance carried out in public and crowded areas and in manual monitoring without an automatic tracking system. The proposed study was developed to solve this problem and contribute to the literature. The hybrid system is designed for identification and tracking of individuals in surveillance systems. The person who is wanted to be followed in the videos recorded by the camera systems is segmented using the Mask R-CNN method and a stronger representation vector is created by combining the features extracted with different techniques. This representation vector makes it easier to search for people in videos and track them more effectively with an automated system. In the study, a powerful representation is created using feature extraction techniques consisting of color histograms, Gabor filters, directed gradient histogram and VGG16 architecture. This representation enables better identification of people, providing faster and more effective search performance in videos. The study provides an important infrastructure to facilitate the identification and tracking of usual suspects in situations where security personnel have difficulty in facial recognition. It provides an application example that can be used in the real world by ensuring that the interrogated person is detected and marked in each video frame. The results obtained were interpreted using precision, sensitivity and F score metrics.