Yüz tanıma sistemlerinde derin öğrenme tabanlı biyometrik saldırı tespiti

Abstract

Yüz tanıma sistemlerinin yaygınlaşması, fotoğraf, video yeniden oynatma ve 3D maske temelli sunum saldırılarını önemli bir güvenlik tehdidi haline getirmiştir. Bu tez çalışmasında söz konusu saldırıları donanımdan bağımsız ve gerçek zamanlı tespit edebilmek amacıyla uzamsal ve zamansal öznitelikleri birleştiren çift akışlı hibrit bir derin öğrenme mimarisi önerilmiştir. Görsel akışta transfer öğrenme ile başlatılan MobileNetV2 omurgası kullanılırken, fizyolojik canlılık belirtilerini analiz etmek için rPPG tabanlı bir LSTM ağı sisteme entegre edilmiştir. Çalışmanın temel katkısı, görsel akışın tam yüz görüntüsünü kullanması ve fizyolojik akışın anatomik segmentasyon tabanlı seçici ROI ile temiz deri bölgelerine odaklanmasıdır. Model Replay-Mobile, 3DMAD, PURE ve UBFC-RPPG veri setlerini içeren heterojen bir veri havuzunda kişi bağımsız 5-katlı çapraz doğrulama ile değerlendirilmiştir. Deneysel sonuçlar önerilen yöntemin %4,16 ACER ve %99,36 AUC değerleri ile literatürdeki karmaşık modellerle rekabet edebildiğini göstermektedir. Bulgular, görsel ve fizyolojik modalitelerin birleşiminin özellikle zor saldırı senaryolarında sistemin doğruluğunu ve kararlılığını artırdığını ortaya koymaktadır.The widespread adoption of facial recognition systems has made presentation attacks based on photographs, video replays, and 3D masks a significant security threat. In this thesis, a dual-stream hybrid deep learning architecture that combines spatial and temporal features is proposed to detect such attacks in a hardware-independent and real-time manner. While the visual stream utilizes a MobileNetV2 backbone initiated with transfer learning, an rPPG-based LSTM network is integrated into the system to analyze physiological signs of life. The primary contribution of the study is that the visual stream utilizes the full face image, while the physiological stream focuses on clean skin regions through anatomical segmentation-based selective ROI. The model was evaluated using person-independent 5-fold cross-validation on a heterogeneous data pool including the Replay-Mobile, 3DMAD, PURE, and UBFC-RPPG datasets. Experimental results demonstrate that the proposed method competes with complex models in the literature, achieving an ACER of 4.16% and an AUC of 99.36%. The findings reveal that the combination of visual and physiological modalities increases the accuracy and stability of the system, particularly in challenging attack scenarios.