Engelliler için Türk işaret dilini öğrenen ve sınıflandıran duyusal eldiven tasarımı ve uygulaması

Abstract

Bu çalışmada duyma veya konuşma engeli olan insanların iletişim sağlayabilmelerine yardımcı olabilecek bir işaret dili tanıma eldiveni tasarımı ve uygulaması yapılmıştır. Tasarımda kullanılan eldivenlerde, 12 adet esneklik algılayıcı, 2 adet ataletsel algılayıcı, 10 adet manyetik alan algılayıcı ve geliştirme kartları kullanılmıştır. Toplamda kullanılan algılayıcılardan 34 adet sinyal elde edilerek bir işaret matrisi oluşturulmuştur. Ardından işaret dili hareketlerinden oluşan matrisler varyans, basıklık, çarpıklık ve standart sapma gibi istatistiksel işlemlere tabi tutularak 272 adet öznitelikten oluşan giriş vektörüne dönüştürülmüştür. İşaret dili hareketlerini tanımak için makine öğrenmesi algoritmalarından yararlanılarak sınıflandırma yapılmıştır. Kullanılan yöntemler; Lojistik Regresyon, Yapay Sinir Ağları, Destek Vektör Makineleri, Naif Bayes, Karar Ağaçları, Rastgele Orman ve En Yakın Komşu yöntemleridir. Çalışmada 32 adet işaret dili hareketi ele alınmıştır. Sınıflandırma çalışmalarında 320 ve 960 örnekten oluşan iki ayrı veri seti kullanılmıştır. Doğru tanıma oranı ortalama ilk veri setinde 86,4%, ikinci veri setinde 96,9% olarak hesaplanmıştır.

In this study, a sign language recognition glove design and application was made that could help people with hearing or speech disabilities be able to communicate. 12 flexibility sensors, 2 inertial sensors, 10 magnetic field sensors and development cards were used on the prototype gloves. A data matrix was created for a sign language movement with data collected from a total of 34 sensors. The features of sign language data such as variance, kurtosis, skewness and standard deviation were then extracted. In this way, an input data consisting of 8 features for each sensor data, a total of 272 features, was obtained Classification was achieved using the methodology of machine learning to recognize sign language. The methods used are Logistic Regression, Artificial Neural Networks, Support Vector Machines, Naive Bayes, Decision Trees, Random Forest and Nearest Neighbor methods. In the analysis, 32 motion in the sign language is addressed. Two separate data sets consisting of 320 and 960 samples were used in the classification studies. The correct recognition rate was calculated as 86.4% in the first data set and 96.9% in the second data set.