Adlandırılmış varlık tanıma modelleri ile türkçe sosyal medya metinlerinde küfürlü sözlerin sansürlenmesi

Abstract

Adlandırılmış varlık tanıma problemi, veri çıkarımı, doğal dil işleme ve metin madenciliği gibi alanların alt dalı olarak ele alınmaktadır. Adlandırılmış varlık tanıma, yapılandırılmamış metinlerdeki varlık isimlerinin uygunluklarına göre önceden belirlenen kişi ismi, organizasyon ismi veya yer ismi gibi sınıflara atama yapmak için kullanılan bir araçtır. Gelişen teknoloji ile birlikte sosyal ağlar çok insan tarafından kullanılmaktadır. Sosyal medya kullanan kişiler her türlü resim, metin veya video içeriklerini paylaşabilmektedir. Paylaşılan bu içerikler ise bazen uygunsuz yani aile yapısını etkiler nitelikte olabilmektedir. Bu çalışmada, Twitter’daki Türkçe tweetler kullanılarak küfür, hakaret ve uygunsuz kelimeler adlandırılmış varlık tanıma problemi olarak ele alınmış ve bu kelimeler farklı yöntemler ile tespit edilmeye çalışılmıştır. Çalışmada, önce metinlerde geçen kelime ve kelime öbekleri etiketlenmiş daha sonra ise etiketlenen kelimeler vektörleştirilmiştir. Vektörler, Bi-LSTM ve öneğitimli BERT modelleri kullanılarak eğitim yapılmıştır. Bi-LSTM modeli hem eğitimde hem de test aşamasında %99‘a yakın doğruluk oranı sergilemiştir. BERT modeli ise eğitim aşamasında %99 civarında doğruluk oranı gösterirken, test başarısının %95 civarında olduğu gözlemlenmiştir. Çalışma hızı açısından, Bi-LSTM modelinin BERT modelinden yaklaşık olarak 3 kat daha hızlı olduğu görülmüştür.

Named Entity Recognition problem is considered as a sub-branch of fields such as data extraction,natural language processing and text mining. Named entity recognition is a tool used to assign classessuch as predetermined person name, organization name or place name according to the suitability ofentity names in unstructured texts. With the developing technology, social networks are used by manypeople. People using social media can share any image, text or video content. These shared contentsmay be inappropriate, that is, affect the family structure. In this study, using Turkish tweets on Twitter,swearing, insults and inappropriate words were studied as a named entity definition problem and thesewords were tried to be determined by different methods. In the study, first the words and phrases inthe texts were labeled, and then the labeled words were vectorized. Training was done using vectors,Bi-LSTM and pretrained BERT models. The Bi-LSTM model showed close to 99% accuracy both in trainingand testing. On the other hand, the BERT model showed a training accuracy of around 99% during thetraining phase, while the test success was observed around 95%. In terms of operating speed, it hasbeen observed that the Bi-LSTM model is approximately 3 times faster than the BERT model.