Derin öğrenme yaklaşımlarını kullanarak videolarda ve canlı yayınlarda gerçek zamanlı şiddet tespiti

Abstract

Video ve canlı yayınlarda bilgisayar görme ve yapay zekâ yaklaşımları kullanılarak şiddet tespiti dünya çapında birçok araştırmacının ilgisini çeken güncel bir alandır. Videolardaki şiddeti tespit etmek zordur, çünkü videolar yalnızca uzamsal veya zamansal özellikleri olan diğer veri türleriyle karşılaştırıldığında analiz edilmesi zor olan uzamsal-zamansal özelliklere sahiptir. Derin öğrenme, böylesine zorlu bir göreve birçok çözüm sunan derin yapıları ve hiyerarşik öğrenme yaklaşımlarını kullanan bir yapay zekâ alt sınıfıdır. Girdi ve çıktı katmanları arasında birçok katmana sahip olması ve ağ içeren yapıları nedeniyle derin öğrenme yaklaşımları, örüntü sınıflandırma ve uzamsal-zamansal özellikleri çıkarmada oldukça başarılıdır. Bu çalışma, videolarda şiddet tespiti gerçekleştirmek için derin öğrenme yaklaşımlarını kullanarak bir model oluşturmayı amaçlamaktadır. Bu kapsamda çalışmada, videolarda şiddet tespiti için ConvLSTM ile MobileNets'ten oluşan hibrit bir model kullanılmıştır. Yapılan çalışma, bu kombinasyonun şiddet tespiti alanında kullanılmasında öncüdür. MobileNets, ardışık video karelerinden uzamsal özellikleri çıkarmak için kullanılmıştır. Öte yandan ConvLSTM ile, yerel uzamsal özellikleri korunup, kareler arasındaki ilişkiler zamansal olarak analiz edilmiştir. Geliştirilen sinir ağını eğitmek ve test etmek için yaklaşık 2000 video klip kullanılmıştır. Gerçekleştirilen model ile %96'lık bir test doğruluğuna ulaşılmıştır. Edilen sonuçlar, bu konuda yapılan birçok çalışmanın üzerinde bir başarı oranını yakalanmıştır.

Violence detection in videos and live broadcasts using computer vision and artificial intelligence approaches has become a hot research area attracting the attention of many researchers worldwide. Detecting violence in videos is a challenge because videos have spatiotemporal features that are difficult to analyze when compared to other types of data that only have spatial or temporal features. Deep learning is a subclass of artificial intelligence that uses deep structures and hierarchical learning approaches that offer many solutions to such a challenging task. Due to their structure, which contains many layers or networks between the input and output layers, deep learning approaches successfully classify patterns and extract spatiotemporal features. This study aims to build a neural network using deep learning approaches to perform violence detection in videos. In this context, a hybrid model consisting of ConvLSTM and MobileNets was used for violence detection in videos. This work is the pioneer in using this combination in the field of violence detection. MobileNets has been used to extract spatial features from successive video frames. On the other hand, ConvLSTM has been used to analyze the relations between these frames in time manners while maintaining the local spatial features. Around 2000 video clips were used to train and test the developed neural network. A test accuracy of 96% has been achieved using the proposed model. The results have reached a successful test rate higher than many studies on this subject.