Akıllı Saat Sensör Verileriyle Namaz Kılma Durumunun Derin Öğrenme Yöntemleri Kullanılarak Tespit Edilmesi

Abstract

İnsan hareketi sınıflandırması, insanların yaptığı çeşitli hareketleri belirli kategorilere ayırma işlemidir. Son yıllarda mobil sensörlerin yaygınlaşmasıyla birlikte bu alan önemli bir araştırma konusu haline gelmiştir. Sağlık ve rehabilitasyon süreçlerinde hastaların hareketlerini takip etmek, sporcuların performanslarını analiz etmek, güvenlik sistemlerinde anormal davranışları tespit etmek, oyun ve sanal gerçeklik uygulamalarında etkileşimi artırmak, temassız cihaz kontrollerinde kullanıcı hareketlerini algılamak ve yaşlılar ile engelli bireylerin günlük aktivitelerini izleyerek güvenliklerini sağlamak gibi çeşitli alanlarda önemli rol oynamaktadır. Bu tez çalışmasında, insan hareketi sınıflandırması için oturma, ayakta durma, yürüme, koşma, merdiven inme, merdiven çıkma, klavye ile yazı yazma ve namaz kılma gibi sekiz farklı günlük aktivite türü için elli farklı erkek bireyden akıllı saatlerle veri toplanarak yeni bir veri seti oluşturulmuştur. "HAR-P" ismini verdiğimiz bu veri seti, ivme sensörü, jiroskop sensörü, doğrusal hızlanma sensörü ve manyetik alan sensörü olmak üzere dört sensör çeşidi verisinden oluşmaktadır. Öncelikle, bu dört sensör çeşidi için LSTM, ConvLSTM ve CNN-LSTM modelleri kullanılarak sınıflandırma çalışması yapılmış ve kullanılan modellerin başarıları karşılaştırılmıştır. Daha sonra, hangi sensör veya sensör grubunun insan hareketi sınıflandırılmasında daha etkili olduğunu tespit etmek amacıyla sensör verileri hizalanmış ve frekans eşitleme işlemi gerçekleştirilmiştir. Çalışmamızın asıl amacı, günlük aktiviteler içinden namaz kılmayı tespit etmektir. Bu amaçla, sekiz sınıflı yapıdaki veri seti "namaz" ve "namaz olmayan" şeklinde iki sınıflı yapıya dönüştürülmüştür. Ardından, dört sensör çeşidinin, sensör birlikteliklerine göre oluşan on beş farklı kombinasyonu ile yine aynı üç model kullanılarak testler gerçekleştirilmiştir. %96,4'lük doğruluk değeri, CNN-LSTM modeli ve üç sensörün birlikteliği ile elde edilmiştir.

Human activity classification is the process of categorizing various movements performed by people into specific categories. With the widespread use of mobile sensors in recent years, this field has become a significant area of research. It plays a crucial role in various areas such as monitoring patients' movements in health and rehabilitation processes, analyzing athletes' performance, detecting abnormal behaviors in security systems, enhancing interaction in gaming and virtual reality applications, recognizing user movements in contactless device controls, and ensuring the safety of the elderly and disabled individuals by monitoring their daily activities. In this thesis, a new dataset called "HAR-P" has been created by collecting data from smartwatches worn by fifty different male individuals for eight different daily activity types: sitting, standing, walking, running, descending stairs, ascending stairs, typing on a keyboard, and praying. This dataset comprises data from four types of sensors: accelerometer, gyroscope, linear acceleration sensor, and magnetic field sensor. Initially, classification was performed using LSTM, ConvLSTM, and CNN-LSTM models for these four types of sensor data, and the performances of these models were compared. Subsequently, to determine which sensor or sensor group is more effective in human activity classification, sensor data were aligned and frequency synchronization was performed. The primary goal of our study is to detect the activity of praying among daily activities. For this purpose, the eight-class dataset was transformed into a two-class structure: "praying" and "not praying." Tests were then conducted using the same three models with fifteen different combinations of the four types of sensors, based on their groupings. A classification accuracy of 96.4% was achieved with the CNN-LSTM model and the combination of three sensors.