Eğitim amaçlı insan - makine etkileşimi ve fizik tedavi uygulaması

Abstract

İnsan - Makine Etkileşimi (İME), insanların, bilgisayarlar, makineler, robotlar ve diğer teknolojik ortamlar ile nasıl etkileşime girdiğini anlamaya çalışan genelleyici bir bilimsel konu başlığı olarak tanımlanabilir. İME çalışmaları sayesinde bu tip ortamların insanlık için daha etkin hale getirilmesi amaçlanmaktadır. Bu tez çalışmasında, İME yoluyla insana bir görevin öğretilmesi için hem robot hem de hologram etmenin (agent) kullanıldığı uygulamalar geliştirilmiştir. Bu uygulamalar sayesinde, literatürde ilk defa iki etmen, öğretme alanındaki başarı oranları, avantajları ve dezavantajları yönünden katılımcılar ile denenerek karşılaştırılmıştır. Bu uygulamalardan edinilen tecrübe ve geliştirilen yöntem kullanılarak, hologram ile insana görev öğretme fizik tedavi alanına taşınmış; literatürde ilk defa boyun ağrısının tedavisi için gerekli olan egzersiz hareketlerini hastalara öğretecek ve uygulanırken de onları denetleyip yönlendirecek holografik bir tedavi uygulaması geliştirilmiştir. Tez çalışmasında gerçekleştirilen ilk uygulamada, insana bir görevin öğretilmesini amaçlayan deneysel çalışmalar gerçekleştirilmiştir. Önce robot etmen için niyet yönlendirme temelli deneysel çalışma ortamı hazırlanmış sonra bunun bir benzeri de HoloLens cihazı üzerinde Artırılmış Gerçeklik (AG) ortamı olarak tasarlanmıştır. Her iki etmen ile gerçekleştirilen deneylerde 50 kişiden elde edilen sonuçlar literatürdeki eğitim amaçlı çalışmalarda kullanılan metriklere göre değerlendirilmiştir. Elde edilen sonuçlara göre insana bir görevi öğretmede robot etmenin %48, hologram etmenin ise %24 oranında başarılı olduğu görülmüştür. Böylece robot öğreticinin daha başarılı olduğu sonucuna varılmıştır. Gerçekleştirilen bu uygulama ile bir İME çalışmasında ilk defa Sonlu Durum Makineleri (SDM) yöntemi ile hologramın kontrol edildiği bir algoritma tasarlanmıştır. Bunun yanında kullanıcıların hareketleri, İçerikten Bağımsız Dilbilgisi (İBD) ve Aşağı Sürüklemeli Otomat (ASO) yöntemleri ile modellenerek hologramların daha karmaşık görevleri öğretmede kullanılabilmesi sağlanmıştır. İnsana bir görevin bir etmen aracılığıyla öğretilmesi konusunda tez çalışması kapsamında gerçekleştirilen ikinci uygulama, boyun ağrısı tedavisi için gereken fizik tedavi hareketlerinin hologram yardımıyla öğretilmesidir. Bu uygulama ile literatürde tedaviye sadık kalmayan veya tedaviyi yanlış uygulayan hastalar için çözüm olabilecek bir sistem geliştirilmiştir. Gerçekleştirilen sistem ile hastaların hareketleri doğru açıyla, doğru tekrar sayısıyla ve doğru sürede yapıp yapmadıkları HoloLens üzerindeki sensörlerden ve etrafa yerleştirilen işaretçilerden faydalanılarak denetlenmiştir. Buna ilaveten holografik videolar, yönlendirici hologramlar ve sesler ile insanlara egzersiz hareketleri öğretilmiştir. Bu sistemin faydasını ölçmek için 15'i kontrol grubu 15'i test grubu olmak üzere toplam 30 katılımcı ile testler yapılmıştır. Cihazı kullanmayan kontrol grubunda süre, tekrar ve açı hata oranları sırasıyla %36.4, %8 ve %27.3 iken, test grubunda hata oranları sırasıyla %0, %0 ve %9.1 şeklinde gerçekleşmiştir. Ayrıca deneyler sırasında toplanan görüntü ve video kayıtları ile daha sonraki çalışmalar için veri seti hazırlanmıştır. Bu tezdeki çalışmalarla, İME ile insanların yönlendirilmesi sağlanmış ve bunun sonucunda da ihtiyacı olan insanlara teknolojik cihazlar ile fayda sağlayabilecek sistemler geliştirilmiştir.

Human - Machine Interaction (HMI) could be defined as a general scientific topic that deals with understanding how people interact with computers, machines, robots and other technological environments. With HMI studies, it is aimed to make these environments into more effective ones for humanity. In this thesis study, both robot and holographic agent applications are developed to teach a task to human through HMI. Thanks to these applications, for the first time in the literature, these two agents were compared in terms of their success rates, advantages and disadvantages with a teaching aspect. Using the experience and the methods developed from these applications, teaching human with the hologram concept has been moved to the field of physical therapy. For the first time in the literature, a holographic treatment application has been developed which teaches patients the exercise movements needed for the treatment of neck pain and supervises them while they are practicing. In the first application of the thesis, experimental studies aiming to teach a task to humans were realized. First, an experimental environment based on intention reshaping was prepared for a robot agent and then a similar one was designed as Augmented Reality (AR) environment on a HoloLens device. The results obtained from the experiments, which were carried out with both agents and 50 individuals, were evaluated according to the metrics derived from educational studies in the literature. According to the results obtained, it was seen that robot agent was 48% and hologram agent was 24% successful in teaching a task to the human. Thus, it was concluded that the robot teacher is more successful. With this application, an algorithm that controls the hologram with Finite State Machines (FSM) method was developed for the first time in a HMI study. In addition to this, users' movements were modeled with Context - Free Grammar (CFG) and Push Down Automaton (PDA) methods so that holograms would be used to teach more complex tasks. The second application, which was carried out within the scope of this thesis, is teaching the physical therapy movements that are necessary for the treatment of neck pain with holograms. With this application, a system has been developed to be a solution for the problem of patients who are not loyal to the treatment or who applied the treatment incorrectly in the literature. With this system, patients' movements are checked if they were done with correct angle, number of repetitions and time period by using sensors on HoloLens and markers placed around. In addition, exercise movements are taught to patients with holographic videos, directive holograms and sounds. In order to measure the efficiency of this system, experiments were realized with 30 individuals; 15 of them were selected to the control group and 15 of them were selected to the test group. While, time period, number of repeat and angle error rates were 36.4%, 8% and 27.3% in the control group, the error rates in the test group were 0%, 0% and 9.1%, respectively. Also, images and video recordings collected during the experiments were built as a data set for future studies. With the studies in this thesis, people were guided with HMI and as a result of this, it was contributed to provide benefit to the people in need with technological devices.