3D Lidar nokta bulutu işlemede sınır gözetimli voksel tabanlı bir segmentasyon yöntemi geliştirilmesi

Abstract

İç ve dış mekânlarda bulunan yapı ve nesneler Lidar (ışık algılayan ve mesafe ölçen) sistemler ile taranarak nokta bulutu halinde, üç boyutlu (3D) ve renkli olarak dijital ortamlara aktarılabilmektedir. Lidar taramasıyla elde edilen, yapı ve nesneler hakkında detaylı bilgi sağlayan bu 3D nokta bulutu verisinin elemanları olan noktalar, organize edilmiş bir veri yapısı içerisinde konumlandırılmamış olarak düzensiz bir şekilde gelmektedir. Günümüzde Lidar teknolojisindeki gelişmeler, nokta bulutu verilerinin kalitesini artırmasının (daha az konum hatası ve daha yüksek çözünürlüklü olarak) yanında, çok yüksek miktarlarda düzensiz veri yığınını da getirmiştir. Çok yüksek boyuttaki bir veriden benzer özellikteki ve konumsal yakınlığı olan verileri gruplayarak, işlenecek veri sayısını düşürmekle birlikte veriden daha anlamlı bilgiler çıkarılmasını da sağlayan işleme segmentasyon denilmektedir. Segmentasyon, 3D nokta bulutu işlemeyi de kapsayan bilgisayarlı görme alanında büyük miktarda veri ile uğraşmayı gerektiren uygulamalar için oldukça yüksek bir öneme sahiptir. Segmentasyon işleminin de karmaşık veriler üzerinde istenilen özelliklerde ve sürede sonuç vermesi, bilgisayarlı görme alanında ayrı bir uğraş konusu olmuştur. Tez çalışmasında, 3D nokta bulutu işlemede, uygulamanın başarısını önemli oranda etkileyen segmentasyon işleminin daha başarılı ve hızlı bir şekilde yapılabilmesi için yeni bir voksel tabanlı segmentasyon yöntemi geliştirilmiştir. Geliştirilen yöntem, yüzeylerdeki lokal nokta gruplarının oluşturdukları düzlemsel yapıların eğim açıları ve ağırlık merkezleri gibi basit geometrik özelliklerini kullanarak segmentasyon işlemini gerçekleştirebilmiştir. Tez kapsamında, literatürde kullanılan veri setlerinin özellikleri dikkate alınarak, benzer şekilde bir adet iç ve iki adet dış mekânsal ortam, bir karasal Lidar sistemi ile taranarak üç farklı 3D nokta bulutu verisi temin edilmiştir. Elde edilen ham nokta verileri, oluşturulan veri setinin kullanım amacına göre indirgeme, kırpma ve gürültü giderme gibi ön işlemlerden geçirildikten sonra, segmentasyon referans segmentleri de hazırlanarak üç adet veri seti oluşturulmuştur. Tez kapsamında hazırlanan veri setlerine ek olarak, literatürden de iki adet daha segmentasyon veri seti temin edilmiş ve böylece toplam beş adet veri seti segmentasyon karşılaştırmasında kullanılmıştır. Veri setlerinin temin edilmesinin ardından, yöntemlerin nicel değerler üzerinden karşılaştırması aşamasına kadar olan geliştirme ve iyileştirme aşamaları iki ayrı koldan eş zamanlı olarak ilerlemiştir. Bunlardan birisi sekiz dallı ağaç (octree) organizasyonu ile veriyi vokselleme tekniğinin, düzlem özelliği göstermeyen vokseller için yeniden düzlem uydurma ön işleminin ve geliştirilen segmentasyon yönteminin kodlanması aşamalarıdır. Diğeri ise karşılaştırma için literatürde başarı göstermiş segmentasyon yöntemlerinin belirlenmesi, bunların temin edilmesi veya yeniden kodlanması ve nicel karşılaştırma için doğruluk ve F1 skor değerleri hesaplama yöntemlerinin kodlanması aşamalarıdır. Bütün bu geliştirme, iyileştirme ve kodlama aşamaları tamamlandıktan sonra uygulanan yöntemlerin tez kapsamında kullanılan veri setleri üzerindeki segmentasyon çıktılarının doğruluk ve F1 skor sonuçları alınarak, başarı ve çalışma süresi açısından karşılaştırma analizleri yapılmıştır. Geliştirilen yöntem, 0.81 ortalama doğruluk değeri ve 0.69 ortalama F1 skor değeri ile literatürde bulunan ve benzer şekilde noktaların geometrik özelliklerini kullanarak segmentasyon yapan diğer yöntemlere göre segmentasyon başarısı ve hız açısından üstünlük elde etmiştir. Tez kapsamında ayrıca, nokta bulutundaki noktaların renk değerlerinin farklılıkları da belirli etki oranlarında segmentasyona dâhil edilmiş ve renk kalitesi yüksek iç mekân verisinde başarı arttırılmıştır. Tez kapsamında daha sonra, geliştirilen yöntemin farklı parametre değerleri ile literatürden alınan yüksek miktarda noktadan oluşan bir iç mekân anlamsal segmentasyon (semantic segmentation) veri seti (S3DIS) üzerindeki ham nokta bulutu sınıflandırmasında ara işlem olarak kullanımı da incelenmiştir. Sınıflandırma işlemi için, öncelikle geliştirilen yöntemle segmentasyon yapılarak veri segmentlere ayrılmış ve her segmentten bir özellik vektörü çıkarılmıştır. Daha sonra da, bu özellik vektörleri kullanılarak sınıflandırma yapılmıştır. Segmentasyon tabanlı sınıflandırma işlemi, Destek Vektör Makinesi (DVM) ve Rastgele Orman (RO) olarak iki farklı sınıflandırıcı ile ayrı ayrı uygulanmıştır. Sınıflandırma işlemlerinin sonuçları da noktaların sınıf etiketlerinin doğruluk ve F1 skor değerleri üzerinden karşılaştırılmıştır. Karşılaştırma sonuçlarına göre, ham nokta bulutundaki noktaların sınıflandırma başarıları DVM için 0.76 doğruluk ve 0.48 F1 skor iken RO için 0.83 doğruluk ve 0.70 F1 skor olmuştur. Sonuçlara bakıldığında kullanılan veri ve özellik setlerine göre RO sınıflandırıcısı DVM sınıflandırıcısından daha iyi sonuç vermiştir.

Structures and objects located indoors and outdoors can be scanned with Lidar (Light Detecting and Range) systems and transferred to digital environments as point clouds in three-dimensional (3D) and colored. The points, which are the elements of this 3D point cloud data obtained by Lidar scanning and providing detailed information about the structures and objects, come in an irregular form without being located in an organized data structure. Nowadays, developments in Lidar technology have not only improved the quality of point cloud data (with less location error and higher resolution), but also brought enormous amounts of irregular data. The segmentation process is the process that reduces the number of data by grouping data with similar characteristics and spatial proximity, and provides more meaningful information from the data. Segmentation is of great importance for applications that require dealing with a lot of data in the field of computer vision, including 3D point cloud processing. The ability of the segmentation process to yield results on complex data in the desired features and time has been a separate challenge in the field of computer vision. In this thesis, a novel voxel-based segmentation method was developed by focusing on the segmentation of point clouds in order to make the segmentation process more successful and faster, which significantly affects the success of the application. The developed method was able to perform the segmentation process by using simple geometric features such as the inclination angles and barycenters of the planar structures formed by the local point groups on the surfaces. Within the scope of the thesis, considering the characteristics of the data sets used in the literature, similarly, three different 3D point cloud data were obtained by scanning one indoor and two outdoor environments with a terrestrial Lidar system. After the raw point data obtained were pre-processed such as reduction, clipping and noise removal according to the intended use of the data set, the segmentation reference segments of them were also prepared and three data sets were created. In addition to the data sets prepared within the scope of the thesis, two segmentation data sets were obtained from the literature and thus, a total of five data sets were used in segmentation comparison. After the data sets had been obtained, the development and improvement stages were proceeded simultaneously in two separate branches up to the stage of comparing the methods over quantitative values. One of them is the stages of coding the data voxelization technique with the eight-branch tree (octree) organization, the refitting pre-process for voxels that do not show planar feature, and the developed segmentation method. The other is the stages of determining the segmentation methods that have succeeded in the literature for comparison, obtaining or recoding them, and coding the accuracy and F1 score values calculation methods for quantitative comparison. After all these development, improvement and coding stages were completed, the accuracy and F1 score results of the segmentation outputs of the applied methods on the data sets used within the scope of the thesis were obtained and comparison analyzes were made in terms of success and working time. The method developed has 0.81 average accuracy value and 0.69 average F1 score value in an advantage in terms of segmentation success and speed compared to other methods using geometric properties of points similarly in the literature. Within the scope of the thesis, the differences in the color values of the points in the point cloud were also included in the segmentation at certain effect rates, and success was increased in indoor data with high color quality. In the scope of the thesis, the developed segmentation method was also examined as an intermediate process in raw point cloud classification with different segmentation parameter values on an indoor semantic segmentation dataset (S3DIS) consisting of a large amount of points obtained from the literature. For the classification process, the data was divided into segments by segmentation with the method developed first and feature vector was extracted from each segment. Then, classification is made using these feature vectors. The segmentation-based classification process was applied with two different classifiers as Support Vector Machine (SVM) and Random Forest (RF), seperately. The results of the classification processes were compared on the accuracy and F1 score values of the class labels of the points. According to the comparison results, the classification successes of the points in the raw point cloud were 0.76 accuracy and 0.48 F1 score for SVM, while 0.83 accuracy and 0.70 F1 score for RF. Looking at the results, the RF classifier gives better results than the SVM classifier according to the data and feature sets used.