Arama motoru mimarisi ve uygulaması

Abstract

Arama motorları internet üzerindeki büyük boyuttaki veri ile insanlar arasında köprü kuran ve insanların istedikleri bilgiye ulaşmasını sağlayan bir teknolojidir. Diğer bir deyişle arama motorları web üzerindeki internet sitelerini bot aracılığı ile kaydedip, ardından bu sayfaları indeksleyip, insanlar tarafından gönderilen sorgulara göre anlamlı veri elde edip, insanlara istedikleri bilgiyi içeren web sayfalarını gösteren bir sistemdir. Kullanıcılar çoğunlukla arama motorlarının çalışma mekanizmalarını bilmezler. Bu tez'de ilk olarak arama motorlarının kullandıkları bot yazılımı olan Crawler programlarının çalışma mimarisi anlatılarak ve paralel çalışan bir Web Crawler uygulaması yapılarak detaylı bir anlatım yapılmıştır. Ardından arama motorlarının indeksleme mimarisi anlatılmış ve paralel şekilde çalışan bir indeksleme uygulaması geliştirilmiştir. Ardından arama motorlarının indeksleme alt yapısında nasıl arama yapıldığına değinilmiş ve web arayüzüne sahip bir arama uygulaması geliştirilmiştir.

Search engines are a technology that provides the information that people who want to create a bridge between people and data on the internet. In other words, it is a system where search engines save web sites on the web through bots, then index these pages and get meaningful data according to the queries sent by people and show the web pages containing the information they want. Users often do not know the working mechanisms of search engines. In this thesis, firstly the working architecture of the Crawler programs, which are the bot software used by the search engines, is explained and a detailed description is made by a parallel Web Crawler application. Then the indexing architecture of the search engines is described and a parallel indexing application is developed. Later, a search application was developed that describes how search engines have been searched in the indexing infrastructure and has a web interface.