Belki de internetin icadından sonra, yapılan en büyük icat arama motorlarının (google, yandex…) bulunmasıdır. Günümüzde artık hemen herkes arama motorlarını bir şekilde kullanıyor, onu hayatının bir parçası haline getiriyor. Birçoğumuz ziyaret edeceğimiz web sitelerine bile arama motorları üzerinden giriş yapıyoruz. Peki, bu arama motorları nasıl çalışıyor, sistemleri nasıl işliyor?
Arama motorlarının en önemli ve öncelikli işlevi crawling işlemidir.Crawling adı verilen işlem, arama motorlarının en önemli işlevini yerine getiren, web sitelerini belirli aralıklarla tarayarak, ziyaret ederek, orada bulduğu bilgileri depolayan, listeleyen bir işlemdir.
Crawling işlemi, bilgisayarlar tarafından otomatik olarak yapılır, bütün web siteleri, her sayfasına kadar tek tek ziyaret edilir, ziyaret edilen bu sitelerdeki her türlü bilgi kaydedilir. Bu işlem çok hızlı bir şekilde, belirli aralıklarla, sonu olmayan bir periyotta devam eder. Crawling işleminin sıklığı ve tarama kapsamı siteye göre değişir.
Sonraki aşama indeksleme yani taranan web siteleri ve ulaşılan bilgilerin listelenmesine gelir. Bunu basit bir anlatımla kütüphanelerdeki indeksleme sistemine benzetebiliriz. İndekslerde sadece sayfa başlığı ve sayısı değil, aynı zamanda sayfaların içeriği hakkında da bilgiler yer alır.
Son olarak da sıralama ve puanlandırma yapılır. Yapılan sorgulamanın, milyonlarca sayfa arasında karşılaştırma yaparak hangisinin en uygun olduğunu belirlemeye çalışır. En karmaşık ve arama motorlarına göre en belirgin farkların olduğu aşama bu aşamadır. Bu aşamayı firmalar bir sır olarak saklarlar ve pazarın lideri olma yönünde çalışmalarına devam ederler.
