Web Crawler Nedir?

Arama motorlarının çalışma prensipleri arasında çok sık duyulan bir terim Web Crawler. Google Robotları, örümcek robot gibi terimleri de eş anlamlı olarak kullanılır. Crawler, türkçe de palet anlamına geliyor, bir iş makinası vardır, tırtıllı ayakları paleti vardır. Bizim konumuz, Web Crawling, spidering siteyi bir ağ gibi ören, tek tek hyperlink kontrolü yaptığı için crawler’a benzetilen web crawler’ı anlamaya çalışacağız.

Web Crawler, bir çeşit bot tur. Seeds adı verilen, gezilmesi gereken URL listesine bakar ve siteleri gezmeye başlar. Bu siteleri gezerken, site içinde yer alan başka linkleri de hafızasına alarak gezilmesi gereken siteler olarak tanımlar. Buna Crawl Frontier denir.

Web Crawler kelimesi bazen web robot, bot, arama botu, web spider, web örümceği, automatic indexer gibi anılabiliyor.

Bir ziyaretçi, örneğin siz Görkem ÜNEL – Arama Motoru Pazarlaması bloğuna geldiğinizde aşağıdaki gibi bir site ile karşılaşırken,

Web Crawler Nedir?

Web Crawler veya Arama Robotu  Görkem ÜNEL – Arama Motoru Pazarlaması bloğuna geldiğinde aşağıdaki gibi bir kod yapısı ile karşılaşır. Google Robotları için önemli olan kod yapısının doğru ve anlaşılır olması mühim. Ayrıca, uygun içerik barındırması da önemli bir etken. Siteniz görsel zenginliğe sahip olması bazen web spider veya web robotları için bir anlam ifade etmeyebilir.

Web Crawler Nedir?

 

Loading Facebook Comments ...

Leave a Reply

Your email address will not be published. Required fields are marked *