Axtarış botu — Ümumdünya hörümçək torunu sistematik şəkildə analiz edən və adətən veb indeksləşdirmə məqsədilə axtarış motorları tərəfindən idarə olunan internet botu.^[1]

Veb axtarış mühərrikləri və bəzi digər veb-saytlar öz veb məzmununu və ya digər saytların veb məzmununun indekslərini yeniləmək üçün axtarış botundan istifadə edirlər. Axtarış botu axtarış mühərriki tərəfindən emal edilməsi üçün səhifələri kopyalayır. Bu da istifadəçilərə daha səmərəli axtarış edə bilmə imkanı verir.

Axtarış botları ziyarət edilən sistemlərdə resursları istehlak edir və tez-tez saytları xəbərsiz ziyarət edirlər. Böyük səhifə kolleksiyasına rast gəldikdə planlama, yüklənmə və "nəzakət" problemləri gündəmə gəlir. Bunu axtarış botuna bildirmək üçün indekslənmək istəməyən ictimai saytlar üçün mexanizmlər mövcuddur. Məsələn, robots.txt faylı botlardan veb-saytın yalnız müxtəlif hissələrini indeksləşdirməyi və ya ümumiyyətlə indeksləşdirməməyi tələb edə bilər.

İnternet səhifələrinin sayı olduqca çoxdur; hətta ən böyük botlar belə tam indeks yaratmaqda çətinlik çəkirlər. Bu səbəbdən, axtarış sistemləri Ümumdünya hörümçək torunun ilk illərində, 2000-ci ildən əvvəl müvafiq axtarış nəticələrini vermək üçün mübarizə aparırdılar. Bu gün müvafiq nəticələr demək olar ki, dərhal verilir.

Axtarış botları hiperlinkləri və HTML kodunu təsdiqləyə bilər. Onlar həmçinin veb skreypinq və məlumatlara əsaslanan proqramlaşdırma üçün istifadə edilə bilər.

• Avtomatik indeksləmə
• Gnutella
• Veb arxivləşdirmə
• Webgraph
• Oflayn oxucu
• Axtarış mühərriki skreypinqi
• Veb skreypinq

• Cho, Junghoo, "Web Crawling Project", UCLA Computer Science Department.
• A History of Search Engines, from Wiley
• WIVET is a benchmarking project by OWASP, which aims to measure if a web crawler can identify all the hyperlinks in a target website.
• Shestakov, Denis, "Current Challenges in Web Crawling" and "Intelligent Web Crawling", slides for tutorials given at ICWE'13 and WI-IAT'13.