Crawler

Robots.txt

Slovník tvorby webů a online marketingových pojmů

Robots.txt je textový soubor, který informuje vyhledávače o tom, které části webu mohou či nemohou prohledávat.

Indexace stránek

Slovník tvorby webů a online marketingových pojmů

Indexace stránek je proces, při kterém vyhledávače prohledávají a ukládají obsah webových stránek do své databáze pro rychlé vyhledávání.

Crawling

Slovník tvorby webů a online marketingových pojmů

Crawling je proces, při kterém vyhledávače automatizovaně prohledávají webové stránky za účelem jejich indexace a aktualizace.

Crawler

Slovník tvorby webů a online marketingových pojmů

Crawler je automatizovaný program používaný vyhledávači k prohledávání a indexaci webových stránek pro zlepšení výsledků vyhledávání.