Robots Exclusion Protocol (REP)

Robots Exclusion Protocol (REP) to standard komunikacji pomiędzy stroną internetową a robotami indeksującymi, określający, które zasoby witryny mogą być przeszukiwane przez crawlera, a które powinny zostać pominięte.

REP działa na podstawie prostych dyrektyw tekstowych umieszczanych w pliku robots.txt, zlokalizowanym w katalogu głównym strony (np. https://example.com/robots.txt). Dzięki niemu właściciele witryn mogą określić zasady dostępu dla różnych robotów wyszukiwarek, takich jak Googlebot czy Bingbot, bez potrzeby ingerowania w kod źródłowy strony.

Warto podkreślić, że REP nie jest mechanizmem zabezpieczającym – nie uniemożliwia technicznego dostępu do treści, lecz jedynie informuje roboty, których zasad przestrzegać. Protokół ten opiera się więc na dobrej woli botów i nie ma mocy prawnej. Jego rola w SEO jest jednak bardzo istotna, ponieważ pozwala skutecznie zarządzać crawlowaniem i uniknąć indeksowania niepożądanych podstron, co wpływa na efektywność wykorzystania budżetu indeksacyjnego.

➡️ Więcej dowiesz się z artykułu: Plik robots.txt – pojęcie, działanie, znaczenie dla SEO