Plik robots.txt – tworzenie, wdrożenie, wykorzystanie (cz. 2/2)
W pierwszej części wyjaśniliśmy, czym jest plik robots.txt, jakie pełni funkcje i jakie znaczenie ma dla SEO. Teraz przejdziemy do konkretów: pokażemy, jak taki plik utworzyć, gdzie go umieścić, jak interpretować jego składnię, a także jakie błędy warto omijać, by nie zaszkodzić widoczności swojej strony w wyszukiwarce.
➡️ Tu przeczytasz część pierwszą: Plik robots.txt – pojęcie, działanie, znaczenie dla SEO (cz. 1/2)
Plik robots.txt to zwykły plik tekstowy, który można stworzyć w edytorze takim jak Notatnik, VS Code, Sublime Text lub innym edytorze kodu. Należy zapisać go dokładnie z nazwą robots.txt (małymi literami).
Przykład podstawowej składni:
User-agent: *
Disallow: /admin/
Allow: /public/
Sitemap: https://www.twojastrona.pl/sitemap.xml
Co oznaczają poszczególne komendy?
User-agent: – określa, którego robota dotyczy reguła (np. Googlebot, Bingbot, * dla wszystkich).
Disallow: – zabrania robotowi wchodzenia w określoną ścieżkę.
Allow: – zezwala na dostęp, nawet jeśli nadrzędny folder jest zablokowany.
Sitemap: – wskazuje lokalizację mapy witryny XML.
(opcjonalnie) Crawl-delay: – informuje, jak często bot może odwiedzać stronę (nieobsługiwane przez Google, ale np. przez Bing – tak).
Plik należy umieścić w katalogu głównym domeny. Czyli pod adresem: https://www.stronainternetowa.pl/robots.txt
Kilka zasad technicznych:
Plik musi być dostępny pod protokołem HTTP lub HTTPS – ten sam, co dla reszty strony.
Nie działa dla podfolderów – jeśli masz subdomeny (np. blog.twojastrona.pl), każda z nich wymaga osobnego pliku robots.txt.
W praktyce wiele plików robots.txt zawiera błędy, które mogą negatywnie wpłynąć na widoczność strony w wyszukiwarce. Oto najczęstsze:
Zablokowanie całej strony:
User-agent: *
Disallow: /
– blokuje dostęp do całej witryny.
Blokowanie zasobów kluczowych dla renderowania: Blokowanie plików JS lub CSS może utrudnić Googlebotowi prawidłową ocenę layoutu i funkcjonalności strony.
Brak pliku lub plik z błędami po migracji serwisu.
Niespójność z mapą witryny XML: Jeśli robots.txt blokuje strony, które są jednocześnie podane w sitemap.xml, Google może traktować to jako sygnał dezorganizacji.
Do testowania pliku możesz użyć:
Google Search Console (Inspekcja URL) – sprawdza, czy strona jest dostępna dla Googlebota.
Rich Results Test – nie służy bezpośrednio do robots.txt, ale pomaga zrozumieć, czy Google widzi dane strukturalne (a więc i plik).
Ręczne sprawdzenie w przeglądarce: Wpisz https://twojastrona.pl/robots.txt i upewnij się, że plik się wyświetla.
Zewnętrzne testery online – np. TechnicalSEO.com Robots.txt Tester.
To częste nieporozumienie: robots.txt nie służy do usuwania stron z indeksu, tylko do blokowania crawlowania. Jeśli chcesz, by strona nie była widoczna w Google, zastosuj meta tag: (w nawiasach typu <>) meta name="robots" content="noindex".
Różnice:
robots.txt – blokuje dostęp robota do strony (nie może jej w ogóle odwiedzić).
noindex – pozwala wejść, ale nie pozwala dodać strony do indeksu.
Uwaga: jeśli zablokujesz stronę w robots.txt, Google nie przeczyta tagu noindex, bo nie będzie miał do niej dostępu!
Plik robots.txt to jedno z tych narzędzi, które są banalnie proste w swojej formie, ale mogą mieć ogromny wpływ na widoczność witryny w Google. Właściwa konfiguracja pomaga lepiej zarządzać zasobami, unikać błędów indeksowania i utrzymać porządek w strukturze serwisu. Błędna – może wykluczyć kluczowe strony z wyników wyszukiwania lub utrudnić robotom ich prawidłowe zrozumienie.
Dla każdej strony – od bloga po rozbudowany e-commerce – warto traktować robots.txt jako podstawowe narzędzie SEO technicznego, a nie jedynie formalność. Regularny przegląd i świadoma edycja tego pliku to inwestycja, która się po prostu opłaca.
➡️ Przeczytaj również: Czy struktura adresów URL wpływa na SEO techniczne?
➡️ Z nowości zaś (Czerwiec 2025): Google usuwa zalecenia dot. blokowania stron z auto-tłumaczeniem przez robots.txt
Jak utworzyć plik robots.txt?
Plik robots.txt to zwykły plik tekstowy, który można stworzyć w edytorze takim jak Notatnik, VS Code, Sublime Text lub innym edytorze kodu. Należy zapisać go dokładnie z nazwą robots.txt (małymi literami).
Przykład podstawowej składni:
User-agent: *
Disallow: /admin/
Allow: /public/
Sitemap: https://www.twojastrona.pl/sitemap.xml
Co oznaczają poszczególne komendy?
Gdzie umieścić plik robots.txt?
Plik należy umieścić w katalogu głównym domeny. Czyli pod adresem: https://www.stronainternetowa.pl/robots.txt
Kilka zasad technicznych:
Błędy związane z robots.txt
W praktyce wiele plików robots.txt zawiera błędy, które mogą negatywnie wpłynąć na widoczność strony w wyszukiwarce. Oto najczęstsze:
User-agent: *
Disallow: /
– blokuje dostęp do całej witryny.
Jak sprawdzić poprawność pliku robots.txt?
Do testowania pliku możesz użyć:
Robots.txt a noindex – kiedy co stosować?
To częste nieporozumienie: robots.txt nie służy do usuwania stron z indeksu, tylko do blokowania crawlowania. Jeśli chcesz, by strona nie była widoczna w Google, zastosuj meta tag: (w nawiasach typu <>) meta name="robots" content="noindex".
Różnice:
Uwaga: jeśli zablokujesz stronę w robots.txt, Google nie przeczyta tagu noindex, bo nie będzie miał do niej dostępu!
Praktyczne wskazówki i dobre praktyki
- Nie blokuj CSS i JS – te pliki są potrzebne Google do prawidłowego odwzorowania wyglądu strony.
- Blokuj tylko to, co naprawdę powinno być niewidoczne – np. /cart/, /checkout/, /wp-admin/.
- Bądź spójny – jeśli blokujesz ścieżkę, nie linkuj do niej z sitemap.xml.
- Nie twórz reguł na zapas – nadmierne blokowanie często wyrządza więcej szkody niż pożytku.
- Regularnie testuj plik – po aktualizacjach, migracjach, wdrażaniu nowych funkcjonalności.
Podsumowanie artykułu
Plik robots.txt to jedno z tych narzędzi, które są banalnie proste w swojej formie, ale mogą mieć ogromny wpływ na widoczność witryny w Google. Właściwa konfiguracja pomaga lepiej zarządzać zasobami, unikać błędów indeksowania i utrzymać porządek w strukturze serwisu. Błędna – może wykluczyć kluczowe strony z wyników wyszukiwania lub utrudnić robotom ich prawidłowe zrozumienie.
Dla każdej strony – od bloga po rozbudowany e-commerce – warto traktować robots.txt jako podstawowe narzędzie SEO technicznego, a nie jedynie formalność. Regularny przegląd i świadoma edycja tego pliku to inwestycja, która się po prostu opłaca.
➡️ Przeczytaj również: Czy struktura adresów URL wpływa na SEO techniczne?
➡️ Z nowości zaś (Czerwiec 2025): Google usuwa zalecenia dot. blokowania stron z auto-tłumaczeniem przez robots.txt
Na co dzień działamy prężnie jako agencja marketingu internetowego. Nasi trenerzy to nie przypadkowe osoby, a specjaliści w swych dziedzinach. Swoją wiedzę opierają na wieloletnim doświadczeniu w branży! Jesteśmy agencją z wieloma sukcesami na koncie oraz posiadamy status Google Premier Partner. Masz dzięki temu pewność, że wiedza, którą zdobywasz, nie jest zwykłą teorią, a przetestowaną praktyką.
Szkolenie z SEO w Akademii Marketing Online prowadzi Patryk Wocka — Kierownik i Główny Ekspert ds. SEO w Marketing Online. W firmie od ponad 11 lat odpowiedzialny za kompleksową realizację projektów SEO, obejmującą optymalizację witryn klientów i proces pozycjonowania na wybrane frazy kluczowe.
Patryk odpowiada również za nadzór nad prawidłowym przebiegiem projektów SEO oraz szkolenia wewnętrzne pracowników z zakresu skutecznych metod pozycjonowania. Absolwent Akademii Ekonomicznej w Katowicach, kierunek: Informatyka i Ekonometria. Prywatnie, od wielu lat pasjonat i entuzjasta tematyki marketingu internetowego i technik pozycjonowania.
Patryk odpowiada również za nadzór nad prawidłowym przebiegiem projektów SEO oraz szkolenia wewnętrzne pracowników z zakresu skutecznych metod pozycjonowania. Absolwent Akademii Ekonomicznej w Katowicach, kierunek: Informatyka i Ekonometria. Prywatnie, od wielu lat pasjonat i entuzjasta tematyki marketingu internetowego i technik pozycjonowania.
Jan Wojciechowski
Content Marketing Specialist
Specjalista Content Marketingowy z kilkuletnim doświadczeniem. Studiował Zarządzanie i Marketing na Uniwersytecie Warszawskim. W swojej pracy łączy lekkie pióro, wiedzę contentową i zamiłowanie do nowych technologii. Prywatnie miłośnik sportu, literatury oraz ilustrator książek.