User-agent – co to jest i jak wpływa na SEO?

Czym jest user-agent?

User-agent to identyfikator, który przeglądarka internetowa lub inny klient (np. robot wyszukiwarki) wysyła do serwera podczas próby pobrania zawartości strony. W skrócie — przedstawia się i mówi, kim jest.

Każde urządzenie i narzędzie, które odwiedza witrynę, komunikuje się w ten sposób. Gdy otwierasz stronę na smartfonie przez Chrome, serwer otrzymuje informację w stylu: „Cześć, jestem Chrome na Androidzie”. Analogicznie, robot Google komunikuje: „Jestem Googlebot, przyszedłem zaindeksować stronę”.

Jak sprawdzić user-agenta?

User-agent to część nagłówka HTTP wysyłanego przy żądaniu strony. Można go podejrzeć za pomocą:

narzędzi developerskich w przeglądarce (zakładka „Network” w Chrome DevTools),

komendy curl w terminalu (np. curl -A "Googlebot" example.com),

specjalnych narzędzi online, które pokazują, jaki user-agent został rozpoznany.

User-agent to nie tylko ciąg tekstowy; to klucz do interpretacji i dopasowania treści.

Dlaczego roboty wyszukiwarek używają user-agentów?

Z punktu widzenia SEO, user-agent pozwala robotom:

Przedstawić się serwerowi. Dzięki temu strona może odpowiedzieć odpowiednią wersją treści (np. mobilną lub desktopową).

Być rozpoznanym przez plik robots.txt. To właśnie tam webmasterzy definiują, co dany robot może zobaczyć, a co jest dla niego zablokowane.

Otrzymać (lub nie) dostęp do zasobów. Na podstawie user-agenta można ograniczyć dostęp do pewnych części strony (np. panelu administracyjnego, prywatnych katalogów).

W praktyce to właśnie user-agent decyduje, czy robot zostanie wpuszczony do witryny i jak się w niej poruszy.

User-agent w pliku robots.txt

Najczęściej spotykanym miejscem, gdzie pracuje się bezpośrednio z user-agentami, jest plik robots.txt, znajdujący się w głównym katalogu strony (example.com/robots.txt). To swego rodzaju instrukcja dla robotów. Podstawowa składnia wygląda tak:

User-agent: Googlebot
Disallow: /koszyk/

Taki zapis oznacza, że robot Google nie powinien zaglądać do katalogu /koszyk/.

Ciekawą możliwością jest zastosowanie User-agent: *, co oznacza reguły ogólne dla wszystkich robotów:

User-agent: *
Disallow: /admin/

W praktyce pozwala to zarządzać dostępem do strony bez modyfikowania kodu.

Najczęściej spotykane user-agenty robotów

Nie wszystkie roboty są równie ważne, ale warto znać te najpopularniejsze:

Googlebot – robot Google, kluczowy dla SEO.

Googlebot-Mobile – wersja mobilna, indeksująca strony pod kątem telefonów.

Bingbot – robot Microsoftu.

Slurp – robot Yahoo.

DuckDuckBot – obsługuje DuckDuckGo.

YandexBot – robot rosyjskiej wyszukiwarki Yandex.

AhrefsBot, SemrushBot – roboty narzędzi SEO zbierających dane o stronie.

Dzięki znajomości tych nazw, łatwiej interpretować logi serwera i rozpoznawać niechciany ruch lub błędy indeksacji.

Typowe problemy z user-agentami

Choć na pierwszy rzut oka to niewinna linijka tekstu, błędna konfiguracja może sporo namieszać:

Robot nie indeksuje strony, bo jest zablokowany. Często przypadkowo zdefiniowany Disallow może zamknąć dostęp Googlebotowi.

Cloaking. Jeśli serwujemy inną treść robotowi niż użytkownikowi (na podstawie user-agenta), grozi nam kara od Google.

Nadmierny ruch od botów. Czasem boty narzędzi SEO nadmiernie obciążają serwer – warto monitorować user-agenty w logach i ewentualnie ograniczać dostęp.

Jak testować i diagnozować problemy z user-agentem?

W praktyce najlepiej używać:

Google Search Console. Funkcja „Sprawdź URL” pozwala zobaczyć, jak Googlebot widzi naszą stronę.

Logi serwera. Tam znajdziemy listę user-agentów odwiedzających stronę – warto zweryfikować, czy rzeczywiście są to boty Google, a nie ich podróbki.

Rozszerzenia przeglądarek. Niektóre wtyczki pozwalają zmieniać user-agenta i testować, jak strona reaguje na inne urządzenia lub boty.

Podsumowanie artykułu

User-agent to podstawowy, choć często niedoceniany element komunikacji między stroną a wyszukiwarką. Odpowiednia konfiguracja w robots.txt, świadomość tego, jakie boty odwiedzają stronę i jak są traktowane, to fundament zdrowego SEO.

Jeśli Twoja strona "nagle zniknęła z Google", albo nie indeksuje się poprawnie — zacznij od user-agenta. Czasem to właśnie od niego wszystko się zaczyna.

➡️ Przeczytaj także: Automatyzacja marketingu: oszczędność czasu czy konieczność?