Jeden mały plik tekstowy, który leży w głównym katalogu Twojej strony, od niedawna rozstrzyga o czymś, co kiedyś w ogóle nie było tematem: czy asystent AI może przeczytać Twoją ofertę, zacytować Twój cennik i polecić Cię klientowi, a także czy Twoje teksty trafią do materiału, na którym uczy się model. Plik nazywa się robots.txt i ma kilkadziesiąt lat. Zmieniło się to, ile robotów do niego zagląda i jak różne mają cele. Ten tekst jest przewodnikiem decyzyjnym: najpierw porządkuję rodzaje botów, potem przechodzę przez cztery typowe sytuacje właścicieli stron i na końcu pokazuję, jak sprawdzić, czy to, co ustawiłeś, naprawdę działa.
Zastrzeżenie: stan na 15 listopada 2026 r. Nazwy robotów i zasady ich działania zmieniają się, a w kilku miejscach opieram się na opracowaniach branżowych, a nie na samej dokumentacji dostawcy, i zaznaczam to przy konkretnym punkcie. Przed wdrożeniem sprawdź aktualną dokumentację, np. dokumentację robotów OpenAI i przegląd robotów Google. To nie jest porada prawna dotycząca praw autorskich.
Najpierw uporządkujmy: trzy rodzaje botów, trzy różne decyzje
Największy błąd w dyskusjach o „blokowaniu AI” to wrzucanie wszystkiego do jednego worka. Tymczasem ten sam dostawca zwykle utrzymuje kilka osobnych robotów o zupełnie różnych zadaniach, a blokada jednego nie dotyka pozostałych. Dla porządku dzielę je na trzy grupy.
- Roboty wyszukiwawcze i indeksujące. Budują indeks, z którego asystent czerpie odpowiedzi z linkami do źródeł. Zablokowanie ich oznacza, że Twoja strona z dużym prawdopodobieństwem nie pojawi się w takich odpowiedziach. Przykłady: Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Roboty treningowe. Zbierają teksty hurtowo, żeby uczyć lub dostrajać modele. Blokada nie zmienia widoczności w wyszukiwarce, bo to osobny cel. Przykłady: GPTBot, ClaudeBot oraz token Google-Extended.
- Roboty działające na polecenie użytkownika. Wchodzą na stronę, bo konkretna osoba poprosiła asystenta o przeczytanie adresu albo o odpowiedź opartą na żywej stronie. To jedyna z trzech grup, która ma charakter pojedynczych wizyt. Przykłady: ChatGPT-User, Claude-User.
Stąd wniosek, na którym oparty jest cały artykuł: nie ma jednej decyzji „blokuję” albo „nie blokuję”. Są trzy osobne pytania. Czy chcę być w odpowiedziach asystentów? Czy zgadzam się, żeby moje teksty uczyły modele? Czy pozwalam asystentowi przeczytać stronę, gdy ktoś go o to poprosi?
Tabela: kto jest kim i co daje blokada
| Robot | Przeznaczenie | Co zwykle daje blokada w robots.txt |
|---|---|---|
| Googlebot | Indeksowanie dla Wyszukiwarki Google | Strona znika z Google, zwykle po pewnym czasie |
| Google-Extended | Token kontroli użycia treści przy Gemini (według opracowań branżowych: trening i osadzanie odpowiedzi) | Według Google nie wpływa na Wyszukiwarkę ani pozycje; to nie osobny robot, tylko token |
| Bingbot | Indeksowanie dla Bing i usług na nim opartych | Mniejsza widoczność w Bing i w części asystentów korzystających z jego indeksu |
| GPTBot | Trening modeli OpenAI | Teksty nie trafiają do zbiorów treningowych OpenAI; widoczność w wyszukiwaniu bez zmian |
| OAI-SearchBot | Wyszukiwanie w ChatGPT | Mniejsza szansa na pojawienie się w wynikach ChatGPT (wg dokumentacji zmiany działają do ok. doby) |
| ChatGPT-User | Wizyty na polecenie użytkownika | Niepewne: według doniesień OpenAI zmieniło opis zgodności z robots.txt dla tego agenta, więc nie licz na pewną blokadę |
| ClaudeBot | Trening modeli Anthropic | Teksty poza zbiorami treningowymi Anthropic |
| Claude-SearchBot i Claude-User | Wyszukiwanie oraz wizyty na polecenie użytkownika | Mniejsza widoczność w odpowiedziach Claude; według opracowań każdy z trzech robotów Anthropic ma osobny token |
| PerplexityBot | Wyszukiwanie w Perplexity | Zalecana zgoda, jeśli chcesz być widoczny; źródła różnią się co do ścisłości przestrzegania reguł |
Dwie uwagi do tabeli. Po pierwsze, nazwy i podział ról pochodzą z dokumentacji dostawców oraz z opracowań branżowych, a część z nich w ostatnich miesiącach się zmieniała. Po drugie, w kilku wierszach wyraźnie zaznaczyłem niepewność. Jeśli ktoś sprzedaje Ci „gotową, jedyną słuszną listę botów do zablokowania”, traktuj ją ostrożnie: lista starzeje się szybciej niż porada.
Czym robots.txt jest, a czym nie jest
Robots.txt to prośba, a nie zamek. Uczciwe roboty stosują się do niej, ale nic technicznie nie powstrzyma kogoś, kto je zignoruje. Dlatego plik nie nadaje się do ochrony poufnych danych: adresy, które w nim wymienisz, są przy okazji publicznie widoczne. Rzeczy naprawdę prywatne chroń logowaniem, uprawnieniami i konfiguracją serwera, o czym piszemy w artykule o bezpieczeństwie strony.
Druga pułapka: robots.txt steruje crawlowaniem, czyli pobieraniem stron, a nie indeksowaniem. Adres zablokowany w pliku może nadal pojawić się w wynikach wyszukiwania jako sam link, jeśli prowadzą do niego inne strony. Aby strona nie trafiła do indeksu Google, potrzebny jest znacznik noindex, i to na stronie, którą robot może otworzyć, bo przy zablokowanym dostępie nie przeczyta znacznika. Podobnie jest z kontrolą fragmentów: do ograniczenia cytowania w wynikach służą osobne dyrektywy, na przykład nosnippet albo max-snippet, a nie robots.txt.
Scenariusz 1: „Chcę być cytowany w odpowiedziach AI”
To sytuacja większości małych firm usługowych: klient pyta asystenta o „dobrą księgową w Poznaniu” albo „strony dla gabinetu”, a Ty chcesz być wśród wskazanych. Wtedy robots wyszukiwawcze muszą mieć dostęp do stron z ofertą, cennikiem, kontaktem i opisem. W praktyce oznacza to, że nie blokujesz Googlebota, Bingbota, OAI-SearchBota, Claude-SearchBota ani PerplexityBota i nie zostawiasz po migracji ogólnego zakazu.
Minimalny, bezpieczny plik dla takiej firmy wygląda jak lista kilku reguł. Poniżej zapisuję je jako pozycje listy, żeby były czytelne:
- User-agent: *
- Disallow: /panel/ (tylko katalogi techniczne, jak panel logowania lub wyniki wyszukiwarki wewnętrznej)
- Sitemap: https://twojadomena.pl/sitemap.xml
Do tego warto, żeby strona była możliwa do przeczytania bez wykonywania ciężkiego skryptu: ważne informacje powinny znajdować się w kodzie wysyłanym z serwera, a dane o firmie i ofercie być spójne, co omawiamy w tekstach o widoczności w ChatGPT i o danych strukturalnych. Sam otwarty robots.txt niczego nie gwarantuje, ale zamknięty wyklucza.
Scenariusz 2: „Nie chcę, żeby moje teksty uczyły modele”
To dobra decyzja dla autorów, ekspertów i wydawców, którzy żyją z własnych treści, a jednocześnie nie chcą znikać z odpowiedzi asystentów. Rozwiązaniem jest rozdzielenie ról: blokujesz roboty treningowe, a zostawiasz otwarte wyszukiwawcze. Zapis dla trzech najczęściej wymienianych wygląda tak:
- User-agent: GPTBot
- User-agent: ClaudeBot
- User-agent: Google-Extended
- Disallow: / (jedna reguła Disallow po grupie User-agent, obejmuje wszystkie trzy)
Dwa zastrzeżenia, które warto znać. Po pierwsze, blokada działa na przyszłe pobrania: nie cofa tego, co robot zdążył zebrać wcześniej. Po drugie, Google-Extended jest tokenem, a nie osobnym robotem, więc nie zobaczysz go w logach serwera, a według Google nie zmienia on obecności w Wyszukiwarce. Zdarza się, że do ograniczenia wykorzystania treści w odpowiedziach generatywnych w wyszukiwarce potrzebne są dodatkowe dyrektywy snippetów, co opisujemy w artykule o spadku ruchu przez AI Mode. To już decyzja o widoczności, nie o treningu.
Scenariusz 3: „Mam sklep z cennikiem i katalogiem”
Sklep to szczególny przypadek, bo jego wartość to dane: ceny, dostępność, parametry, zasady zwrotów. Asystenci coraz częściej porównują oferty, a część z nich zaczyna samodzielnie składać zamówienia, co opisaliśmy w tekście o zakupach przez agenta AI. Dlatego w sklepie zwykle chcesz, żeby strony produktów i kategorii były otwarte dla robotów wyszukiwawczych i użytkowników, a zamykasz tylko to, co szkodzi: koszyk, panel konta, wyniki wyszukiwarki wewnętrznej i niekończące się kombinacje filtrów.
- Disallow: /koszyk/ i Disallow: /moje-konto/ (strony bez wartości dla wyszukiwarki)
- Disallow: /*?filtr= (parametry filtrów, które tworzą tysiące niemal identycznych adresów)
- Sitemap: https://twojsklep.pl/sitemap.xml (z adresami produktów i kategorii)
Pamiętaj, że sam plik nie naprawi sprzecznych danych. Cena w znaczniku, w feedzie i na stronie powinna być identyczna. Jeśli budujesz lub przebudowujesz sklep, zobacz naszą ofertę sklepów internetowych i poradnik o migracji bez utraty SEO: to właśnie przy migracji najczęściej psuje się robots.txt.
Scenariusz 4: „Mam serwis z treścią płatną lub premium”
Tu robots.txt jest tylko jedną warstwą i nie najważniejszą. Jeśli treść jest płatna, jej ochroną jest logowanie: robot bez dostępu jej nie przeczyta. Zadanie robots.txt to ustalenie, co pokazujesz publicznie jako zajawkę. Typowe podejście: strona z podsumowaniem i pierwszym fragmentem jest otwarta, a pełna treść wymaga konta. Wtedy możesz zostawić otwarte roboty wyszukiwawcze (zajawka przyciąga klientów), zablokować treningowe i zdecydować, czy dopuszczasz roboty działające na polecenie użytkownika.
Przy treści płatnej pamiętaj też o ryzyku odwrotnym: jeśli cała treść jest widoczna dla robotów, ale ukryta za nakładką dla człowieka, możesz naruszyć zasady wyszukiwarki dotyczące ukrywania treści. Najbezpieczniej opisać stronę uczciwie i stosować rozwiązania zalecane w dokumentacji dla treści z dostępem warunkowym.
Przykład ilustracyjny: poradnia prawna, która przypadkiem zniknęła
To wymyślony przykład, który pokazuje typowy scenariusz. Mała kancelaria odświeża stronę na nowym serwerze. Wykonawca testuje wersję roboczą z zakazem dla wszystkich robotów, żeby Google nie zaindeksował niedokończonej strony, i po uruchomieniu zapomina zdjąć tę regułę. Przez tydzień nikt nic nie zauważa, bo strona wygląda idealnie. Po trzech tygodniach spada liczba zapytań, a asystenci przestają wymieniać kancelarię w odpowiedziach. Winowajcą okazuje się jedna linia w pliku robots.txt.
Wniosek praktyczny: po każdym uruchomieniu i migracji otwórz adres twojadomena.pl/robots.txt i przeczytaj go oczami robota. Ta kontrola trwa minutę, a jej brak potrafi kosztować tygodnie widoczności.
llms.txt: co to jest i czy warto go robić
Llms.txt to propozycja konwencji: plik w formacie tekstowym w głównym katalogu, który w skrócie opisuje stronę i wskazuje najważniejsze podstrony, tak by model językowy mógł je szybko przeczytać. To nie jest standard przyjęty przez wyszukiwarki. Z dostępnych mi opracowań wynika, że przedstawiciele Google wielokrotnie mówili, że Wyszukiwarka nie wykorzystuje tego pliku do rankingu ani do widoczności, w tym w odpowiedziach generatywnych, a jeden z nich porównał go do dawnego znacznika meta keywords. Wskazał jedynie wąskie zastosowanie: gdy agent jest już na stronie, plik może pomóc mu się po niej poruszać.
Badania branżowe, które przeglądałem, sugerują, że pliki llms.txt są rzadko odczytywane przez roboty, ale to dane z jednego źródła, więc nie traktuj ich jako pewnika. Moja rekomendacja jest pragmatyczna. Jeśli zrobienie takiego pliku zajmuje kwadrans, bo i tak masz uporządkowaną strukturę, nic nie tracisz. Ale nie stawiaj na nim strategii i nie płać za „wdrożenie llms.txt” jako osobną usługę. Ważniejsze są dobre treści, dane strukturalne, szybkość i otwarte roboty, o czym mówi podstawowy tekst o SEO.
Sześć błędów, które widzę najczęściej
- Ogólny zakaz po migracji lub na środowisku testowym. Reguła Disallow: / dla wszystkich robotów trafia na produkcję. To najdroższy z błędów, a jednocześnie najłatwiejszy do wykrycia.
- Blokowanie plików CSS i JavaScript. Robot, który nie widzi stylów i skryptów, może źle ocenić układ i zawartość strony. Nie blokuj katalogów z zasobami, chyba że masz konkretny powód.
- Sprzeczne reguły. Gdy do jednego robota pasuje kilka grup, obowiązuje najbardziej szczegółowa. Reguła „dla wszystkich” nie dodaje się do reguły dla konkretnego robota, tylko jest przez nią zastępowana, więc nie kopiuj zakazów ogólnych w nadziei, że zadziałają razem.
- Noindex w robots.txt. Dyrektywa noindex w tym pliku nie jest obsługiwana przez Google. Ten znacznik umieszcza się w kodzie strony albo w nagłówku odpowiedzi.
- Stara lista botów skopiowana z internetu. Nazwy się zmieniają, a część wpisów dotyczy robotów, które już nie istnieją. Zamiast kopiować cudzą listę, oprzyj plik na własnym celu z jednego z czterech scenariuszy.
- Brak dostępu do pliku. Plik musi odpowiadać kodem 200 pod adresem w głównym katalogu domeny. Przekierowania, błędy serwera i zapora, która blokuje roboty jeszcze przed odczytem pliku, powodują, że reguły nie działają tak, jak zakładasz.
Jak sprawdzić, czy to działa: pięć kroków
- Otwórz plik w przeglądarce. Wpisz adres twojadomena.pl/robots.txt, sprawdź, czy odpowiada i czy treść jest taka, jakiej oczekujesz, także w wersji z www i bez.
- Sprawdź w Google Search Console. Raport o robots.txt i narzędzie do sprawdzania adresu pokażą, czy konkretna strona jest dla Googlebota dostępna. Szczegółowo o narzędziu piszemy w artykule Search Console w 2027.
- Przejrzyj logi serwera. Wpisy z nazwami robotów pokażą, którzy z nich faktycznie przychodzą, jak często i czy dostają kod 200. Sama deklaracja w robots.txt nie dowodzi, że robot tu bywa.
- Sprawdź zaporę i CDN. Część usług ochronnych domyślnie blokuje roboty AI niezależnie od robots.txt. Jeśli chcesz być widoczny, a roboty dostają błąd 403, ustawienie zapory trzeba zmienić.
- Ustaw przypomnienie. Wpisz w kalendarz przegląd pliku po każdej większej zmianie strony i raz na kwartał. Nowy robot lub zmiana nazwy to nie powód do paniki, tylko do krótkiego przeglądu.
Serwer, zapora i robots.txt: trzy poziomy, które łatwo pomylić
Robots.txt to poziom grzeczności: prosisz robota, by nie wchodził. Zapora i CDN to poziom egzekwowania: odrzucasz żądanie, zanim zostanie obsłużone. Serwer i aplikacja to poziom dostępu: strona wymaga logowania albo jej nie ma. Problem pojawia się, gdy te warstwy mówią co innego. Zdarza się, że właściciel zostawia w robots.txt otwartą drogę dla botów wyszukiwawczych, a zapora ustawiona przez hosting odrzuca nieznane roboty lub ogranicza częstotliwość zapytań. Wtedy w logach widać kody 403 albo 429, a firma zastanawia się, dlaczego nie ma jej w odpowiedziach asystentów.
Z drugiej strony, jeśli chcesz coś naprawdę zablokować, na przykład agresywny, niepożądany scraper, sam wpis w robots.txt nie wystarczy, bo takie roboty go zwykle ignorują. Wtedy właściwym narzędziem jest zapora albo ograniczenie ruchu na poziomie serwera. Podział jest prosty: robots.txt do kierowania uczciwymi robotami, zapora do obrony przed nieuczciwymi. Pamiętaj też, że robot, który dostaje stronę po kilku sekundach, może zrezygnować, więc wolna strona szkodzi także tutaj, o czym piszemy w artykule o Core Web Vitals i INP.
Plan na pół godziny: kolejność działań
| Krok | Czas | Cel |
|---|---|---|
| Odczytaj obecny robots.txt i zapisz kopię | 3 min | Punkt wyjścia i możliwość cofnięcia |
| Wybierz scenariusz (1-4) i zapisz cel jednym zdaniem | 5 min | Decyzja zamiast kopiowania cudzej listy |
| Ustaw reguły dla robotów treningowych i wyszukiwawczych osobno | 7 min | Jasny podział ról |
| Dodaj adres sitemap i sprawdź kod odpowiedzi pliku | 5 min | Pewność, że plik jest dostępny |
| Sprawdź zaporę i hosting pod kątem blokowania robotów | 7 min | Spójność trzech poziomów |
| Zapisz w kalendarzu przegląd za kwartał | 3 min | Plik, który się nie starzeje |
Jeśli wolisz, żeby zajął się tym ktoś, kto zna Twoją stronę od środka, zobacz naszą ofertę SEO. Zaczynamy od audytu technicznego, który obejmuje robots.txt, mapę strony, zaporę i dostępność dla robotów.
Najczęstsze pytania
Czy zablokowanie GPTBota usunie mnie z odpowiedzi ChatGPT?
Według dokumentacji OpenAI GPTBot służy do treningu, a do wyszukiwania w ChatGPT służy osobny robot OAI-SearchBot, więc blokada GPTBota sama w sobie nie powinna usuwać Cię z wyników wyszukiwania. Sprawdź aktualny opis w dokumentacji, bo nazwy i role mogą się zmieniać.
Czy Google-Extended wpływa na moje pozycje w Google?
Według opracowań, które przeglądałem, a które opierają się na deklaracjach Google, ten token nie wpływa na obecność ani pozycje w Wyszukiwarce, a Googlebot działa osobno. Nie znalazłem w tym przeglądzie tekstu oficjalnej dokumentacji, więc potwierdź to na stronie Google.
Czy robots.txt chroni moje treści przed kopiowaniem?
Nie. To prośba kierowana do uczciwych robotów, a nie zabezpieczenie. Kogoś, kto chce skopiować tekst, plik nie zatrzyma. Ochroną prawną są prawa autorskie i umowy, a technicznie zapora, ograniczanie ruchu i logowanie.
Czy muszę mieć llms.txt, żeby być widocznym w AI?
Nie. To propozycja konwencji, a Google wielokrotnie deklarował, że nie używa jej w Wyszukiwarce. Jeśli zrobisz taki plik, nic nie tracisz, ale nie oczekuj skoku widoczności. Ważniejsze są treści, dane i dostępność dla robotów.
Jak szybko zmiana w robots.txt zaczyna działać?
Roboty odczytują plik z różną częstotliwością. Według dokumentacji OpenAI zmiany dla wyszukiwania w ChatGPT mogą być uwzględnione w ciągu około doby, a Google odświeża swoją kopię pliku zwykle w ciągu kilkunastu godzin do doby. W praktyce planuj kilka dni i sprawdzaj logi.
Co jeśli moja strona jest w WordPressie i wtyczka sama generuje plik?
Wtedy plik bywa wirtualny: nie ma go na dysku, a tworzy go wtyczka SEO lub sam WordPress. Edytuj go w ustawieniach wtyczki i sprawdź efekt w przeglądarce. Uważaj na opcję „zniechęcaj wyszukiwarki do indeksowania” w ustawieniach WordPressa, bo po włączeniu potrafi zablokować całą stronę.
Czy warto blokować boty AI w sklepie, żeby konkurencja nie widziała cen?
Zwykle nie. Ceny są publiczne dla każdego klienta i konkurent zobaczy je w przeglądarce. Blokada zmniejszy za to szansę, że asystent włączy Twój sklep do porównania, a to klient decyduje, gdzie kupić. Jeśli ceny są poufne, to ukryj je za logowaniem, a nie za robots.txt.
Nie jesteś pewien, co dziś widzą roboty na Twojej stronie?
Sprawdzimy robots.txt, zaporę, mapę strony i dostępność treści, a Ty dostaniesz krótką listę, co zmienić najpierw.
Umów rozmowę→