Przejdź do treści
Pracownia · 5 min czytania

Agent nie negocjuje. Idzie za linkiem

Przez dziewięć dni liczyłem, jak boty AI czytają senteri. Więcej niż połowa wywołań trafiała do wersji Markdown. Prawie nikt jej nie negocjował. Szli za linkiem.

Robot AI podąża świetlistą ścieżką od strony senteri.pl do dokumentu Markdown, omijając wersję HTML. Obok panel statystyk pokazuje ponad 50% wywołań do Markdown i wyniki dziewięciodniowej obserwacji botów.
Dziewięć dni obserwacji botów AI na Senteri. Ponad połowa wywołań trafiała do Markdown, ale niemal nikt nie wybierał tej wersji przez negocjację treści HTTP. Agenci po prostu podążali za linkiem.

W tekście „Agent nie widzi tego, co mu położyłem” obiecałem wrócić z liczbami. Za wcześnie na pełny obraz, ale jedna rzecz jest już na tyle wyraźna, że nie chcę z nią czekać. Wtedy napisałem, że link w <head> jest dla przeglądarek. To była połowa prawdy. Agent, z którym rozmawiam, <head> nie widzi. Boty, które zbierają treść dla tych agentów, czytają go bardzo uważnie.

Co liczę

Wtyczka senteri zapisuje każde wejście na drogi przygotowane dla maszyn: robots.txt, llms.txt, wersje Markdown stron, katalog interfejsów, narzędzia przez HTTP, serwer MCP i WebMCP. Zwykłych odsłon HTML nie liczy, bo te strony idą z cache. Adresów IP nie zapisuje. User-Agent porównuje ze słownikiem agentów. Tam, gdzie operator publikuje listę adresów albo pozwala sprawdzić DNS, sprawdza też, czy bot jest tym, za kogo się podaje.

Okres: od wieczora 11 listopada do 20 listopada. Zapisów było 1063. Odjąłem wszystko, co mogło być mną: wywołania MCP z Claude, mój test WebMCP, każde wejście ze zwykłej przeglądarki i własny WordPress. Zostało 641 wywołań od botów. Na nich opieram resztę tekstu.

Treść biorą z Markdown

Na wersje Markdown przypada 338 z 641 wywołań. Robots.txt, llms.txt, katalog i narzędzia razem to mniej.

Treść boty biorą z wersji .md

325 z 581 wywołań 15 najaktywniejszych botów to .md. Boty SEO zatrzymują się na robots.txt.

Bot.mdrobots.txtllms.txtkatalogRESTrazem
Amazonbot98·125106
Meta-ExternalAgent78112587
ExaSearchBot6641··71
SemrushBot261·2570
GPTBot34·12542
Baiduspider28·14538
Applebot111412230
AhrefsBot1231··25
facebookexternalhit·21···21
OAI-SearchBot·20···20
RiverBot21012520
Googlebot11121·15
PerplexityBot2212714
SofyaBot2212512
YandexBot·10···10

Dziennik wtyczki senteri, 11–20.11.2026, bez mojego ruchu i przeglądarek. Wielkość kropki odpowiada liczbie wywołań.

Widzę dwa rodzaje botów. Jedne pobierają robots.txt i na tym kończą: Semrush, Ahrefs, Yandex, podgląd linków Facebooka. OAI-SearchBot przez cały okres robił tylko to, codziennie. Drugie przychodzą po treść: Amazonbot, Meta, Exa, GPTBot, Baidu, Applebot. Te czytają prawie wyłącznie wersję .md.

Ważniejsze jest to, jak ją znajdują. 271 z 338 wywołań trafia wprost pod adres /…/index.md. Tego adresu nie ma w widocznej treści żadnej strony. Wskazuje go link rel="alternate" type="text/markdown" w <head>, ten sam link w nagłówku HTTP i llms.txt. Amazonbot czytał wersje .md, zanim pierwszy raz pobrał llms.txt, więc adres wziął z <head> albo z nagłówka. Które z tych dwóch, log nie rozstrzyga, bo oba wskazują to samo.

Kolumna REST wymaga słowa wyjaśnienia. Prawie każdy bot ma tam pięć wywołań, po jednym na narzędzie. To nie użycie narzędzi, tylko przejście po przykładowych linkach ze strony /dla-agentow/.

Negocjuje jeden

Senteri oddaje Markdown także pod zwykłym adresem strony, jeśli klient wyśle nagłówek Accept: text/markdown. To jest droga „zgodna ze sztuką”: ten sam adres, inna reprezentacja, a wybór należy do klienta. W poradnikach o przygotowaniu strony dla agentów pojawia się często.

Z 338 wywołań Markdown tą drogą przyszło 67. Wszystkie od Exa: 66 od ExaSearchBota i jedno od ExaUser. Żaden inny bot nie poprosił o Markdown nagłówkiem.

Reszta deklaruje co innego, niż robi. GPTBot i Meta wysyłają Accept: */*. Applebot prosi o text/html. Amazonbot nie wysyła nagłówka Accept wcale. Wszyscy czterej i tak dostają Markdown, bo proszą o adres, który nic innego nie zwraca. Nie negocjują. Idą za linkiem.

llms.txt i robots.txt to nie drzwi wejściowe

llms.txt boty pobrały 14 razy. Trzynaście różnych botów, każdy raz (Googlebot dwa razy, ale jedno z tych wejść nie przeszło weryfikacji). Prawie połowa przyszła pierwszego dnia. Potem żaden do pliku nie wrócił. Wygląda to na sprawdzenie, czy plik istnieje, a nie na sposób czytania serwisu.

Kilka botów przeszło całą warstwę dla maszyn jednym ciągiem: llms.txt, wersje .md, katalog interfejsów i wszystkie pięć narzędzi po kolei. PerplexityBot zrobił to w nocy z 11 na 12 listopada: 11 wywołań w 14 sekund. Podobnie GPTBot, Baidu i dwa mniejsze boty wyszukiwarek AI. Traktują spis jak listę linków do odwiedzenia, nie jak instrukcję.

robots.txt też nie jest pierwszym krokiem, przynajmniej nie u tych, którzy biorą treść. Applebot zaczyna od niego każdego dnia. GPTBot i Amazonbot przez osiem dni, odkąd go liczę, nie pobrali go ani razu, a Meta zrobiła to raz. Mogą korzystać z kopii sprzed okresu pomiaru albo dzielić ją z innym botem tego samego operatora. Tego z mojego logu nie odczytam.

Jak szybko znajdują nowy tekst

W tym okresie na senteri ukazało się kilkanaście tekstów. Dla dwunastu z nich, których datę publikacji znam, sprawdziłem, kiedy ktoś pierwszy raz pobrał ich wersję .md.

Każdy trafił do botów w ciągu zera do dwóch dni i każdy przeczytały trzy do pięciu różne boty. Najszybciej reaguje Exa: dwa teksty z 12 listopada pobrała jeszcze tego samego wieczoru, trzeci następnego dnia. GPTBot pracuje partiami. 14 listopada o 22:50 w ciągu minuty zebrał cztery teksty z dwóch poprzednich dni. 18 listopada tuż przed drugą w nocy zebrał trzy kolejne, w tym dwa z datą tego samego dnia.

To czas do pierwszego odczytu wersji dla maszyn, nie do pierwszej wizyty. Jeśli ktoś wcześniej pobrał zwykły HTML, licznik tego nie widzi.

Czego nie wiem

  • To dziewięć dni. Jeden mały serwis po polsku. Rząd wielkości się broni, dokładne proporcje nie.
  • Meta nie da się zweryfikować. Meta-ExternalAgent to drugi największy czytelnik .md, ale operator nie publikuje listy adresów. User-Agent wygląda spójnie, tylko że to nie jest dowód. Amazonbot, Applebot, GPTBot, OAI-SearchBot, PerplexityBot i Googlebot przeszły weryfikację. Jeden „Googlebot” nie przeszedł i był to jedyny taki przypadek.
  • Nie widzę HTML. Liczę tylko drogi dla maszyn. Bot, który czyta zwykłe strony, jest dla mnie niewidoczny, więc „boty SEO czytają tylko robots.txt” znaczy tylko: nie czytają niczego, co liczę.
  • Nie rozróżniam <head> od nagłówka HTTP. Oba wskazują ten sam adres .md.
  • Mój własny ruch odjąłem z zapasem. Razem z nim wypadły wszystkie wejścia z przeglądarek, a wśród nich mogą być agenci, którzy podają się za zwykłego Chrome’a. Od dziś licznik oznacza moje wywołania osobno, więc następne liczby będą dokładniejsze.

Co z tego dla projektanta strony

  • Daj wersję Markdown pod własnym adresem. Sama negocjacja nagłówkiem obsłuży dziś jednego bota. Adres, do którego prowadzi link, obsłuży wszystkich, którzy przyszli po treść.
  • Wskaż ją w <head> i w nagłówku HTTP. rel="alternate" type="text/markdown" na każdej stronie. To jest droga, którą boty znajdują wersję .md bez llms.txt.
  • Nie licz na llms.txt jako na wejście. Boty sprawdzają, czy jest, i idą dalej. Warto go mieć, ale nie zastępuje linków na stronach.
  • Rozróżnij czytelników. Agent w rozmowie czyta treść strony, więc potrzebuje widocznego linku. Bot, który zbiera dla niego materiał, czyta <head>. Strona przygotowana dla maszyn potrzebuje obu sygnałów, bo to dwa różne odbiorniki.
  • Jeśli chcesz wiedzieć, licz drogi, nie odsłony. Statystyki odwiedzin pokażą bota jako ruch. Dopiero osobna droga dla maszyn pokazuje, czego szukał.

Pełniejszy obraz, z serwerem MCP, WebMCP i listą agentów, którzy faktycznie czytają senteri, będzie po kilku tygodniach zbierania.

Poprzednie teksty: Agent nie widzi tego, co mu położyłem, WebMCP pięć miesięcy później. Drogi dla maszyn na senteri: senteri.pl/dla-agentow/.