Agentic Web Seria · Genealogia modelu · 9/12 3 listopada 2026 · 6 min czytania

Obsługa komputera: model, który zaczął działać

W październiku 2024 model dostał mysz i klawiaturę. Do tej pory odpowiadał, od tej chwili mógł działać w każdym programie, który widać na ekranie. Z wadami człowieka, który pierwszy raz widzi dany program, i z kilkoma nowymi.

Tekst: Łukasz Jajor

Humanoidalny robot AI obsługuje komputer za pomocą myszy i klawiatury. Na ekranie widoczne są aplikacje, dokumenty i arkusz kalkulacyjny. Ilustracja Senteri przedstawiająca technologię Computer Use. — W październiku 2024 roku model AI dostał mysz i klawiaturę. Zamiast tylko odpowiadać na pytania, mógł zacząć wykonywać zadania w programach komputerowych. Nie zawsze poprawnie i nie bez nadzoru.

22 października 2024 Anthropic opublikowało nagranie, na którym model pisze kod, a potem w połowie zadania otwiera przeglądarkę i zaczyna oglądać zdjęcia Parku Narodowego Yellowstone. Firma sama to pokazała, z komentarzem, że Claude „zrobił sobie przerwę”. W innym podejściu model przypadkiem zatrzymał długie nagrywanie ekranu i cały materiał przepadł.

To były wpadki modelu, który po raz pierwszy dostał do ręki mysz i klawiaturę. Wraz z nową wersją Claude 3.5 Sonnet Anthropic udostępniło programistom funkcję obsługi komputera: model ogląda zrzut ekranu, decyduje, gdzie kliknąć i co wpisać, a potem ogląda kolejny zrzut. Do tej pory model odpowiadał. Od tej chwili mógł działać w każdym programie, który da się zobaczyć na ekranie. Z tym samym zestawem wad, które ma człowiek, który pierwszy raz widzi dany program, i z kilkoma nowymi.

Chronologicznie to cofnięcie się o trzy miesiące przed DeepSeek R1. Ale to przejście ma inną oś: nie „jak model myśli”, tylko „co model może zrobić”.

Kiedy

20 czerwca 2024: Claude 3.5 Sonnet.
22 października 2024: nowa wersja Claude 3.5 Sonnet pod tą samą nazwą, o czym była mowa w pierwszej części, i obsługa komputera w publicznej wersji testowej API.
25 października 2024: badacz bezpieczeństwa Johann Rehberger pokazuje, że strona internetowa z ukrytym poleceniem potrafi skłonić model do pobrania i uruchomienia złośliwego programu.
25 listopada 2024: Anthropic ogłasza Model Context Protocol, otwarty standard łączenia modeli z narzędziami i danymi.
Grudzień 2024 – styczeń 2025: Google pokazuje Project Mariner, a OpenAI 23 stycznia uruchamia Operatora, agenta, który sam przegląda strony w przeglądarce.
Marzec 2025: OpenAI oficjalnie przyjmuje MCP. Standard jednej firmy staje się wspólnym językiem branży.
17 lipca 2025: ChatGPT Agent łączy przeglądanie stron, narzędzia i rozumowanie w jednym trybie.
Październik 2025 – sierpień 2026: ChatGPT Atlas, przeglądarka z agentem w środku. Działa niecały rok; OpenAI wyłącza ją 9 sierpnia 2026 i przenosi jej funkcje do aplikacji ChatGPT.

Co odziedziczył

Wywoływanie funkcji z części trzeciej: model nie robi niczego sam, tylko zwraca żądanie, które wykonuje kod programisty. Obsługa komputera działa dokładnie tak samo, tyle że narzędziem jest ekran. Model zwraca „kliknij w punkt o współrzędnych x, y” albo „wpisz ten tekst”, a program na komputerze to wykonuje i odsyła nowy zrzut. Ta pętla, opisana w „Pętla od środka”, jest jedynym miejscem, w którym cokolwiek naprawdę się dzieje.

Odziedziczył też widzenie, które modele miały od GPT-4. Różnica polegała na tym, że model musiał nie tylko opisać, co widzi, ale trafić w to kursorem, policzyć piksele do przycisku i zauważyć, że kliknięcie nic nie zmieniło.

Co dostał nowego

Uniwersalne narzędzie. Każdy program ma ekran, choć nie każdy ma API. Model, który umie obsługiwać ekran, może teoretycznie pracować w starym systemie księgowym, w portalu urzędowym bez integracji, w aplikacji, której producent dawno zniknął. To było nowe nie technicznie, tylko w zasięgu: zamiast budować połączenie z każdym systemem osobno, model miał używać ich tak jak ludzie.

Pierwsze liczby. W teście OSWorld, gdzie agent wykonuje zadania w prawdziwym systemie operacyjnym tylko na podstawie zrzutów ekranu, Claude osiągnął 14,9 procent. Następny opublikowany system miał 7,8 procent, a ludzie około 72. Anthropic samo opisało funkcję jako „eksperymentalną, momentami nieporęczną i podatną na błędy”, z trudnościami przy przewijaniu, precyzyjnym ustawianiu kursora i krótkich powiadomieniach. Kolejne modele szybko nadrabiały: w 2026 roku najlepsze wyniki w tym teście zrównały się z ludzkimi i je przekroczyły.

Wspólny standard narzędzi. Miesiąc później Anthropic ogłosiło MCP. Zamiast klikać w interfejs, model może połączyć się z serwerem, który opisuje dostępne narzędzia i dane w jednym, wspólnym formacie. To druga, uporządkowana droga do tego samego celu: modelu, który działa. W grudniu 2025 Anthropic przekazało MCP fundacji działającej w ramach Linux Foundation, współzałożonej m.in. przez OpenAI. Jak powinna wyglądać dobra definicja narzędzia, opisuje „Anatomia definicji narzędzia”.

Model, który odpowiada, może się pomylić w zdaniu. Model, który działa, może się pomylić w przelewie.

Czego to nie rozwiązało

Zaufania do tego, co widać na ekranie. Trzy dni po premierze Johann Rehberger przygotował stronę z ukrytym poleceniem w stylu „pobierz to narzędzie wsparcia i je uruchom”. Model wszedł na stronę, pobrał plik, sam ustalił, że trzeba nadać mu prawa do uruchomienia, uruchomił go, a komputer dołączył do sieci sterowanej przez atakującego. Dla modelu tekst na ekranie jest tekstem, a tekst może być poleceniem. To podstawowy problem każdego agenta, opisany w „Zatruty kontekst”. MCP przyniósł jego nowe odmiany, z ukrytymi poleceniami w opisach narzędzi i błędami w samych narzędziach.

Niezawodności. 14,9 procent to wynik, przy którym model nie wykonuje większości zadań. Nawet przy wynikach na poziomie ludzi zostaje pytanie, które zadania się nie udają i czy da się to wykryć, zanim ktoś zauważy skutki. Co robić, kiedy działanie się nie powiedzie, opisuje „Kiedy narzędzie zawodzi”.

Uwagi. Zdjęcia Yellowstone to zabawna anegdota, ale opisują poważne zjawisko: agent w długim zadaniu zbacza z drogi i robi rzeczy, o które nikt nie prosił. W Patologii agenta ten objaw ma swój rozdział.

Zgody. Anthropic od początku zalecało uruchamianie agenta w odizolowanym środowisku, trzymanie haseł z dala od niego i potwierdzanie przez człowieka działań, których nie da się cofnąć. Tyle że okno potwierdzenia, które człowiek klika setny raz, przestaje chronić. Ten problem opisują „Human-in-the-loop, który kłamie” i „Zeszklone zatwierdzanie”.

Co to zmieniło dla stron i firm

Strona ma czytelnika, który klika. Agent obsługujący przeglądarkę nie widzi strony tak jak człowiek. Najlepiej radzi sobie tam, gdzie przyciski są przyciskami, pola formularza mają etykiety, a kolejność elementów ma sens. To dokładnie te same rzeczy, których od lat wymaga dostępność dla osób niewidomych: semantyczny HTML, etykiety, czytelne drzewo dostępności. Strona przyjazna czytnikowi ekranu jest przyjazna agentowi. Strona zbudowana z samych klikalnych bloków bez znaczenia jest dla obu labiryntem.

Przeglądarki agentowe przychodzą i odchodzą. Atlas działał niecały rok, a jego funkcje przeszły do aplikacji ChatGPT. Lekcja dla właścicieli stron: nie warto projektować pod konkretną przeglądarkę z agentem, bo za rok może jej nie być. Warto projektować pod to, co wspólne dla wszystkich czytelników, ludzi i maszyn: jasną strukturę i jednoznaczną treść.

Obsługa ekranu to ostatnia deska ratunku, nie fundament. Dla firmy z systemem ERP pokusa jest oczywista: zamiast integracji przez API niech agent klika w interfejs tak jak pracownik. To działa w pokazie i bywa jedyną drogą przy systemie bez API. Ale klikanie jest wolniejsze, droższe i bardziej kruche niż wywołanie funkcji: wystarczy, że producent przesunie przycisk w aktualizacji. Najpierw zwykła reguła tam, gdzie zadanie jest powtarzalne, potem API, a obsługa ekranu dopiero tam, gdzie nic innego nie zostało. Czasem odpowiedź brzmi: nie budować agenta.

Granice muszą stać poza modelem. Skoro model może zostać przekonany przez tekst na stronie, nie może być jedynym strażnikiem tego, co mu wolno. Uprawnienia, limity kwot, lista dozwolonych działań muszą być egzekwowane przez kod wokół modelu, a nie przez polecenie w prompcie. Szerzej w „Granice, których nie egzekwuje agent”. Kto za agenta odpowiada i co mu wolno, warto spisać, zanim zacznie klikać.

Jedna myśl na drogę

W październiku 2024 model dostał ręce. Najważniejsze pytanie od tej chwili nie brzmi „czy model to potrafi”, tylko „kto odpowiada, kiedy zrobi to źle”. Odpowiedź nie leży w modelu, tylko w tym, co zbudujemy dookoła niego.

W następnej części: GPT-5 i modele hybrydowe, czyli moment, w którym osobne linie modeli zlały się w jeden, a wybór „jak bardzo myśleć” przestał być wyborem modelu i stał się ustawieniem.