Przejdź do treści
Agentic Web Seria · Genealogia modelu · 4/12 · 6 min czytania

LLaMA → Llama 2: model, który wyszedł z laboratorium

Wiosną 2023 duży model językowy przestał być wyłącznie usługą na cudzym serwerze i stał się plikiem na dysku. GPT-4 zniknął z API, bo tak zdecydował jego właściciel. Llama 2 pobrana w 2023 roku działa do dziś.

Model LLaMA zamknięty w szklanej kapsule laboratoryjnej oraz Llama 2 przedstawiona jako plik pobrany na lokalny dysk. Symbol przejścia od zamkniętego laboratorium do samodzielnego uruchamiania AI.
LLaMA wyszła z laboratorium. Llama 2 pokazała, że duży model językowy może być nie tylko usługą w chmurze, ale również plikiem, który pobierasz i uruchamiasz na własnym sprzęcie.

24 lutego 2023 Meta ogłosiła LLaMA, rodzinę modeli dla naukowców. Żeby dostać wagi, trzeba było złożyć wniosek, a licencja zabraniała zastosowań komercyjnych. Dziewięć dni później torrent z wagami krążył po 4chanie. Po kolejnym tygodniu najmniejszy model działał na Raspberry Pi, a niecałe trzy tygodnie po premierze na telefonie.

To przejście nie dotyczy jednego modelu, tylko tego, gdzie model mieszka. Do tej pory duże modele językowe były usługą: wysyłałeś tekst na cudzy serwer i dostawałeś odpowiedź. Od wiosny 2023 model mógł być plikiem na twoim dysku. GPT-4 zniknął z API w październiku 2026, bo tak zdecydował jego właściciel. Llama 2 pobrana w 2023 roku działa do dziś, bo nikt nie może jej wyłączyć.

Kiedy

  • 24 lutego 2023: LLaMA w czterech rozmiarach, od 7 do 65 miliardów parametrów. Dostęp na wniosek, tylko do badań.
  • 3 marca 2023: wagi wyciekają przez torrent udostępniony na 4chanie. Meta przez następne tygodnie wysyła wnioski o usunięcie kopii z Hugging Face i GitHuba.
  • 10–14 marca 2023: llama.cpp, program napisany przez Georgiego Gerganova w czystym C/C++, uruchamia LLaMA na zwykłym laptopie. W ciągu kilku dni ktoś odpala czterobitową wersję na Raspberry Pi, a inni na telefonach.
  • 13 marca 2023: Stanford pokazuje Alpacę, czyli LLaMA 7B dotrenowaną do wykonywania poleceń za kilkaset dolarów.
  • 4 maja 2023: wycieka wewnętrzna notatka badacza Google zatytułowana „Nie mamy fosy, OpenAI też nie”.
  • 18 lipca 2023: Llama 2, w partnerstwie z Microsoftem, w rozmiarach 7, 13 i 70 miliardów parametrów. Tym razem do pobrania dla każdego i z prawem do użytku komercyjnego.

Co odziedziczył

Architekturę: LLaMA to ten sam typ transformera co GPT, z kilkoma usprawnieniami znanymi już wcześniej z publikacji. Nie było w nim tajemnicy, i to był jeden z jego atutów: Meta opisała w pracy naukowej, jak go zbudowała.

Przepis na rozmowę: Llama 2-Chat przeszła tę samą drogę co ChatGPT, opisaną w części drugiej. Najpierw dotrenowanie na wzorcowych odpowiedziach, potem uczenie ze wzmocnieniem na podstawie ponad miliona ocen ludzi. Meta opisała tę procedurę w pracy naukowej znacznie dokładniej, niż OpenAI opisało ChatGPT czy GPT-4.

I wszystkie słabości modeli językowych, z halucynacjami na czele. Otwarte wagi nie zmieniają mechanizmu, tylko to, kto ma do niego dostęp.

Co dostał nowego

Mniejszy model trenowany dłużej. Meta nie próbowała zbudować największego modelu. Trenowała stosunkowo małe modele na bardzo dużej ilości tekstu, około 1,4 biliona tokenów, wyłącznie z publicznie dostępnych źródeł. Według Meta wersja z 13 miliardami parametrów wypadała lepiej od GPT-3 o 175 miliardach w większości testów. Mały model jest tańszy przy każdym użyciu, a to on decyduje, czy model da się uruchomić poza centrum danych. Więcej o tej zależności w „Rozmiar, kwantyzacja, destylacja”.

Wagi w rękach ludzi. Kiedy masz plik z modelem, możesz z nim zrobić rzeczy, których żadne API nie pozwala:

  • ścisnąć go, czyli skwantyzować do czterech bitów, żeby zmieścił się w pamięci laptopa. Co się wtedy traci, opisuje „Kwantyzacja, którą widać”;
  • uruchomić go u siebie, bez wysyłania czegokolwiek na zewnątrz. Co się wtedy dzieje między plikiem a odpowiedzią, pokazuje „Od wag do odpowiedzi”;
  • dotrenować go do własnych zadań, i to tanio: ta sama notatka z Google zwracała uwagę, że lekkie dotrenowanie popularnego modelu kosztuje około stu dolarów;
  • zajrzeć do środka, czyli badać, jak model działa, zamiast zgadywać z odpowiedzi.

Licencja komercyjna. Llama 2 była pierwszym modelem tej klasy, który firma mogła pobrać i wbudować w produkt bez pytania o zgodę. Od tej chwili „model do pobrania” stał się realną opcją w każdej rozmowie o wdrożeniu, obok „modelu w chmurze”.

Do 2023 roku pytanie brzmiało: którą usługę wybrać. Od Llamy 2 brzmi: kupić usługę czy mieć model.

Czego to nie rozwiązało

  • „Otwarty” nie znaczy „open source”. Licencja Llamy 2 wymagała osobnej zgody Meta od firm z ponad 700 milionami aktywnych użytkowników i zabraniała używania wyników modelu do ulepszania innych modeli językowych. Open Source Initiative uznaje, że licencje Llamy nie spełniają definicji otwartego oprogramowania, i zarzuca Meta „openwashing”. Udostępnione są wagi, ale nie dane treningowe ani pełny przepis.
  • Dystans do czołówki. W 2023 roku najlepsze modele do pobrania były wyraźnie słabsze od GPT-4. Ten dystans będzie się zmniejszał, ale nie zniknie.
  • Zależność od zamkniętych modeli. Alpaca nauczyła się słuchać na 52 tysiącach przykładów wygenerowanych przez model OpenAI. Duża część pierwszej fali otwartych modeli powstała na odpowiedziach z zamkniętych, z warunkami licencyjnymi, które tego zakazywały.
  • Zabezpieczenia, które da się zdjąć. Kto ma wagi, może dotrenować model tak, żeby przestał odmawiać. Przy usłudze w chmurze producent może poprawić zabezpieczenia jutro. Przy pobranym pliku nie może nic.
  • Krótkie okno. Llama 2 miała okno 4096 tokenów, osiem razy mniej niż najdłuższy wariant GPT-4. Długi kontekst był wtedy przywilejem modeli w chmurze.

Co to zmieniło dla stron i firm

Dane mogą zostać w domu. Dla firmy w Europie to często argument rozstrzygający. Faktura, umowa czy dokumentacja medyczna nie muszą opuszczać serwerowni, żeby model mógł je przeczytać. To, co w części drugiej kończyło się zakazem w Samsungu, przy modelu lokalnym jest kwestią konfiguracji.

Koszt przesuwa się z tokenów na sprzęt. Zamiast płacić za każde zapytanie, płacisz za kartę graficzną i prąd, a ograniczeniem przestaje być budżet, a zaczyna pamięć, o czym „Pamięć jako sufit”. Odpowiedzialność też się przesuwa: aktualizacje, bezpieczeństwo i zgodność z licencją są teraz po twojej stronie. Gdzie dokładnie wykonuje się model i co z tego wynika, opisuje „Gdzie wykonuje się model”.

Polskie modele mają na czym stanąć. Zbudowanie dużego modelu od zera jest poza zasięgiem prawie każdego kraju. Dotrenowanie otwartego modelu na polskich danych już nie. Bielik od SpeakLeash, pokazany w kwietniu 2024 i trenowany na superkomputerach ACK Cyfronet AGH, wyrósł z francuskiego Mistrala 7B, wydanego na licencji Apache 2.0. Rządowy PLLuM, udostępniony w lutym 2025 przez konsorcjum polskich uczelni i instytutów, ma w części nazw swoich modeli zapisane pochodzenie, jak Llama-PLLuM-8B. To dosłownie genealogia w nazwie, o której pisała pierwsza część.

Model nie znika na czyjeś życzenie. Usługę w chmurze można wycofać, zmienić albo podmienić pod tą samą nazwą. Pobrany plik zachowuje się tak samo za rok, jak dziś. Dla systemu, który ma działać przewidywalnie, to zaleta, której nie da się kupić w żadnym API.

Jedna myśl na drogę

Otwarte wagi nie są otwarte w pełnym sensie i nie są za darmo: płaci się sprzętem, pracą i odpowiedzialnością. Ale dały firmom wybór, którego wcześniej nie było. Ironia historii: w kwietniu 2026 Meta wydała pierwszy model swojego nowego laboratorium, Muse Spark, już bez wag do pobrania. Linia, która otworzyła tę epokę, sama z niej wyszła, a inni, od Mistrala po DeepSeeka i Qwena, przejęli pałeczkę.

W następnej części: długi kontekst. Claude 2.1 i Gemini 1.5, czyli moment, w którym do modelu dało się wrzucić całą książkę, i rachunek, który do tego dołączono.


Źródła