Maszyneria modelu
Wagi niczego nie liczą.
Liczy runtime.
11 części ukazało się na webflux.pl (oznaczone ↗). Kolejne będą pojawiać się tutaj.
Spis treści
01Tor 1: Na twoim urządzeniu5 tekstów
- 1. Gdzie wykonuje się model — wagi, runtime, akcelerator webflux.pl
- 2. Od wag do odpowiedzi — co runtime robi z plikiem modelu webflux.pl
- 3. Kwantyzacja, którą widać — co tracisz schodząc do czterech bitów webflux.pl
- 4. Pamięć jako sufit — dlaczego kontekst kończy się szybciej niż cierpliwość webflux.pl
- 5. Pierwszy token i cała reszta — prefill kontra decode webflux.pl
02Tor 2: Za API4 teksty
- 6. Za HTTP — co dzieje się z prośbą po drugiej stronie webflux.pl
- 7. Ten sam mechanizm, dwieście osób w kolejce webflux.pl
- 8. Prompt caching — dlaczego ta sama prośba raz kosztuje trzy razy mniej webflux.pl
- 9. Nie płacisz za model — płacisz za miejsce w kolejce webflux.pl
03Tor 3: W oknie czatu2 teksty
- 10. Czego nie widzisz w oknie czatu webflux.pl
- 11. Model nie pamięta — pamięta produkt webflux.pl