🖥️ #97: Agent Loop - przestań promptować, zacznij pisać pętle
+ GPT-5.6, powrót Fable, Grok 4.5 od Cursora i nielegalny rynek tokenów
Siema!
Nastąpił zalew ejajowych premier i powrotów. Anthropic przywrócił Fable i w międzyczasie wypuścił Sonneta 5.0, który okazał się średniakiem. OpenAI depcze im po piętach z potężnym, ale sporo tańszym GPT-5.6 Sol oraz kwestionuje wiarygodność najpopularniejszych benchmarków.
Cursor razem z Elonem Muskiem prezentuje nowego Groka, który może być poważną konkurencją dla topowych modeli, zachowując przy tym niską cenę. Meta powoli się budzi i pokazuje nowy model do kodowania oraz mechanizm do odczytywania naszych myśli…
Enjoy!
Sponsorem newslettera jest No Fluff Jobs.
Tu możesz sprawdzić, czy ktoś otworzył już Twoje CV, czy je odrzucił.
Załóż profil kandydata i śledź swoje postępy w rekrutacjach.
Loop Engineering: nowa “rewolucja” czy drożyzna?
Gdy Boris Cherny i Peter Steinberger, ludzie tworzący agentów w OpenAI i Anthropicu, zaczynają mówić o kolejnej dużej zmianie, może to oznaczać jedną z dwóch rzeczy. Albo chcą nas naciągnąć na trochę więcej tokenów, albo faktycznie mamy do czynienia z czymś wartościowym.
Jak jest tym razem? Postanowiłem sprawdzić te agentowe pętle, o których ostatnio jest bardzo głośno 👇
W filmie przechodzimy przez przykłady i zastosowania pętli w Claude Code z pomocą wbudowanych komend /goal oraz /loop. Rozkładamy je na czynniki pierwsze, mówimy sobie o wadach i zaletach tego podejścia.
OpenAI: GPT-5.6 i wadliwe benchmarki
Doczekaliśmy się pełnoprawnej premiery nowych modeli od OpenAI. Po dość długim banie od rządu USA, rodzina modeli GPT-5.6 wyszła na światło dzienne.
Dostaliśmy trzy modele - Luna, Terra i Sol. Ten ostatni jest bezpośrednią konkurencją dla Fable/Mythosa i to na nim najbardziej się skupimy.
Sol jest naprawdę świetnym modelem. OpenAI rzuciło rękawice Anthropicowi i wcale nie mają się czego wstydzić. Widać znaczącą poprawę w stosunku do wersji 5.5. Model jest bardziej „zdeterminowany”, lepiej rozumie to, co chcemy zrobić. Za wszelką cenę próbuje rozwiązać zadanie, co czasem wiąże się z naprodukowaniem zbyt dużej ilości kodu czy testów.
Pod względem ogólnopojętej wydajności, szybkości i kosztów też jest bardzo dobrze. Co prawda jest drogo, ale jeśli porównamy to do Anthropica, to podobne rezultaty możemy osiągnąć nawet za 1/3 ceny. Sol wydaje się przy tym zdecydowanie szybszy.
Radzi sobie coraz lepiej z taskami związanymi z tworzeniem UI, chociaż nie jest to jeszcze poziom Opusa. Z plusów warto jeszcze wspomnieć o orkiestracji i zarządzaniu subagentami, bo tutaj już możemy śmiało porównywać Sola do modeli od Anthropica.
A jak wyglądają benchmarki? Naprawdę dobrze, ale jest mały haczyk. W dużej ilości benchmarków GPT-5.6 jest albo nieco za Fable, albo osiąga praktycznie takie same wyniki. W DeepSWE badająnym długo działających agentów dobrze widać różnice, przepaść cenowa jest ogromna.
W benchmarku Artificial Analysis Intelligence Index, który składa się z dziewięciu różnych ewaluacji, praktycznie nie ma żadnej różnicy.
Gdzie więc ten haczyk? W niektórych benchmarkach, takich jak SWE-Marathon, czy SWE-Bench Pro w ogóle nie znajdziemy nowych modeli od OpenAI…
Co ciekawsze, twórcy GPT przebadali SWE-Bench, który dotychczas był jednym z najpopularniejszych testów i stwierdzili, że benchmark nie jest wystarczająco wiarygodny. Czy to przez to, że konkurencja lepiej w nim wypadała? Tego się pewnie nie dowiemy, ale dobry timing sobie wybrali.
O co chodzi? Około 30% zadań zawierało fundamentalne błędy. Znaleziono ukryte wymagania, sprzeczne instrukcje, zbyt rygorystyczne testy, czy niekompletne kryteria oceny.
Mimo wszystko nie jest to dobry news. Od dawna wiemy, że nie należy zbytnio ufać benchmarkom - twórcy modeli specjalnie się pod nie optymalizują. Teraz, gdy odkrywamy, że same benchmarki mogę nie być dobrze skonstruowane, zmniejsza to ich wiarygodność jeszcze bardziej.
Czy to oznacza, że w ogóle nie warto zwracać uwagi na benchmarki? Nie do końca. Nadal potrzebujemy ewaluacji, ale zdecydowanie warto sprawdzać metodykę i jakość testów.
Anthropic: powrót Fable i premiera nieudanego Sonneta 5.0
Razem z rodziną GPT-5.6 powrócił również Fable, którym nie mogliśmy się wcześniej zbyt długo pobawić. Co tu dużo mówić, genialny model z ogronmymi możliwościami. Miałem okazję trochę z niego pokorzystać i zdecydowanie widać przeskok “inteligencji” w porównaniu z Opusem.
Myślę, że śmiało można powiedzieć, że Fable wyznaczył nową generację modeli. Niestety nie tylko pod kątem performance, ale również ceny. Jest naprawdę piekielnie drogo i GPT-5.6 wypada tutaj o wiele, wiele lepiej. Podczas moich testów z Fablem sama analiza zadania, nie mówiąc nawet o implementacji, potrafiła przepalić kilkadziesiąt dolarów.
A drogo to dopiero będzie. Anthropic ciągle przedłuża datę wycofania Fable z planów subskrybcyjnych i przejście w całości na rozliczenie za tokeny. OpenAI depcze im po piętach i trochę głupio by było usadzić swojego najlepszego zawodnika na ławkę rezerwowych.
Gdzieś podczas całego tego zmieszania z niedostępnością najlepszych modeli, Anthropic zaprezentował Sonneta 5.0. Okazuje się to być naprawdę dziwny model. W teorii miał być to trochę gorszy, ale tańszy i szybszy Opus.
Anthropic tak go przedstawiał w swoich testach (nie ma to jak pogrubić nie te dane co trzeba <3):
W benchmarkach od Artificial Analysis Intelligence Index już nie wygląda to tak fajnie. Jeśli sprawdzimy koszt wykonania zdania, to Sonnet jest znacznie droższy od innych, teoretycznie droższych modeli:
Jak to możliwe? Sonnet 5.0 jest w takiej samej cenie co Sonnet 4.6, ale przez wprowadzenie nowego tokenizera generuje niemal 30% więcej tokenów.
Moje vibe testy wyglądają trochę bardziej pozytywnie. Całkiem spoko Sonnet wypadał do mniej wymagających zadań, jest zdecydowanie szybszy od Opusa. Używałem go trochę więcej do zadań poza programistycznych i naprawdę dawał radę. Nie jest to jednak ani supertania ani superwydajna opcja, dlatego Opus 4.8 nadal zostaje moim defaultem, jeśli chodzi o kodowanie z modelami od Anthropica.
Jeśli Fable zostanie z nami trochę dłużej, zdecydowanie warto pomyśleć o korzystaniu z niego w roli orkiestratora i używać tańszych modeli jedynie do implementacji. Anthropic poleca takie podejście do obniżenia kosztów, przy zachowaniu najlepszych rezultatów:
Meta wraca na salony? Zuckerberg z nowościami
Ktoś jeszcze pamięta o Meta w kontekście AI? Okazuje się, że po cichu wypuścili nowy model Muse Spark 1.1, który zbliża się wydajnością do Opusa 4.8 i GPT-5.5. Na razie traktuję jako ciekawostkę, ale dodatkowa konkurencja zawsze się przyda. Kto pamięta jeszcze słynne 10 milionów tokenów kontekstu w Llama 4? Piękne czasy.
Wydaje się, że Meta stara się podchodzić do AI od trochę innej strony. Ostatnio pokazali Brain2Qwerty v2, czyli mechanizm, który ma zamienić nasze myśli na tekst.
Dekoder podobno osiąga średnią trafność rozpoznawania słów na poziomie 61%, w poprzednich wersjach oscylowało to na poziomie 8%, więc skok jest naprawdę imponujący. Kto zgłasza się na ochotnika?
Grok 4.5: dziecko Cursora i SpaceX
Od dawna słyszeliśmy o tworzeniu nowego modelu od zera przez zespół Cursora i w końcu się doczekaliśmy! Partnerstwo z SpaceX przeniosło rezultaty i dostaliśmy nowego Groka.
Dotychczas Groki znajdowały się raczej poza czołówką najlepszych modeli. Od czasu do czasu pojawiła się jakaś drama na X, gdy Elon spuścił swoje AI ze smyczy. Poza tym, dostawaliśmy produkty pokroju Grok Imagine, ale raczej bez szału w porównaniu z bliźniaczymi rzeczami od konkurencji.
Nowy Grok to model trenowany stricte pod taski programistyczne. Twórcy reklamują go jako połączenie bardzo dobrych (ale nie najlepszych) wyników z stosunkowo niską ceną. Jak jest w rzeczywistości?
W benchmarkach wygląda to naprawdę całkiem spoko. Model zbliża się do osiągów generacji GPT-5.5 i Opusa 4.8. Pokazują to np. DeepSWE, czy SWE-Marathon, które skupiają się na długo działających agentach. Przy tym Grok oferuje dość niską cenę, np. od Opusa jest ponad o połowę tańszy.
Niestety nie jest jeszcze dostępny w UE, ale za niedługo powinien zostać odblokowany. Pierwsze testy ze Stanów są optymistyczne.
Zapowiada się fajna alternatywa dla duopolu w postaci OpenAI i Anthropic. Wygląda na to, że współpraca Cursora i SpaceX wyjdzie obu firmom na dobre :)
Ciekawe linki
AI za grosze - jak działa nielegalny rynek tokenów?
Najlepsze modele AI w dużo niższych cenach. Szara strefa tokenów coraz bardziej się rozrasta. Jak to w ogóle możliwe? Czy to bezpieczne? Gdzie jest haczyk?
Apple przegrało wyścig o AI. Czy aby na pewno?
Dużo się mówi o tym, że Apple nawet nie zostało gdzieś w tyle, a kompletnie przegrało rewolucję sztucznej inteligencji. Ale czy aby na pewno? Świetny materiał, w którym Marques wciela się w rolę atakującego i broniącego strategii Apple. To jak to w końcu jest?
Przepisanie Bun na Rust z pomocą AI
Jarred Sumner przepisał Bun na Rusta w 11 dni. Skorzystał z Claude Workflows, a całość kosztowała go ponad 160 tysięcy dolarów. Zarówno czas, jak i kwota robią ogromne wrażenie. Twórca Buna dzieli się wnioskami w obszernym poście.
Już uciekasz?
Jeśli Ci się podobało, kliknij 🧡 poniżej, to nic nie kosztuje! Doceniasz w ten sposób moją pracę i motywujesz do dalszych działań:)
Do następnego,
Olaf