Siema!
Dziś trochę rantu na Anthropica, o moich doświadczeniach z przesiadki na modele OpenAI i z powrotem na Opusa. Idealny przykład tego, jak prawdziwe odczucia różnią się od cyferek w benchmarkach.
Będzie też o zjednoczeniu AI labów w sprawie modeli open source oraz o czarnej owcy, która się nieco wyłamała i "ostrzega o potencjalnych niebezpieczeństwach”…
Przesiadka na OpenAI i powrót do Opus 5
Kilka tygodni temu przesiadłem się w ~90% na stack od OpenAI. Włączając w to modele, jak i sam harness w postaci Codexa. Wcześniej od wielu miesięcy leciałem w dużej mierze na Claude Code i modelach od Anthropica.
Testowałem dość intensywnie modele z rodziny GPT-5.6, głównie Sol i Terra. Zadania przeróżne, od codziennych tasków po skomplikowany engineering, fixowanie bugów, eksplorację codebase’u i wszelkiego rodzaju analizy.
Sprawdzałem modele w różnych workflows, od standardowych frameworków do kodowania z agentami i SDD, przez pętle, aż po pełną autonomię i long-running taski. Muszę powiedzieć, że naprawdę pozytywnie się zaskoczyłem!
Terra jest świetnym daily driverem. Model dobrze rozumie intencje i w większości przypadków idzie wytyczonym torem. Jeśli mamy jakiś workflow, z którym pracujemy, to jestem przekonany, że dobrze się w nim odnajdzie. Nie jest to co prawda poziom Fable, bardziej półka niżej i modele pokroju Opusów*, ale byłem z niego bardzo zadowolony.
Sol jednak to zupełnie inny poziom i powiedziałbym, że pracowało mi się z nim miejscami lepiej niż z Fablem. Model rozumie bardzo dobrze Twoje intencje, świetnie radzi sobie z trudnymi zadaniami i rozkminami. Użyłem go sporo do różnego rodzaju analiz czy pracy z wieloma dokumentami w celu zweryfikowania jakichś informacji czy znalezienia edge case’ów.
Było również sporo ‘yolo’ testów. Dostajesz problem i masz go rozwiązać. Ja nie dostarczam specyfikacji, nie wskazuję plików ani kroków, jakie masz wykonać. Tutaj Sol w większości przypadków również błyszczał. Niektóre zadania działy się w kilku context windows, ale w jednej konwersacji. Pomimo tego autonomicznego skompaktowania treści Sol dawał radę.
Tradeoff to oczywiście wysoka cena za tokeny, więc nie polecam takiego podejścia na co dzień, no chyba że masz kupkę hasju do wydania. Jeśli siedzimy w stacku 5.6 i chcemy ograniczyć koszty, to polecam spróbować połączenia Terra i Luna, które po ostatniej obniżce cenowej wychodzą całkiem spoko!
Przez cały okres tych testów używałem również w niewielkich ilościach Opusa 4.8 i Sonneta 5. Nie miałem jednak okazji sprawdzić Opusa 5, czyli nowego domyślnego modelu od Anthropica.
Pojawił się w podobnym okresie co usunięcie Fable z planów subskrypcyjnych. Mam wrażenie, że Anthropic chciał osłodzić tę decyzję i dać nam coś równie dobrego. Przynajmniej tak model wygląda na papierze, w różnego rodzaju benchmarkach przewyższa możliwości Fable:
W rzeczywistości mam bardzo negatywne odczucia co do jego wykorzystania, szczególnie jeśli chodzi o pracę z kodem.
Model jest strasznie wolny i potrafi się zawiesić na bardzo prostych zadaniach. Zmniejszenie domyślnego effort nieco pomaga, ale nadal jest to zdecydowanie bardzo słaby poziom. Przykład? Rozwiązanie turbo prostego konfliktu zajęło Opusowi ponad 10 minut. Czy taki model powinien rozwiązywać tego typu problemy? Pewnie nie, ale sam fakt overthinkingu na tak prostym zadaniu mnie zaskoczył.
Opus 5 produkuje bardzo dużo tekstu. Miałem wrażenie, że często przekomplikowuje niepotrzebnie wyjaśnienie jakichś konceptów czy odpowiedzi na proste pytania. Częściej niż kiedykolwiek od razu po odpowiedzi modelu piszę “tldr” :)
No i sama jakość rezultatów nie powala. Oczywiście, nie jest to jakiś tragiczny poziom, nie chcę demonizować nowego Opusa. Jednak przy modelach od OpenAI wypada dla mnie słabo.
Dużo osób w społeczności ma podobne odczucia. Niektórym jednak nowy Opus się sprawdza i polecają używać go w nieco inny sposób. Bez dużego settingu w postaci skilli/mcp, z większą swobodą w rozwiązywaniu problemów:
Nie uważam jednak, że to my powinniśmy wywracać do góry nasz workflow, tylko żeby dać modelowi większe pole manewru. Co mi pomogło, to używanie /caveman + zmniejszenie effortu.
Dwie niekorzystne premiery od Anthropica w ostatnim czasie mogą oznaczać chwilowy kryzys. Na szczęście mamy solidną konkurencję w postaci GPT-5.6 czy bardzo dobrego Groka.
A Tobie jak sprawdza się nowy Opus?
Open Source AI: szanse i zagrożenia
Pod koniec czerwca Microsoft opublikował manifest Open Weights and American AI Leadership, argumentujący za otwartymi wagami modeli AI jako fundamentem amerykańskiego przywództwa w dziedzinie sztucznej inteligencji.
Była to odpowiedź na plotki dotyczące potencjalnej blokady modeli open source przez rząd USA ze względu na „powody bezpieczeństwa”. Twórcy wspominają o zaletach open source w kontekście softu, zdrowej konkurencji, czy o pozytywnych stronach dostępu do otwartych modeli przez startupy, uczelnie, czy instytucje publiczne.
Co ciekawe, dokument wspomina, że dystylacja, czyli wykorzystywanie outputu z jednego modelu do treningu otwartych modeli, powinna być traktowana jako normalna technika treningowa, a nie kradzież treści.
Manifest podpisało ponad 270 firm i organizacji, wśród nich znaleźli się najwięksi gracze z branży, tacy jak Amazon, Google, OpenAI, czy SpaceX. Zgadnij, kogo zabrakło? Oczywiście, że Anthropic.
Dario Amodei, CEO Anthropica, udostępnił oświadczenie, w którym dzieli się swoją perspektywą. Podkreśla przede wszystkim, że Anthropic nie jest za banowaniem modeli open source. Co prawda zgadza się z częścią ekonomiczną manifestu, ale nie uważa, że otwartość = bezpieczeństwo. Pisze, że otwarte modele mogą bardziej pomóc atakującym niż broniącym się. Należy więc blokować chipy dla Chin, ograniczyć dystylację i wymuszać testy bezpieczeństwa.
Jakiś czas później pojawił się statement Pacing the Frontier, który podpisało 1300+ pracowników największych AI labów, w tym researcherzy z OpenAI, Anthropic, Meta czy Google. Główne hasło w luźnym tłumaczeniu:
Domagamy się, aby rząd USA wsparł międzynarodowe wysiłki zmierzające do opracowania narzędzi technicznych i regulacyjnych, niezbędnych do świadomego kontrolowania tempa rozwoju najbardziej zaawansowanych, zautomatyzowanych systemów AI.
Agent Plugins: nowy agentowy standard
Nad standardami w AI można sporo dyskutować. Z jednej strony znajdziemy wiele przykładów, gdzie próby standaryzacji totalnie nie nadążają za rozwojem modeli. Często widzimy to na przykładzie frameworków, które przyjęły się jedynie dla części rynku.
Z drugiej strony mamy kilka standardów, które popchnęły rozwój agentów i obecnie mocno ułatwiają nam życie, np. MCP, Skille czy AGENTS.md. Pomińmy fakt, że nie wszyscy chcą się do nich dostosowywać, to zupełnie inny temat…
Tym razem otrzymaliśmy lekką nakładkę na MCP i Skille, która ma standardyzować obsługę pluginów w agentach. Miałem okazję pracować nad tworzeniem pluginów i faktycznie obecnie w każdym z nich implementacja wygląda nieco inaczej, przez co staje się to trochę upierdliwe. Taki prosty wrapper na pewno ułatwi ich tworzenie.
my-plugin/
├── plugin.json
├── skills/
│ └── summarize/
│ ├── SKILL.md
│ ├── scripts/
│ └── references/
├── mcp.json
└── com.example.client/
└── hooks/Standard powstał we współpracy Amazona, Cursora, Microsoftu, OpenAI i Vercela. Brakuje tutaj kilku dużych graczy (np. Anthropic), a także wspieranych narzędzi open source (np. OpenCode). Czy Standard, podobnie jak MCP czy Skille, się przyjmie, czy też skończy jak inne nieudane próby pokroju Agent-to-Agent (A2A)? Przekonamy się już niedługo.
Ciekawe linki
Why Software Factories Fail — Dex Horthy, HumanLayer
Dex, twórca terminu Context Engineering, wystąpił na konferencji AI Engineer z nową prezentacją. Dzieli się kilkoma wnioskami z ostatnich trendów, takich jak Loops czy Factories, przedstawia swoją perspektywę i to, co faktycznie się u niego sprawdza.
„Kod nigdy nie był trudną częścią” to obraza dla wszystkich programistów
Ile razy ostatnio słyszałeś, że sama czynność pisania kodu nigdy nie była tą trudną częścią pracy programisty? Autor artykułu uważa to za mit i rozprawia się z nim punkt po punkcie. Jeśli to takie proste, to dlaczego wciąż tak mało kto potrafi to robić dobrze?
Xirp - Spotify wchodzi na rynek agentów
Spotify wchodzi na rynek AI i prezentuje narzędzie Xirp, które pozwala uruchamiać agentów w wielu projektach i sesjach naraz. Co ciekawe, nie prezentują swojego własnego toola, a korzystają już z istniejących - Claude Code, Codex albo Gemini CLI.
Już uciekasz?
Jeśli Ci się podobało, kliknij 🧡 poniżej, to nic nie kosztuje! Doceniasz w ten sposób moją pracę i motywujesz do dalszych działań:)
Do następnego,
Olaf