prague-bench

Selhání a nedokončené běhy

Ne každý běh skončí videem. Někteří agenti to vzdali, jeden odevzdal zástupné video a několik běhů utnuly bezplatné kvóty nebo limity předplatného. Čas a peníze, které do nich padly, se ale počítají.

běhů bez čistého konce
8
v nich strávený čas
2 h 48 min
v nich utracené peníze
3,40 $

Kvóty a limity předplatného

Tyto běhy ukončily bezplatné kvóty a limity předplatného, ne modely samotné. Nehodnotí se. Férové by bylo zopakovat je přes placený přístup.

ModelStavCelkový časCenaTokenyZůstalo na diskuCo se stalo
Big PickleOpenCode · OpenCode Zen (free)Selhal · došla bezplatná kvóta1 h 19 min0 $zdarma38,1 mil.mapa trasyPo 79 minutách vyčerpal bezplatnou kvótu OpenCode. Scéna byla hotová a všech 1740 snímků vyrenderovaných, ale limit model zastavil dřív, než zakódoval MP4. Šlo o vnější omezení, ne o rozhodnutí modelu.
DeepSeek V4.1 Flash Free (první pokus)OpenCode · OpenCode Zen (free)Nespuštěn · došla bezplatná kvóta0,0 min0 $zdarma0–Vůbec nezačal: bezplatná kvóta OpenCode už byla vyčerpaná, takže hned první požadavek selhal a nespotřeboval se ani jeden token.
DeepSeek V4.1 Flash FreeOpenCode · OpenCode Zen (free)Nedokončen · došla bezplatná kvóta52 min0 $zdarma19,0 mil.mapa trasyNedokončil: po 52 minutách došla bezplatná kvóta OpenCode, zatímco agent ještě ladil scénu (vzdálená ořezová rovina mu usekávala oblohu). Zůstala jen mapa trasy a testovací snímky.
Kimi K3.1 ProOpenCode · OpenCode GoNedokončen · pětihodinový limit předplatného23 min2,84 $ceník8,8 mil.kontaktní arch, mapa trasyNedokončil: předplatné OpenCode Go uprostřed volání nástroje narazilo na pětihodinový limit. Kompletní render (1740 snímků) už byl hotový, ale agent dál ladil a MP4 ještě nezakódoval. Stojí za zopakování.

Vzdali to

Agent skončil dřív, než měl video, a práci označil za nehotovou, což zadání výslovně zakazuje.

ModelStavCelkový časCenaTokenyZůstalo na diskuCo se stalo
GPT-6.1 TerraCodex · OpenAISelhal · vzdal to1,8 min0,10 $ceník518 tis.REPORT.mdVzdal to. Po jediném zkušebním snímku (kamera uvnitř geometrie, na softwarovém rendereru příliš pomalé) sám skončil a napsal report „rozpracováno“. GPU vůbec nezkusil a video nevzniklo.
GPT-6 LunaCodex · OpenAISelhal · vzdal to1,7 min0,010 $ceník555 tis.REPORT.mdVzdal to. Projekt sestavil ve špatném adresáři, render spustil na pozadí a skončil, zatímco render ještě „čekal“. Nevznikl ani jeden snímek, takže video chybí.

Zástupný výstup

Soubor, který projde formálními kontrolami, ale úlohu vůbec nezkouší. Porota ho hodnotila spolu s ostatními a skončil poslední.

ModelStavCelkový časCenaTokenyZůstalo na diskuCo se stalo
Beam FreeOpenCode · OpenCode Zen (free)Selhal · zástupné video8,0 min0 $zdarma224 tis.MP4, snímky, REPORT.mdVědomě odevzdal zástupné video: náhodné kvádry na tmavé ploše, čáru místo trasy a kvádr místo dronu. Soubor sice projde formálními kontrolami H1–H6, ale chybí památky, lidé i kontaktní arch.

Chyby harnessu

Běh ukončil harness, ne model. Video už bylo hotové, takže se hodnotí.

ModelStavCelkový časCenaTokenyZůstalo na diskuCo se stalo
Gemini 4 HydrogenAntigravity · GoogleDokončen · chyba harnessu, bez reportu20 min3,01 $ceník6,9 mil.MP4, kontaktní arch, mapa trasyVideo je hotové a splňuje všechny tvrdé požadavky, jenže Antigravity hned po finálním zakódování ukončil tah chybou poskytovatele. Agent tak nestihl spustit vlastní kontroly ani napsat REPORT.md. Slepá porota hodnotí jen video, takže na skóre to vliv nemá.

Přerušeno orchestrátorem

Zastaveno kvůli chybě na naší straně, ne na straně modelu.

ModelStavCelkový časCenaTokenyZůstalo na diskuCo se stalo
Claude Opus 5.5 (1. běh, přerušen)Claude Code · AnthropicPřerušen · chybná trasa v zadání2,0 min0,45 $ceník323 tis.–Orchestrátor běh po zhruba dvou minutách zastavil, protože zadání ještě obsahovalo špatnou trasu (přes Mánesův most). Model za to nemohl a běh se nehodnotí.