Fullstack Code Arena ist der neue Benchmark, der nicht mehr fragt, ob ein Coding-Agent eine hübsche React-Komponente schreiben kann, sondern ob er eine echte App ausliefert. Im Juli 2026 wurden Agenten dort auf Datenbanken, API-Schlüssel, Deployments und strukturierten Tool-Aufrufen bewertet — und der Test zeigt sehr schnell, welche Stacks tatsächlich ausliefern und welche nur in der Demo überzeugend aussehen. Für Mobile-, Automatisierungs- und Orchestrierungsteams ist das die erste Auswertung, die dem realen Auftrag entspricht.
Der AINews / smol.ai Newsletter vom Juli 2026 hat den Start als klaren Schritt beschrieben, wie agentisches Programmieren gemessen wird. Frühere Code-Arena-Bahnen bewerteten UI-Mockups; die Fullstack-Bahn bewertet, ob ein Agent eine Datenbank anschließt, API-Geheimnisse hält, das Ergebnis deployt und mit den passenden Tools nachweist, dass es läuft. Das deckt sich fast eins zu eins mit der Arbeit, die Halmob für Teams mit Mobile-Apps und n8n-Automatisierung auf echter Infrastruktur leistet.
Die 30-Sekunden-Version
Was Fullstack Code Arena tatsächlich misst
Die früheren Wellen von Coding-Agent-Benchmarks lebten in einer bequemen Ecke. Ein Modell bekam eine sauber vorbereitete Datei und sollte eine Funktion, eine Komponente oder ein Skript schreiben. Das ist eine echte Fähigkeit, aber sie hat wenig mit dem zu tun, was ein Mobile- oder Automatisierungsteam von einem Agenten braucht. Fullstack Code Arena verschiebt genau diese Grenze.
| Alte Messlatte | Neue Messlatte in Fullstack Code Arena | Warum das zählt |
|---|---|---|
| Eine React-Komponente schreiben | Eine Seite mit angebundener Datenbank ausliefern | Die interessanten Fehler passieren an der Naht zwischen UI und Daten |
| Fragen über Code beantworten | API-Schlüssel halten und den richtigen Dienst aufrufen | Echte Apps leben in einem Netz aus bezahlten Diensten und Kontingenten |
| Einen Unit-Test reparieren | Das Ergebnis deployen und den Endpunkt prüfen | Ein Build, der nie in Produktion läuft, ist keine ausgelieferte App |
| Ein einzelnes Tool nutzen | Mehrere Tools mit strukturierten Argumenten verketten | Genau die Form, die Mobile- und n8n-Flows sowieso haben |
| Einmalige Generierung | Mehrstufiger Plan, der einen Fehler im Lauf übersteht | Agenten, die in Schritt drei abstürzen, rechnen sich nicht |
Warum diese Newsletter-Meldung für Mobile- und Automatisierungsteams zählt
Mobile-Automatisierung, n8n-Workflows und Multi-Agent-Orchestrierung haben dieselbe Form. Ein Ereignis startet einen Job auf dem Handy oder nach Zeitplan. Ein Modell plant ein paar Schritte. Diese Schritte treffen echte Dienste — Datenbank, Zahlungs-API, CRM, Push-Endpunkt — und jeder Schritt muss wirklich durchlaufen. Fullstack Code Arena ist der erste weit beachtete Benchmark, der genau diese Form bewertet.
- Die Bewertung spiegelt endlich Produktion. Wenn ein Benchmark Deployment und Live-Dienstaufrufe belohnt, passt das Leaderboard zum ersten Mal zu der Art, wie man einen Coding-Agenten in ein echtes Produkt einbaut.
- Tool-Auswahl wird zur harten Kennzahl. Strukturierter Tool-Einsatz wird gemessen, nicht angenommen. Genau diese Disziplin verlangen Mobile- und n8n-Teams jetzt schon von ihren Agenten in jedem Request.
- Umgang mit Geheimnissen wird benotet. Ein Agent, der einen API-Schlüssel leaked oder falsch nutzt, verliert die Aufgabe. Genau so behandelt eine Mobile-App ein Händlergeheimnis oder ein Webhook-Token.
- Wiederaufsetzen zählt mehr als reine Generierung. Fullstack-Aufgaben sind lang genug, um mittendrin zu scheitern. Punkte gibt es für Agenten, die den Fehler erkennen und neu planen, nicht für saubere Einmal-Generierung.
Das Nützlichste an Fullstack Code Arena ist nicht das Leaderboard. Es ist, dass der Benchmark zeigt, welche Teile Ihres eigenen Agenten-Stacks noch fragil sind — die Datenbanknaht, die Geheimnis-Schicht, der Deploy-Schritt oder das Tool-Schema.
Wie Fullstack Code Arena den Orchestrierungs-Stack umformt
Sobald der Benchmark einen Agenten dafür bestraft, dass er die Datenbank kaputt macht oder einen API-Schlüssel verliert, verschiebt sich die Form des Orchestrierungs-Stacks. Ein paar Muster werden sichtbar.
Der Planer ist nicht mehr die ganze Geschichte
Ein stärkerer Planer rettet keinen Agenten, der eine Schema-Migration mitten im Lauf nicht übersteht. Das Gravitationszentrum wandert Richtung Harness: die Schicht, die Plan, Tools, Geheimnisse und Deploy-Ziel über viele Schritte hinweg konsistent hält.
Der Executor braucht ein echtes Gedächtnis für den Lauf
Fullstack-Aufgaben scheitern, wenn der Agent einen Schritt später vergisst, was er gerade deployt hat. Ein kurzer Notizzettel reicht nicht. Teams, die bereits in eine persistente Gedächtnisschicht oder eine dauerhafte Runtime investiert haben — wie das Muster aus Cloudflare Project Think für dauerhafte KI-Agenten — finden ihren Harness sauber auf den Benchmark abgebildet.
Der Berater-Schritt verdient sich sein Geld
Ein zweiter Agent, der den Plan vor dem Deploy prüft, kostet etwas mehr. Auf einer Fullstack-Aufgabe wird dieser Preis vom Preis eines kaputten Produktion-Deploys erschlagen. Das Executor-und-Berater-Muster wird von einer Stilfrage zu einem Punkte-Hebel.
Ein praktischer Fahrplan für Mobile- + n8n-Teams
Sie müssen Fullstack Code Arena nicht selbst laufen lassen, um die Lehren zu nutzen. Der Punkt ist, den eigenen Agenten-Stack so zu benoten, wie der Benchmark ein Modell benotet. Führen Sie Ihre Pipeline durch fünf Prüfpunkte.
- 1Wählen Sie einen Flow mit echter Infrastruktur. Ein Checkout-Callback, ein Mobile-Onboarding-Schritt oder ein n8n-Lead-Enrichment-Flow qualifizieren sich. Flows, die nur eine Message-Queue anfassen, lassen die Benchmark-Form weg.
- 2Lassen Sie ihn ohne menschlichen Eingriff durchlaufen. Zählen Sie, wie viele Schritte der Agent schafft, bevor er einen Anstoß braucht. Bleibt er vor dem Deploy oder vor dem Tool-Aufruf stehen, ist das Ihre schwache Naht, nicht die Modellwahl.
- 3Bewerten Sie die Qualität der Tool-Aufrufe, nicht nur das Endergebnis. Loggen Sie die exakten Argumente jedes Tool-Aufrufs. Eine richtige Antwort auf falschen Tool-Aufrufen ist eine fragile Antwort.
- 4Prüfen Sie das Verhalten bei einem Fehler mitten im Lauf. Erzwingen Sie eine kaputte Tool-Antwort und schauen Sie, ob der Agent neu plant oder abstürzt. Genau das belohnt Fullstack Code Arena im Leaderboard.
- 5Erst danach das Modell vergleichen. Modellwahl ist die Folge der Harness-Qualität. Ein stärkeres Modell auf einem kaputten Harness liegt hinter einem mittelstarken Modell auf einem ernsten Harness.
Das Anti-Muster, das wir immer wieder sehen
Wo Fullstack Code Arena neben anderen 2026-Benchmarks steht
Fullstack Code Arena ersetzt SWE-Bench oder die diversen Tool-Use-Leaderboards nicht. Er stellt sich daneben und bewertet eine andere Frage. Nebeneinander gelegt wird das Bild klarer.
| Benchmark | Was er bewertet | Wo er auf Halmob-Arbeit abbildet |
|---|---|---|
| SWE-Bench Pro | Lange Code-Reparatur in einem Repo | Agent-getriebene Refactorings und CI-Fixes auf n8n oder Backend-Diensten |
| HLE mit Tools | Reasoning unter Tool-Einsatz quer über Domänen | Multi-Tool-Mobile-Assistenten über mehrere APIs |
| Fullstack Code Arena | End-to-End-App-Auslieferung mit DB, Geheimnissen, Deploys | Genau die Form der Flows, die Halmob für Mobile- und Automatisierungskunden liefert |
| Frühere Frontend Code Arena | Qualität der UI-Generierung | Gut für Mocks und Prototypen; irreführend, um ein Shipping-Modell zu wählen |
Worauf man vor dem Leaderboard achten sollte
Selbst ein so gut entworfener Benchmark hat Sollbruchstellen. Lesen Sie das Leaderboard kritisch und planen Sie um drei praktische Fallstricke herum.
- Deploy-Ziele verzerren die Punktzahl. Ein Benchmark, der auf eine bestimmte Plattform deployt, bevorzugt Agenten, die schon auf diese Plattform getrimmt sind. Prüfen Sie, ob das Deploy-Ziel Ihrer Produktion entspricht, bevor Sie die Zahl zitieren.
- Geheimnisumgang lässt sich leicht overfitten. Ein Agent, der ein Geheimnis aus genau einer Umgebungsvariable liest, kann auf einem echten Mobile-Backend scheitern. Fragen Sie, wie der Benchmark Geheimnisse bereitstellt, bevor Sie sich für ein Mobile-Produkt darauf verlassen.
- Kosten pro gelöster Aufgabe zählen. Ein Modell, das zehnmal so viel pro Fullstack-Aufgabe kostet, rechnet sich selten. Teilen Sie die Punktzahl durch die Kosten, nicht durch die Modellgröße.
- Die Wiederaufsetz-Note ist die ehrliche. Schauen Sie, wie der Agent abschneidet, wenn ein Tool im dritten Schritt Müll zurückgibt. Diese eine Teilnote sagt mehr über Produktionsverhalten aus als die Schlagzeile.
Wo das im Halmob-Stack sitzt
Bei Halmob zeigt sich dieselbe Form in fast jedem Mobile- und Automatisierungs-Auftrag. Eine Mobile-App nimmt einen Trigger auf. Eine n8n-Automatisierungsschicht macht die eigentliche Arbeit — Datenbank-Schreiben, API-Aufrufe, Deploys — und ein Agent entscheidet, welcher Schritt als Nächstes läuft. Fullstack Code Arena ist der erste Benchmark, der genau dieses Zusammenspiel bewertet.
Wir bauen den Benchmark in dasselbe Betriebsmodell ein, das wir in unseren Beiträgen zu OpenAI Symphony mobile Orchestrierung und dem n8n auf AWS ECS Fargate Lasttest beschrieben haben. Die Konstante bleibt: Das Leaderboard ändert sich, aber der Harness liefert die App aus.
Fazit
Fullstack Code Arena hat das Coding-Agent-Gespräch von "Kann er Code schreiben?" zu "Kann er eine App ausliefern?" verschoben. Für Mobile-, Automatisierungs- und Orchestrierungsteams liegt diese Frage viel näher an dem, was das Produkt tatsächlich tut. Benoten Sie den eigenen Agenten-Stack in derselben Reihenfolge — einen Flow wählen, ohne Eingriff durchlaufen, Tool-Aufrufe protokollieren, einen Fehler erzwingen und erst dann das Modell tauschen. Diese Reihenfolge ist der Grund, warum ernsthafte Agent-Produkte bei Halmob die Prüfungen bestehen, die schöne Demos gerne überspringen.
Als Quellen lohnen sich der smol.ai AINews Newsletter für den Kontext im Juli 2026, das öffentliche SWE-Bench-Projekt für den Vergleich und die Claude Agent SDK Dokumentation für Harness-Muster. Um das Ganze in ein reales Mobile- und Automatisierungs-Produkt zu bringen, verbindet Halmob die Benchmark-Disziplin mit der Pipeline, die tatsächlich ausliefert.