22 kleine LLMs schlagen ein großes Gehirn bei Kontrolle und Kosten

Die meisten KI-Projekte jagen weiter größeren Modellen hinterher.Der Durchbruch beim ROI kommt aber von kleinen, spezialisierten Teams aus LLMs.

Wenn ich KI-Systeme entwerfe, denke ich nicht in "einem großen Gehirn".Ich denke in Mini-Organisationen.

Jeder Agent hat:• eine Aufgabe• eine oder mehrere Übergaben• eine klare Rolle

Beispiel aus unserer Arbeit: die Verarbeitung von Zehntausenden E-Mails für einen Rechtsstreit.

Wir zerlegen das in:• OCR-Extraktion mit 2 verschiedenen Modellen zur Qualitätsprüfung• Modelle, die erkennen, wo eine E-Mail anfängt und aufhört• Modelle, die Absender und Zeitstempel erkennen, Zusammenfassungen erstellen und kategorisieren• Qualitätssicherungs-LLMs, durchgängig eingebaut

(In Wirklichkeit war das Projekt deutlich komplexer, aber die Idee wird klar)

22 LLMs.22 klare Aufgaben.

Das passiert, wenn wir Systeme so entwerfen:

• Wir sehen, wo etwas bricht
• Wir tauschen schwache Teile aus, ohne den Rest anzufassen
• Wir setzen leichte Modelle ein, wo keine Spitzenmodelle nötig sind

Mehr Kontrolle.Mehr Erklärbarkeit.Weniger Kosten.Weniger Energieverbrauch.

Jetzt kommt eine neue Ebene ins Spiel.

Kimi K2.5 ist gerade erschienen und ist so leistungsfähig wie proprietäre Spitzenmodelle.

Das Interessante daran? Es baut seine eigene "Mini-Organisation" im Modell auf.

Ich gebe ihm eine Aufgabe.Das Modell erzeugt einen Agenten-Schwarm:• bis zu 100 kleine Agenten• die parallel arbeiten• jeder mit einer eigenen Rolle

Ergebnisse in einigen Tests:• bis zu 4,5x schneller als ein einzelnes Modell nacheinander• komplexere Arbeit in einem Durchgang• kein manueller Rollenentwurf nötig

Klingt großartig.Aber hier liegt die Spannung.

Wenn das Modell seinen eigenen Schwarm baut, gewinne ich Tempo und verliere direkte Kontrolle.

• Ich sehe weniger von dem, was innen passiert
• Ich hänge stärker an der Orchestrierungslogik
• Zwischen den Agenten entstehen neue, verdeckte Fehlerarten

In regulierten Umfeldern oder geschäftskritischen Prozessen ist das ein Problem.

Versteh mich nicht falsch, dieses Modell ist fantastisch und beweist wieder einmal, dass Open Source genauso leistungsfähig ist wie Claude, GPT und Gemini. Ich glaube, Open Source wird bei den meisten Anwendungsfällen künftig die Leistung anführen.

Aber es ist eine Entwurfsentscheidung.

Bau dein eigenes Agentensystem, wenn:• Du Prüfpfade brauchst (Recht, Compliance, Finanzen)• Fehler direkte Geschäftskosten verursachen (Kundenkommunikation, Rechnungsstellung)• Qualität über Tausende Fälle hinweg gleich bleiben muss

Lass das Modell seinen Schwarm bauen, wenn:• Du Neuland erkundest, ohne klaren Prozess• Tempo wichtiger ist als Perfektion• Ein Mensch prüft, bevor irgendetwas ausgelöst wird

Alle reden über mächtigere Agenten.Wenige reden über verantwortbare Architekturen.

Ein System, das du öffnen, auf Fehler prüfen und weiterentwickeln kannst, schlägt die mächtigste Blackbox.

Größe und Leistung sind beeindruckend.Wenn das Ziel ROI heißt, gewinnt Verlässlichkeit.

Worauf würdest du setzen, auf Leistung oder auf Verlässlichkeit?