Balkendiagramm auf dunklem Grund der mittleren Ende-zu-Ende-Latenz pro Anfrage, hybrider Agent in Grün gegen reinen LLM-Agenten in Rot auf drei Rechnern: 22,91 s gegenüber 87,95 s auf einer CPU mit 32 GB, 1,53 s gegenüber 5,86 s auf einer RTX 4060 Ti und 4,96 s gegenüber 23,94 s auf einer M5-Pro-CPU.

Agentenbasierte KI · 2026

Destillierte Modelle für einen schnelleren, günstigeren hybriden KI-Agenten

Ein hybrider Agent, der 3,8- bis 4,8-mal schneller antwortet als ein reiner Cloud-Agent, zu halben Cloud-Kosten, und die Datenzeilen in der eigenen Infrastruktur behält.

Kurz gesagt

Agenten, die Was-wäre-wenn-Fragen zu tabellarischen Daten beantworten, rufen pro Antwort ein Vorhersagemodell viele Male auf. Ein tabellarisches Foundation Model (TabPFN) braucht auf einer CPU 12,6 s pro Vorhersage, zu langsam für einen mehrstufigen Agenten, und ein Agent, der vollständig auf einem Cloud-LLM läuft, schickt sensible Daten an eine externe API. Die Frage war, wie viel der Arbeit in die eigene Infrastruktur wandern kann, ohne an Antwortqualität zu verlieren.

Rolle
Koautor, mit Sourish Dey (SumUp)
Zeitraum
2026
PythonLangGraphLangSmithOpenAI Function CallingQwen2.5-3B-InstructPyTorchTabPFNWissensdestillation

Balkendiagramm der mittleren Cloud-API-Kosten pro 1.000 Anfragen: 0,0959 US-Dollar für den hybriden Agenten, der einen LLM-Tool-Aufruf macht und die Antwort mit einem lokalen kleinen Modell erzeugt, gegenüber 0,2021 Dollar für den reinen LLM-Agenten, der nur auf dem Cloud-LLM läuft. Ein schemagebundener Cloud-Aufruf pro Anfrage halbiert die Token-Rechnung.

Wie

  • Hybrider Agent: Ein einziger Cloud-LLM-Aufruf (gpt-4o-mini) wählt das Tool und zerlegt die Frage; ein aus TabPFN destilliertes Modell macht die Vorhersage, und ein lokales Qwen2.5-3B-Modell schreibt die Antwort, beides in der eigenen Infrastruktur.
  • Destilliertes Modell: ein MLP mit 17.059 Parametern, das über sechs Datensätze 95 bis 100 % der Genauigkeit von TabPFN behält und fast die gesamte Beschleunigung trägt.

Details und vollständige Ergebnisse im Preprint, arXiv:2609.16091 (Sourish Dey und Aditya Kumar, 2026), nicht begutachtet.