Deep Tide TechFlow-Nachricht: Am 27. Juni stellte der CEO von Coinbase, Brian Armstrong, in einem Beitrag die neuesten Fortschritte des Unternehmens bei der Optimierung der KI-Kosten vor.

Armstrong erklärt, dass mit dem kontinuierlichen Anstieg der KI-Nutzung und des Token-Verbrauchs der Schlüssel zur Kostenkontrolle nicht darin besteht, die Nutzung durch Mitarbeitende einzuschränken oder häufig Budget-Erinnerungen zu versenden, sondern in der Optimierung der Standard-Modellauswahl, der Task-Routing-Mechanismen und der Caching-Strategien.

Er verriet außerdem, dass Coinbase über einen internen LLM-Gateway versucht, offene Gewichtsmodelle wie GLM 5.2 und Kimi 2.7 als Standardoptionen zu nutzen, gleichzeitig jedoch weiterhin erlaubt, dass Ingenieure je nach konkretem Bedarf andere Modelle auswählen. Die Daten zeigen: 91% der Mitarbeitenden erreichen nie die Obergrenze für das KI-Nutzungsbudget. Daher hat Coinbase die Kontingente nicht verschärft, sondern steigert die Effizienz insgesamt durch Lösungen mit niedrigeren Kosten für Modelle.

Beim Modell-Routing führt Coinbase eine Vorverarbeitung der Prompts durch und weist Aufgaben automatisch dem am besten geeigneten Modell zu – basierend auf der Cache-Trefferrate und den Preisen verschiedener Modelle. Armstrong ist der Ansicht, dass für komplexe Aufgaben wie Planung und Schlussfolgern möglicherweise leistungsfähigere Modelle an der Spitze erforderlich sind, während Ausführungsaufgaben nicht unbedingt den Rückgriff auf teurere Modelle erfordern. In Zukunft sollte die Auswahl des Modells stärker von der KI selbst automatisiert werden und weniger auf manuellen Entscheidungen beruhen.

Darüber hinaus nannte er die Cache-Trefferrate als einen der wichtigen Faktoren, die die KI-Kosten beeinflussen. Coinbase hat einen Cache-aware-Mechanismus in den Request-Prozess integriert, um die Wiederverwendungsrate historischer Ergebnisse zu erhöhen. So lag die Cache-Trefferrate bei LibreChat nach der Optimierung des Caching-Konzepts bereits von 5% auf 60%.

Armstrong weist darauf hin, dass das Unternehmen die Ingenieure dazu auffordert, den Kontext so kompakt wie möglich zu halten – unter anderem durch das Starten neuer Sitzungen beim Wechsel von Aufgaben, das Verkleinern des Dateikontextbereichs sowie das Deaktivieren nicht verwendeter Tools. So sollen unnötige Token-Kosten reduziert werden.

Laut seinen Angaben konnte Coinbase durch die oben genannten Maßnahmen die KI-Ausgaben erfolgreich um fast 50% senken, während die Token-Nutzung weiterhin anstieg.