AT&T-Vizepräsident Mark Austin sagte, das Telekommunikationsunternehmen wolle die Ausgaben der Mitarbeitenden für Anthropic- und OpenAI-Modelle über die nächsten Jahre auf dem aktuellen Niveau halten, indem es mehr Open-Source-Großmodelle nutzt, etwa Nvidias Nemotron. Laut Sina Finance ist Austin für die KI-Tools verantwortlich, die bei den 100.000 Mitarbeitenden des Unternehmens eingesetzt werden – von der Code-Erstellung über die Finanzanalyse bis hin zu Tools für Personalwesen und den Kundendienst.

Austin sagte, AT&T habe seine Nutzung von Open-Source-Modellen im vergangenen Jahr ausgeweitet, und 40% der KI-Anfragen der Mitarbeitenden werden mittlerweile von Open-Source-Modellen übernommen. Das Unternehmen plant, diesen Anteil in den nächsten Jahren auf 60% bis 70% zu erhöhen.

Er sagte, Open-Source-Modelle hätten sich „auf Augenhöhe mit, oder sogar besser als“, ältere Modelle von Anthropic und OpenAI bewährt. AT&T nutzt außerdem Modell-Routing-Tools, um Kosten zu senken. Nachdem eine Verbindung zum Routing-Anbieter Lite LLM hergestellt wurde, sank der Preis für einige fortgeschrittene KI-Aufgaben wie die Code-Erstellung um bis zu 56%, während die Qualität der KI-Ausgaben nur um 2% zurückging.

Austin sagte, AT&T habe 2023 sein zentrales internes KI-System Ask AT&T gestartet, das anfangs vollständig auf OpenAI-Modellen beruhte, die über Microsoft-Cloud-Dienste gekauft wurden. Später fügte das Unternehmen dem System weitere Modelle hinzu. Mitarbeitende nutzen es für Aufgaben wie Softwareentwicklung, Prüfungen zu Richtlinien im Personalwesen, Meeting-Notizen, Zusammenfassungen von Kundenanrufen sowie Referenzmaterialien während Gesprächen im Kundendienst.

Austin sagte, Softwareentwickler, die Ask AT&T verwenden, können je nach Ausgabenobergrenzen bestimmte Modelle oder KI-Agenten auswählen, darunter GitHub Copilot, Devin, Claude Code und Codex. Außerdem sagte er, dass Ask AT&T derzeit 45 Milliarden Tokens pro Tag verarbeitet. Austin legte die tatsächlichen Betriebskosten des Systems nicht offen, sagte jedoch, dass es, wenn das gesamte Volumen von geschlossenen Modellen übernommen würde, mindestens mehrere hundert Millionen Dollar pro Jahr kosten würde.

Er fügte hinzu, dass AT&T auch die Llama-Modelle von Meta und die Gemma-Modelle von Google sowie weitere Open-Source- oder Open-Weight-Modelle nutzt. Einige Inferenzaufgaben laufen in den eigenen Rechenzentren des Unternehmens auf Serverchips von Nvidia und AMD, was oft günstiger ist als das Mieten von Cloud-Rechenleistung. Austin sagte, Open-Source-Modelle lägen typischerweise 6 bis 10 Monate hinter führenden, geschlossenen Modellen zurück, aber die Lücke werde kleiner.