đ KI-Tipp: Antworten nicht sofort nötig? Mit der Batch API zahlst du nur den halben Preis
Du klassifizierst 10.000 Support-Tickets oder fĂŒhrst Evals aus? Wenn niemand auf die Antwort wartet, erhĂ€ltst du mit der Batch API von OpenAI 50 % Rabatt, ein separates, deutlich gröĂeres Rate-Limit-Kontingent und Ergebnisse innerhalb von 24 Stunden (oft sogar frĂŒher).
Beispiel: Schreibe jede Anfrage in eine eigene Zeile einer .jsonl-Datei und versehe sie jeweils mit einer eindeutigen custom_id. Lade die Datei hoch, erstelle einen Batch fĂŒr /v1/responses, lade anschlieĂend die Ausgabedatei herunter und ordne die Ergebnisse anhand der custom_id wieder zu.
Gut zu wissen:
1. Bis zu 50.000 Anfragen oder 200 MB pro Batch, ein Modell pro Datei.
2. Batch-Anfragen belasten deine normalen Rate-Limits pro Modell nicht.
3. LĂ€uft ein Batch ab, werden abgeschlossene Anfragen trotzdem zurĂŒckgegeben und abgerechnet; die ĂŒbrigen landen in einer Fehlerdatei.
â NĂ€chtliche Jobs, Evals und Massen-Tagging kosten nur halb so viel â ohne QualitĂ€tseinbuĂen.
#KI
Du klassifizierst 10.000 Support-Tickets oder fĂŒhrst Evals aus? Wenn niemand auf die Antwort wartet, erhĂ€ltst du mit der Batch API von OpenAI 50 % Rabatt, ein separates, deutlich gröĂeres Rate-Limit-Kontingent und Ergebnisse innerhalb von 24 Stunden (oft sogar frĂŒher).
Beispiel: Schreibe jede Anfrage in eine eigene Zeile einer .jsonl-Datei und versehe sie jeweils mit einer eindeutigen custom_id. Lade die Datei hoch, erstelle einen Batch fĂŒr /v1/responses, lade anschlieĂend die Ausgabedatei herunter und ordne die Ergebnisse anhand der custom_id wieder zu.
Gut zu wissen:
1. Bis zu 50.000 Anfragen oder 200 MB pro Batch, ein Modell pro Datei.
2. Batch-Anfragen belasten deine normalen Rate-Limits pro Modell nicht.
3. LĂ€uft ein Batch ab, werden abgeschlossene Anfragen trotzdem zurĂŒckgegeben und abgerechnet; die ĂŒbrigen landen in einer Fehlerdatei.
â NĂ€chtliche Jobs, Evals und Massen-Tagging kosten nur halb so viel â ohne QualitĂ€tseinbuĂen.
#KI