Se publicó un preprint en arXiv en el que los autores proponen API-TAIL, una herramienta diseñada para detectar casos en que algunas solicitudes se desvían silenciosamente hacia modelos más baratos. El contexto es que las API comerciales de modelos de lenguaje solo devuelven texto, por lo que, en teoría, los proveedores podrían enrutar algunas solicitudes a alternativas más económicas y cobrar al mismo tiempo la tarifa del modelo original. Detectarlo es difícil porque los proveedores legítimos también ajustan la temperatura, truncan el muestreo, añaden penalizaciones por repetición y presencia, y modifican las instrucciones de sistema predeterminadas; por tanto, la distribución de las respuestas ya presenta variaciones. Así que la auditoría debe contemplar un conjunto de configuraciones legítimas, no una única referencia. La idea de API-TAIL consiste en ajustar una temperatura efectiva para todo el lote, centrar la sorpresa normalizada y, después, comprobar si la cantidad de respuestas restantes en la cola supera un umbral calibrado con configuraciones legítimas. Los autores afirman que el método controla los falsos positivos en API comerciales reales y que, incluso con un presupuesto reducido de consultas, detecta sustituciones de baja proporción. Su rendimiento supera al de las auditorías basadas en rangos y MMD. Es un preprint; aún no ha pasado por revisión por pares.

$BTC