На arXiv опубликована препринтная статья, авторы которой предлагают API-TAIL — метод для выявления случаев, когда часть запросов незаметно перенаправляют на более дешёвые модели. Проблема в том, что коммерческие API языковых моделей возвращают только текст, поэтому поставщик теоретически может одновременно брать плату по тарифу исходной модели и направлять часть запросов более дешёвым аналогам. Выявить это сложно: добросовестные поставщики тоже меняют температуру, ограничивают выборку, добавляют штрафы за повторы и присутствие, меняют системные подсказки по умолчанию — и всё это сдвигает распределение ответов. Поэтому при аудите нужно учитывать набор допустимых конфигураций, а не единственный эталон. API-TAIL предлагает выравнивать эффективную температуру для всей выборки, центрировать нормированную неожиданность, а затем проверять, превышает ли число оставшихся ответов из хвоста порог, откалиброванный на допустимых конфигурациях. Авторы утверждают, что метод позволяет контролировать число ложных срабатываний на реальных коммерческих API и обнаруживать подмену даже при небольшой доле запросов и ограниченном бюджете на запросы. По результатам он превосходит методы аудита на основе рангов и MMD. Это препринт, рецензирование не проводилось.

$BTC