Эта статья на arXiv посвящена одной конкретной проблеме в ответах на вопросы по длинному контексту: In-Place TTT записывает все текстовые блоки в быстрые параметры с одинаковой интенсивностью, из-за чего нерелевантный контент размывает информацию, связанную с вопросом. Авторы утверждают, что на реальных задачах ответов на вопросы по длинным веб-страницам исходное преимущество метода практически исчезает.
Select-TTT не добавляет параметров и не требует разметки: он напрямую считывает сигнал с замороженной выходной головы модели — смотрит, какую вероятность скрытое состояние каждого блока присваивает словам из вопроса, а затем с помощью softmax с температурой пересчитывает её в множитель скорости обучения. Меняется только интенсивность записи, а вычисления с параллельной обработкой блоков остаются прежними. На двух бенчмарках и с двумя базовыми моделями метод стабильно улучшает результаты в ответах на вопросы по длинному контексту.
Это препринт, рецензирования не было; в оригинальном абстракте величина улучшения не указана. Тем, кто работает с RAG на длинном контексте или агентами для длинных задач, стоит присмотреться к этой идее: вопрос определяет, что записывать, вместо того чтобы принимать всё подряд.
$BTC
Select-TTT не добавляет параметров и не требует разметки: он напрямую считывает сигнал с замороженной выходной головы модели — смотрит, какую вероятность скрытое состояние каждого блока присваивает словам из вопроса, а затем с помощью softmax с температурой пересчитывает её в множитель скорости обучения. Меняется только интенсивность записи, а вычисления с параллельной обработкой блоков остаются прежними. На двух бенчмарках и с двумя базовыми моделями метод стабильно улучшает результаты в ответах на вопросы по длинному контексту.
Это препринт, рецензирования не было; в оригинальном абстракте величина улучшения не указана. Тем, кто работает с RAG на длинном контексте или агентами для длинных задач, стоит присмотреться к этой идее: вопрос определяет, что записывать, вместо того чтобы принимать всё подряд.
$BTC
