Саймон Уиллисон заявил, что бесплатная ИИ-модель Qwen 3.8 27B, запущенная на его ноутбуке, примерно после 45 минут настройки интерпретировала необработанные веса другой модели, снизив порог для независимой проверки.
Главные выводы
Саймон Уиллисон заявил, что Qwen 3.8 27B, запущенная на его ноутбуке, смогла интерпретировать необработанные веса модели
Примерно после 45 минут настройки Уиллисон локально воспроизвёл одну из идей статьи
В статье говорится, что GPT-6 Astra изменила 0,016% весов Qwen3.5-0.8B и повысила результат на MATH-500 с 7,9% до 48,1%
Эксперимент Уиллисона на ноутбуке расширил круг исследователей, снизив порог для воспроизведения результатов и независимой проверки
Уиллиссон опубликовал результат, а затем написал, что воспроизвёл одну из идей статьи локально, потратив около 45 минут на настройку. Уиллиссон — независимый разработчик и исследователь, чьи эксперименты часто служат ранней проверкой на практике заявлений о новых моделях.
Чтение исходных весов выходит за рамки лабораторных демонстраций
В оригинальной статье утверждалось, что большие языковые модели могут напрямую анализировать и даже изменять веса нейросетей. Уиллиссон заявил, что Qwen смогла выполнить интерпретацию на потребительском оборудовании.
Это важно, поскольку программирование в пространстве весов становится убедительнее, когда сторонний разработчик воспроизводит его часть без доступа к огромной внутренней лабораторной инфраструктуре.
Уиллиссон выделил фрагмент статьи, где говорилось, что GPT-6 Astra может определить, для чего обучали нейросеть, просто прочитав исходные веса. Он также указал на более смелое утверждение: Astra изменила 0,016% весов Qwen3.5-0.8B, подняв результат на MATH-500 с 7,9% до 48,1%.
Читайте также: Саймон Уиллиссон предупреждает об изменении переписи населения, которое может исказить тенденции в сфере ИИ
Результат ограниченный, но его значение велико
Тест Уиллиссона не доказывает все более масштабные утверждения статьи. Он показывает, что Qwen 3.8 27B может участвовать в программировании в пространстве весов, читая параметры модели как текстоподобную структуру.
Веса нейросети — это миллиарды числовых значений, полученных в ходе обучения. Обычно их считают непрозрачной внутренней частью модели, которую люди напрямую не редактируют, если не считать изменений через код обучения.
Если модели могут рассуждать о весах через интерфейсы на обычном языке, это меняет подход разработчиков к отладке, аудиту и исправлению систем. Эта идея противоречит прежним представлениям об инструментах для ИИ.
Улучшение большинства моделей по-прежнему зависит от повторного обучения, дообучения или циклов обучения с подкреплением. Статья «Чтение исходных весов» предлагает иной путь: одна модель диагностирует внутреннее устройство другой и предлагает точечные изменения вместо полного переобучения.
От разработки промптов к хирургическому вмешательству в модели
Последние два года разработчики осваивали разработку промптов, работу с инструментами и ИИ-агентов.
Программирование в пространстве весов углубляется на один уровень: от управления выходными данными — к переписыванию механизма, который их создаёт. При этом наиболее убедительные результаты статьи всё ещё получены в контролируемых условиях, а риски для безопасности очевидны.
Система, способная редактировать веса без традиционных циклов обучения, может исправлять ошибки, но также может их скрывать.
Эксперимент Уиллиссона на ноутбуке расширяет возможности для исследований, снижая порог входа для воспроизведения и проверки результатов. Если открытая модель вроде Qwen может читать веса на ноутбуке, больше независимых исследователей смогут проверить, работает ли этот метод на разных архитектурах и более реалистичных задачах.
Чтение исходных весов становится практической исследовательской задачей, а не чисто теоретическим утверждением.
Чтение исходных весов: что дальше
Для разработчиков открытых моделей важна именно Qwen, поскольку с ней проверка этой идеи обходится дешевле. Результат с GPT-6 Astra, доступный только лаборатории, представлял бы интерес, но воспроизводимый результат на Qwen позволяет провести независимую проверку.
Теперь важно следить за тем, удастся ли воспроизвести результат. Другие исследователи проверят, может ли программирование в пространстве весов надёжно улучшать реальные модели или самые впечатляющие результаты останутся лишь в тщательно подобранных демонстрациях.
Читайте далее: электростанция Drax может превратиться в крупный центр обработки данных для ИИ стоимостью 20 млрд фунтов