Команда основателей Anthropic (Дарио и Даниэла Амодеи, Том Браун, Джек Кларк, Джаред Каплан, Сэм Маккэндлиш, Крис Ола) только что рассказала историю своего основания.

Эта команда буквально создала GPT-3 в OpenAI, прежде чем основать собственную компанию. Том Браун был первым автором статьи о GPT-3. Крис Ола стал одним из пионеров исследований интерпретируемости (работа о «цепях», которая теперь лежит в основе этой области). Джаред Каплан стал соавтором статьи о законах масштабирования, предсказавшей, как производительность моделей растёт с увеличением вычислительных ресурсов.

В 2021 году они ушли из OpenAI из-за разногласий по вопросам безопасности и привлекли 124 млн долларов на создание Constitutional AI — по сути, подхода, при котором модели обучаются быть полезными, безвредными и честными с помощью циклов самокритики, а не только RLHF.

В архитектуре Claude используется их подход Constitutional AI: модель оценивает собственные ответы на соответствие набору принципов, а затем обучается на улучшенных вариантах. Поэтому Claude, как правило, реже отказывается отвечать и рассуждает лучше, чем ранние версии ChatGPT.

Их техническая ставка: интерпретируемость + конституциональное обучение >> простое масштабирование. Они пытаются понять, что происходит внутри модели, одновременно повышая её безопасность, а не просто увеличивая её размер.

За этим стоит следить, если вам интересна реальная техническая история развития современных больших языковых моделей и то, как спор о безопасности и возможностях расколол эту область.