GLM-5.2 предоставляет модели с открытым весом реальное окно контекста в 1M-токен. Сложная часть заключается в том, чтобы обслужить это полное окно на оборудовании, которое многие команды уже используют в производстве: Hopper.
Мы квантизировали GLM-5.2-FP8 в W4AFP8 и проверили его на одном узле 8×H200 с SGLang. Контрольная точка сокращает вес памяти с 755 ГБ до 368 ГБ, освобождая 387 ГБ HBM для кэша KV на 1M-токен и времени выполнения.
Почему это важно
GLM-5.2 уже решил модельную сторону длинного контекста: разреженное внимание, IndexShare, MTP спекулятивное декодирование, использование инструментов, логическое мышление и окно в 1,048,576 токенов. Развертывание все еще имеет вторую проблему. Окно в 1M-токен нуждается в месте для весов модели, кэша KV, графиков CUDA, буферов времени выполнения и накладных расходов на обслуживание.
Официальная контрольная точка FP8 - это правильная общая базовая линия обслуживания. На Hopper эта базовая линия оставляет гораздо меньше памяти, когда вы продвигаетесь к полному окну контекста. W4AFP8 меняет бюджет памяти, не меняя семейство моделей, токенизатор, форму API или поведение GLM-5.2.
$PHA Спасибо OpenRouter за упоминание, модель конфиденциальности в настоящее время испытывает нехватку, общий объем поставок составляет около 1T токенов в день.
$PHA Phala является первым в мире L2 на цепочке op-zk, предоставляющим TEE вычисления для всей экосистемы Ethereum. Более подробная информация будет предоставлена скоро.
Нужна помощь биржам для подключения активов цепи Khala к сети Ethereum
苏格
·
--
🔔Сообщество уведомляет: Обновление финансов
Предложение перевести 50 миллионов $PHA из казначейства для содействия переходу от Khala к ERC20 $PHA токенам.
1 ⃣ Эти средства обеспечат безопасность и эффективность процесса конверсии токенов. 2 ⃣ Они будут использоваться только для перемещения токенов между сетями/биржами, а не для торговли. 3 ⃣ Все транзакции будут записаны в блокчейн для полной прозрачности. 4 ⃣ После завершения этого процесса неиспользованные средства будут возвращены в казначейство.
📜Подробности можно найти здесь khala.subsquare.io
Управление этим процессом будет сосредоточено на безопасности и прозрачности.
Предложение перевести 50 миллионов $PHA из казначейства для содействия переходу от Khala к ERC20 $PHA токенам.
1 ⃣ Эти средства обеспечат безопасность и эффективность процесса конверсии токенов. 2 ⃣ Они будут использоваться только для перемещения токенов между сетями/биржами, а не для торговли. 3 ⃣ Все транзакции будут записаны в блокчейн для полной прозрачности. 4 ⃣ После завершения этого процесса неиспользованные средства будут возвращены в казначейство.
📜Подробности можно найти здесь khala.subsquare.io
Управление этим процессом будет сосредоточено на безопасности и прозрачности.
$PHA Phala TEE Cloud активно используется в AI-проектах, сотрудничество развивается быстро. Phala скоро выпустит #以太坊 L2, что расширит сотрудничество на более широкие каналы.
12 дней назад я опубликовал свой пост о Phala Network и почему вы, вероятно, упускаете эту жемчужину. С тех пор $PHA вырос более чем на 300%.
Но это только начало. Сегодня $NEAR соучредитель объявил о партнерстве с Phala Network. Near находится с рыночной капитализацией 6 миллиардов долларов США. Phala имеет капитализацию 350 миллионов.
$PHA скоро будет запущен в сети Ethereum Phala L2, услуги TEE будут расширены с Solana на Ethereum. Кроме того, Nethermind тесно сотрудничает с Phala и ожидает более ярких результатов от облачных услуг Phala 2.0. #AI агент #TEE
$PHA Kira успешно развернута на TEE от @PhalaNetwork. Эта интеграция является важным шагом для нас, так как она превращает Kira в проверяемый автономный AI агент. Что это значит? Kira теперь полностью прозрачно функционирует, без какого-либо человеческого вмешательства, что обеспечивает надежность и доверие ее действиям. Развертывание в рамках TEE предоставляет криптографическое доказательство для независимой работы Kira, устанавливая новые стандарты для автономности AI.
$PHA Сегодня резкий рост PHA, я думаю, это связано с недавним запуском экспериментального продукта Spore.fun, который является первым экспериментом по самостоятельному ИИ размножению и эволюции. Он сочетает в себе фреймворк Eliza, Solana pump.fun и проверяемые вычисления TEE, создавая экосистему, в которой ИИ-агенты не только могут выживать, но и размножаться и адаптироваться, полностью независимо от человеческого вмешательства. В настоящее время инкубируется третье поколение автономного ИИ, рыночная капитализация $SPORE уже превысила 13 миллионов, а $ADAM и $EVE также преодолели 1 миллион, интересные события продолжаются, как вы думаете, может ли это стать следующей горячей темой?
$PHA PHALA Итоговый отчет за 2024 год был опубликован, в этом году команда сделала много инновационных и значимых вещей https://phala.network/posts/phala-network-2024-year-in-review