【Самая большая вычислительная чёрная дыра в GPU-кластерах на десятки тысяч ускорителей: почему 80% расходов на электричество при работе глобальных больших моделей уходит на умножение 0 на 0?】
Шэньчжэньский новичок в сфере ИИ-чипов, компания 墨芯人工智能, только что привлекла почти 1 млрд юаней в раунде C+, собрав почти 2 млрд юаней за два раунда всего за полгода! Компания вскрыла одну из самых скрытых проблем мировой вычислительной инфраструктуры — налог на вычисления с нулевыми значениями (Zero-Value Compute Tax).
В человеческом мозге 86 млрд нейронов, но при каждой мысли активируется лишь 1–2% из них, а энергопотребление составляет всего 20 ватт. Традиционные GPU же созданы на основе архитектуры плотных вычислений, изначально предназначенной для рендеринга 3D-игр: даже если при инференсе большой модели со 100 млрд параметров более 80% весов и значений активации равны 0, традиционному GPU всё равно приходится загружать в регистр и перемножать каждый такой 0 на X, впустую расходуя колоссальную пропускную способность памяти и электроэнергию!
Компания 墨芯 разработала собственную архитектуру Antoum и первой внедрила алгоритм двойной разреженности (разреженность статических весов + разреженность динамических активаций). Он позволяет пропускать бесполезные операции с нулевыми значениями прямо на уровне кремниевого кристалла. Поддерживается разреженность до 32 раз, а при энергопотреблении всего 300 ватт производительность достигает эквивалента 3774 TOPS.
Это важный поворотный момент и для Web3, и для децентрализованных вычислительных сетей DePIN: в эпоху, когда ИИ-агенты круглосуточно и с высокой частотой самостоятельно взаимодействуют в блокчейне, победит уже не тот, у кого видеокарты дороже, а тот, кто благодаря разреженным вычислениям сократит стоимость одного инференса токена на порядок! Как вы думаете, способны ли архитектурные инновации разрушить монополию на вычислительные мощности?
#BTC #Crypto #AI #Web3
Шэньчжэньский новичок в сфере ИИ-чипов, компания 墨芯人工智能, только что привлекла почти 1 млрд юаней в раунде C+, собрав почти 2 млрд юаней за два раунда всего за полгода! Компания вскрыла одну из самых скрытых проблем мировой вычислительной инфраструктуры — налог на вычисления с нулевыми значениями (Zero-Value Compute Tax).
В человеческом мозге 86 млрд нейронов, но при каждой мысли активируется лишь 1–2% из них, а энергопотребление составляет всего 20 ватт. Традиционные GPU же созданы на основе архитектуры плотных вычислений, изначально предназначенной для рендеринга 3D-игр: даже если при инференсе большой модели со 100 млрд параметров более 80% весов и значений активации равны 0, традиционному GPU всё равно приходится загружать в регистр и перемножать каждый такой 0 на X, впустую расходуя колоссальную пропускную способность памяти и электроэнергию!
Компания 墨芯 разработала собственную архитектуру Antoum и первой внедрила алгоритм двойной разреженности (разреженность статических весов + разреженность динамических активаций). Он позволяет пропускать бесполезные операции с нулевыми значениями прямо на уровне кремниевого кристалла. Поддерживается разреженность до 32 раз, а при энергопотреблении всего 300 ватт производительность достигает эквивалента 3774 TOPS.
Это важный поворотный момент и для Web3, и для децентрализованных вычислительных сетей DePIN: в эпоху, когда ИИ-агенты круглосуточно и с высокой частотой самостоятельно взаимодействуют в блокчейне, победит уже не тот, у кого видеокарты дороже, а тот, кто благодаря разреженным вычислениям сократит стоимость одного инференса токена на порядок! Как вы думаете, способны ли архитектурные инновации разрушить монополию на вычислительные мощности?
#BTC #Crypto #AI #Web3
