Стартап Groq, разрабатывающий ИИ-чипы и приобретённый NVIDIA, как сообщается, планирует пересмотреть конструкцию памяти своих чипов. 20 октября южнокорейский ZDNet сообщил, что Groq оценивает возможность внедрения технологии 3D-упаковки в чипы следующего поколения и замены SRAM, лежащей в основе нынешней конструкции, на DRAM. Цель — значительно увеличить объём памяти на одном чипе.

Groq меняет конструкцию чипов следующего поколения! Планируется заменить SRAM на DRAM

ZDNet со ссылкой на двух анонимных представителей полупроводниковой отрасли сообщает, что Groq рассматривает возможность применения технологии 3D-упаковки в чипах следующего поколения, заменив SRAM в нынешней конструкции на DRAM. По словам одного из представителей отрасли, Groq планирует использовать в новых чипах 3D-упаковку с многослойной DRAM вместо SRAM.

3D-упаковка — это вертикальное размещение нескольких полупроводниковых кристаллов (Die), благодаря чему они работают как единый чип. Как сообщается, по сравнению с традиционной плоской 2D-компоновкой такой подход позволяет уменьшить площадь и потенциально повысить энергоэффективность.

Компания Groq была основана в 2016 году Джонатаном Россом, одним из разработчиков TPU Google, а в прошлом году её приобрела Nvidia. Ранее появлялись сообщения о том, что продукт компании «Groq 3 LPX» уже запущен в массовое производство. Это указывает на то, что линейка продуктов Groq продолжает развиваться в составе Nvidia.

Что такое 3DS? Отличие от HBM — в ёмкости

Как сообщается, Groq использует технологию 3DS (3D Stacked Memory): кристаллы DRAM вертикально соединяются с помощью сквозных кремниевых переходов (TSV), образуя корпус с высокой ёмкостью. Как и память с высокой пропускной способностью (HBM), 3DS использует TSV, но цели у этих технологий разные. HBM ориентирована на скорость передачи данных, тогда как 3DS сохраняет существующий интерфейс DRAM и делает упор на увеличение ёмкости.

Технологии многослойной компоновки памяти развивает не только Groq. Ранее Chain News сообщало, что SK hynix приступила к коммерциализации технологии 3D-стекирования DRAM-on-Logic. Она предполагает непосредственное размещение DRAM поверх логического кристалла. За счёт сокращения физического расстояния и увеличения числа каналов передачи данных технология призвана преодолеть ограничения корпусирования PoP по пропускной способности и энергопотреблению. Основная целевая сфера — искусственный интеллект на мобильных устройствах.

Различие между ними — в архитектуре. Известно лишь, что Groq 3DS использует стекированную DRAM для увеличения ёмкости, однако не уточняется, располагается ли DRAM поверх вычислительного кристалла.

(Станет ли 3D-стекирование DRAM ключом к внедрению ИИ на устройствах? По сообщениям, SK hynix объединит усилия с Apple, чтобы выйти на рынок памяти следующего поколения)

Почему именно DRAM? Компромисс в пользу ёмкости отвечает потребностям ИИ-инференса

ZDNet отмечает, что прежние решения Groq строились на SRAM: она отличается высокой скоростью, но небольшой ёмкостью. DRAM относительно медленнее, зато лучше подходит для создания памяти большой ёмкости. По оценке издания, этим шагом Groq стремится преодолеть ограничения по ёмкости, присущие прежним разработкам. Другой представитель отрасли считает, что весь рынок движется в сторону более крупных чипов, поэтому Groq выбрала DRAM, которая даёт преимущество по ёмкости.

Если рассматривать это решение с точки зрения ИИ-инференса, такой компромисс вполне логичен. Число параметров LLM и длина контекста постоянно растут, а вместе с ними увеличивается и необходимый объём памяти. Использование одной лишь SRAM может стать ограничением.

Однако преимущества SRAM — скорость и низкая задержка, и пока неизвестно, удастся ли сохранить эти характеристики после перехода на DRAM. Чтобы оценить достоверность такого изменения в дизайне и его реальные последствия, нужно дождаться разъяснений от Groq или Nvidia.

(Перестройка иерархии памяти в эпоху ИИ-инференса: чем отличаются HBF, SSD POD и SRAM?)

Статья «Nvidia выходит на рынок памяти следующего поколения! По сообщениям, Groq внедрит 3D-стековую DRAM в ответ на потребности ИИ-инференса» впервые опубликована в Chain News ABMedia.