Попался пост от «链捕手» / Tom's Hardware: генеральный директор OpenAI Сэм Альтман в интервью Cheeky Pint высказался о локальном инференсе. С точки зрения распределения ресурсов в глобальном масштабе, говорит он, люди держат дефицитную DRAM в своих компьютерах, где она используется примерно на 5%, — это «совсем ужасно»; когда предложение ограничено, куда разумнее загружать её по максимуму в облачных дата-центрах.
Суть: он возражает против интуитивного представления, что «если запускать открытые модели на персональных компьютерах, потребность в дата-центрах снизится». Сейчас память дорожает, комплектующие для домашних ПК и смартфонов в дефиците, поэтому его слова мгновенно вызвали жаркие споры в сообществе — кто-то считает, что он рекламирует собственный закрытый облачный бизнес. Потребительская память и память ускорителей ИИ — не совсем одно и то же, но они и правда конкурируют за мощности производства кремниевых пластин на ранних этапах цепочки поставок. Интервью вышло 10/29, а китайские СМИ продолжают его пересказывать и сегодня.
Забавно иронично: человек, продающий лопаты, недоволен тем, что у вас дома без дела лежат лопаты.
#AI #OpenAI #DRAM
Суть: он возражает против интуитивного представления, что «если запускать открытые модели на персональных компьютерах, потребность в дата-центрах снизится». Сейчас память дорожает, комплектующие для домашних ПК и смартфонов в дефиците, поэтому его слова мгновенно вызвали жаркие споры в сообществе — кто-то считает, что он рекламирует собственный закрытый облачный бизнес. Потребительская память и память ускорителей ИИ — не совсем одно и то же, но они и правда конкурируют за мощности производства кремниевых пластин на ранних этапах цепочки поставок. Интервью вышло 10/29, а китайские СМИ продолжают его пересказывать и сегодня.
Забавно иронично: человек, продающий лопаты, недоволен тем, что у вас дома без дела лежат лопаты.
#AI #OpenAI #DRAM
