Основные выводы:
Трудно игнорировать растущее увлечение искусственным интеллектом (ИИ) и волнение по поводу его потенциального взаимодействия с Web3. Тем не менее, текущая реальность этой зарождающейся интеграции показывает разрыв между потребностями инфраструктуры ИИ и существующими структурами блокчейна.
В этой серии мы будем изучать взаимосвязь между искусственным интеллектом и Web3, проблемы, возможности и вертикальные приложения в Web3.
Эта первая часть серии посвящена разработкам инфраструктуры Web3 для искусственного интеллекта, текущим проблемам вычислительных требований и областям возможностей.
Искусственный интеллект (ИИ) и технология блокчейна — две наиболее инновационные технологии, захватившие воображение общественности за последнее десятилетие. Развитие искусственного интеллекта в Web2 не подлежит сомнению, о чем свидетельствует рост числа инвестиций, сделанных в этом году венчурными капиталистами. От раунда финансирования Inflection AI на сумму 1,3 миллиарда долларов в июне 2023 года с инвестициями Microsoft и Nvidia до конкурента OpenAI, Anthropic, привлекшего 1,25 миллиарда долларов от Amazon в сентябре 2023 года.
Однако вариант использования и пересечение Web3 по-прежнему вызывают скепсис. Играет ли Web3 роль в развитии ИИ? Если да, то как и зачем нам нужен блокчейн в ИИ? Одна из версий, которую мы наблюдаем, заключается в том, что Web3 может революционизировать продуктивные отношения, в то время как искусственный интеллект способен изменить производительность саму по себе. Однако объединение этих технологий оказывается сложной задачей, открывающей проблемы и возможности для удовлетворения инфраструктурных требований.
Инфраструктура искусственного интеллекта и кризис графических процессоров
Основным узким местом, которое мы сейчас наблюдаем в сфере искусственного интеллекта, является проблема с графическим процессором. Большие языковые модели (LLM), такие как GPT-3.5 от OpenAI, открыли первое потрясающее приложение, которое мы видим сегодня, ChatGPT. Это самое быстрое приложение, достигшее 100 млн MAU за 6 недель, по сравнению с YouTube и Facebook, на которые ушло 4 года. Это открыло поток новых приложений, использующих модели LLM, например, Midjourney, построенный на StableLM от Stable Diffusion, и PaLM2, лежащий в основе Bard от Google, API, MakerSuite и Workspaces.
Глубокое обучение — это длительный и трудоемкий процесс в огромных масштабах: чем больше параметров имеет LLM, тем больше памяти графического процессора требуется для его работы. Каждый параметр модели хранится в памяти графического процессора, и модель должна загрузить эти параметры в память во время вывода. Если размер модели превышает доступную память графического процессора, это момент, когда размер модели превышает доступную память графического процессора, и модель ML перестает работать. Ведущие игроки, такие как OpenAI, также испытывают нехватку графических процессоров, что приводит к трудностям при развертывании мультимодальных моделей с моделями большей длины последовательности (8 КБ против 32 КБ). В условиях значительной нехватки микросхем крупномасштабные приложения достигли порога возможностей LLM, в результате чего стартапы в области ИИ конкурируют за мощность графических процессоров, чтобы получить преимущество первопроходца.
Решения для графических процессоров: централизованные и децентрализованные подходы
Ожидается, что в ближайшем будущем централизованные решения, такие как выпуск Nvidia tensorRT-LLM в августе 2023 года, предлагающий оптимизированный вывод и повышенную производительность, а также ожидаемый запуск Nvidia H200 во втором квартале 2024 года, как ожидается, позволят устранить ограничения графического процессора. Кроме того, традиционные горнодобывающие компании, такие как CoreWeave и Lambda Labs, ориентируются на предоставление облачных вычислений с ориентацией на графические процессоры на основе арендной платы в размере 2–2,25 долларов США в час для Nvidia H100. Горнодобывающие компании используют ASIC (интегральную схему специального назначения), поскольку они обеспечивают значительные преимущества перед компьютерами общего назначения или графическими процессорами для повышения эффективности майнинга за счет разработки конкретного алгоритма и специализированной аппаратной архитектуры для увеличения хеш-мощности.
Что касается Web3, то идея рынка графических процессоров по типу Airbnb была популярной концепцией, и есть несколько проектов, пытающихся реализовать это. Стимулы в блокчейне идеально подходят для начальной загрузки сетей и являются эффективным механизмом децентрализованного привлечения участников или организаций с простаивающими графическими процессорами. Обычно получение доступа к графическим процессорам предполагает подписание долгосрочных контрактов с поставщиками облачных услуг, и приложения не обязательно могут использовать графические процессоры в течение всего срока действия контракта.
Другой подход, называемый Petals, предполагает разделение модели LLM на несколько слоев, которые размещаются на разных серверах, аналогично концепции сегментирования. Он был разработан в рамках сотрудничества BigScience инженерами и исследователями из Hugging Face, Вашингтонского университета и Яндекса. Любой пользователь может децентрализованно подключиться к сети в качестве клиента и применить модель к своим данным.
Возможности для приложений инфраструктуры AI X Web3
Несмотря на наличие некоторых недостатков, инфраструктура Web3 обладает потенциалом для решения проблем, связанных с интеграцией ИИ, и открывает возможности для инновационных решений, как мы рассмотрим ниже.
Децентрализованные вычислительные сети искусственного интеллекта
Децентрализованные вычислительные сети связывают людей, нуждающихся в вычислительных ресурсах, с системами, обладающими неиспользуемыми вычислительными возможностями. Эта модель, в которой отдельные лица и организации могут вносить в сеть свои простаивающие ресурсы, не неся дополнительных расходов, позволяет сети обеспечивать более экономичные цены по сравнению с централизованными поставщиками.
Существуют возможности децентрализованного рендеринга на графическом процессоре, чему способствуют одноранговые сети на основе блокчейна, для масштабирования создания 3D-контента на основе искусственного интеллекта в играх Web3. Однако существенным недостатком децентрализованных вычислительных сетей является потенциальное замедление процесса обучения машинному обучению из-за накладных расходов на связь между различными вычислительными устройствами.
Децентрализованные данные ИИ
Данные обучения служат исходным набором данных, используемым для обучения приложений машинного обучения распознаванию закономерностей или соблюдению определенных критериев. С другой стороны, данные тестирования или проверки используются для оценки точности модели, и для проверки необходим отдельный набор данных, поскольку модель уже знакома с данными обучения.
Продолжаются усилия по созданию рынков для источников данных ИИ и маркировки данных ИИ, где блокчейн служит стимулом для крупных компаний и учреждений для повышения эффективности. Однако на нынешней ранней стадии развития эти вертикали сталкиваются с такими препятствиями, как необходимость человеческого анализа и опасения, связанные с данными с поддержкой блокчейна.
Например, существуют вычислительные сети SP, специально разработанные для обучения моделей ML. Вычислительные сети SP адаптированы к конкретным сценариям использования и обычно используют архитектуру, объединяющую вычислительные ресурсы в единый пул, напоминающий суперкомпьютер. Вычислительные сети SP определяют стоимость с помощью газового механизма или параметра, контролируемого сообществом.
Децентрализованные подсказки
Хотя полная децентрализация LLM представляет собой проблему, проекты изучают способы децентрализации подсказок, поощряя вклад методов самообучения. Такой подход стимулирует создателей создавать контент, обеспечивая структуры экономического стимулирования для большего числа участников ландшафта.
Ранние примеры включают платформы чат-ботов на базе искусственного интеллекта, которые имеют токенизированные стимулы для создателей контента и создателей моделей искусственного интеллекта для обучения чат-ботов, которые впоследствии могут стать торгуемыми NFT, предоставляя доступ к данным, разрешенным пользователем, для обучения и точной настройки модели. С другой стороны, децентрализованные рынки подсказок направлены на стимулирование создателей подсказок, позволяя владеть их данными и подсказками для торговли на рынке.
Машинное обучение с нулевым разглашением (ZKML)
2023 год действительно стал годом, когда LLM продемонстрировали свою силу. Чтобы блокчейн-проекты могли реализовать весь потенциал искусственного интеллекта, важно, чтобы эти модели запускались в цепочке. Однако проблемы ограничения газа и вычислительных затрат по-прежнему представляют сложности для интеграции ИИ.
Что, если LLM можно будет запускать вне цепочки, а их выходные результаты использовать для принятия решений и действий в цепочке, при этом генерируя доказательства того, что эти решения принимаются моделью ML AI, а не случайными выходными данными? По сути, это и есть ZKML. С предстоящим запуском GPT-5 от OpenAI и Llama3 от Meta LLM становятся все крупнее и обладают расширенными возможностями. Основная цель ZKML — минимизировать размер доказательств, что делает его естественным для объединения ZK-доказательств с технологией искусственного интеллекта. Например, ZK-доказательства могут применяться для сжатия моделей при децентрализованном выводе или обучении машинного обучения, посредством чего пользователи вносят свой вклад в обучение, отправляя данные в общедоступную модель в сети on-chain.
В настоящее время мы находимся на зарождающейся стадии того, что вычислительно практично проверять с использованием доказательств с нулевым разглашением в цепочке. Однако достижения в области алгоритмов расширяют рамки того, чего можно достичь с помощью изучаемых вариантов использования, таких как целостность модели, в результате чего ZK-доказательства могут использоваться для доказательства того, что один и тот же алгоритм ML запускается на данных разных пользователей одинаково. избегать предубеждений. Аналогичным образом, с появлением алгоритмически генерируемых портретов и дипфейков, ZK-доказательства могут применяться в Доказательстве личности для проверки уникального человека без ущерба для личной информации человека.
В заключение отметим, что интеграция инфраструктуры Web3 и искусственного интеллекта представляет собой захватывающий рубеж технологических инноваций, одновременно увеличивая вклад за счет токенизированных стимулов. Несмотря на то, что в Web2 произошел значительный прогресс в области искусственного интеллекта, пересечение Web3 и искусственного интеллекта все еще остается предметом исследования.
По мере нашего продвижения вперед синергия между Web3 и ИИ несет в себе огромный потенциал, обещающий изменить ландшафт технологий и наш подход к инфраструктуре ИИ. Оставайтесь с нами, чтобы увидеть следующую часть серии статей об AI X Web3, в которой мы углубимся в варианты использования искусственного интеллекта в играх Web3.
Отказ от ответственности: Содержание этой статьи было подготовлено исключительно в информационных целях и не должно служить основой для принятия инвестиционных решений или рассматриваться как рекомендация к участию в инвестиционных сделках или предлагать инвестиционную стратегию в отношении каких-либо финансовых инструментов или их эмитенты.
