Principales conclusiones:
Es difícil ignorar la creciente fascinación por la inteligencia artificial (IA) y el entusiasmo por su potencial sinergia con Web3. Sin embargo, la realidad actual de esta incipiente integración revela una desconexión entre las necesidades de infraestructura de la IA y los marcos de blockchain existentes.
En esta serie, exploraremos la relación entre la IA y la Web3, los desafíos, las oportunidades y las aplicaciones verticales de la Web3.
Esta primera parte de la serie profundiza en los desarrollos de la infraestructura Web3 para IA, los desafíos actuales de los requisitos computacionales y las áreas de oportunidad.
La Inteligencia Artificial (IA) y la tecnología blockchain son dos de las tecnologías más innovadoras que han capturado la imaginación del público en la última década. Los avances de la IA en Web2 han sido incuestionables, como se ve con el creciente número de inversiones realizadas este año por los capitalistas de riesgo. Desde la ronda de financiación de Inflection AI de 1.300 millones de dólares en junio de 2023 con inversiones de Microsoft y Nvidia, hasta el competidor de OpenAI, Anthropic, que recaudó 1.250 millones de dólares de Amazon en septiembre de 2023.
Sin embargo, el caso de uso y la intersección de Web3 aún son escépticos. ¿Web3 juega un papel en el desarrollo de la IA? Si es así, ¿cómo y por qué necesitamos blockchain en la IA? Una narrativa que estamos viendo es que la Web3 tiene el potencial de revolucionar las relaciones productivas, mientras que la IA tiene el poder de transformar la productividad misma. Sin embargo, reunir estas tecnologías está resultando complejo y revela desafíos y oportunidades para los requisitos de infraestructura.
Infraestructura de IA y crisis de GPU
El principal cuello de botella que vemos actualmente en la IA es la crisis de la GPU. Los modelos de lenguajes grandes (LLM), como GPT-3.5 de OpenAI, han desbloqueado la primera aplicación excelente que vemos hoy, ChatGPT. Es la aplicación más rápida en alcanzar 100 millones de MAU en 6 semanas en comparación con YouTube y Facebook, que tardaron 4 años. Esto ha abierto las compuertas de nuevas aplicaciones que aprovechan los modelos LLM, siendo algunos ejemplos Midjourney creado sobre StableLM de Stable Diffusion y PaLM2 que impulsa Bard, API, MakerSuite y Workspaces de Google.
El aprendizaje profundo es un proceso largo y computacionalmente intensivo a gran escala: cuantos más parámetros tienen los LLM, más memoria GPU se requiere para funcionar. Cada parámetro del modelo se almacena en la memoria de la GPU y el modelo necesita cargar estos parámetros en la memoria durante la inferencia. Si el tamaño del modelo supera la memoria de GPU disponible, es el punto en el que el tamaño del modelo supera la memoria de GPU disponible y el modelo ML deja de funcionar. Jugadores líderes como OpenAI también están experimentando escasez de GPU, lo que genera dificultades para implementar sus modelos multimodales con modelos de secuencia más larga (8k versus 32k). Con una importante escasez de suministro de chips, las aplicaciones a gran escala han alcanzado el umbral de lo que es posible con los LLM, lo que deja a las nuevas empresas de IA compitiendo por la potencia de la GPU para obtener la ventaja de ser las primeras en actuar.
Soluciones GPU: enfoques centralizados y descentralizados
A corto plazo, se espera que las soluciones centralizadas como el lanzamiento de Nvidia en agosto de 2023 de su tensorRT-LLM, que ofrece inferencia optimizada y mayor rendimiento, y la anticipación del lanzamiento de Nvidia H200 en el segundo trimestre de 2024 resuelvan las limitaciones de la GPU. Además, las empresas mineras tradicionales como CoreWeave y Lambda Labs están girando hacia el suministro de computación en la nube centrada en GPU basada en tarifas de alquiler que oscilan entre $ 2 y $ 2,25 por hora para las Nvidia H100. Las empresas mineras utilizan ASIC (circuito integrado de aplicación específica), ya que brindan ventajas significativas sobre las computadoras de uso general o las GPU para la eficiencia de la minería a través de un diseño de algoritmo específico y arquitecturas de hardware especializadas para una mayor potencia de hash.
En el lado de Web3, la idea de un mercado tipo Airbnb para GPU ha sido un concepto popular y hay un par de proyectos que intentan hacerlo. Los incentivos en blockchain son ideales para iniciar redes y es un mecanismo eficaz para atraer participantes o entidades con GPU inactivas de forma descentralizada. Por lo general, obtener acceso a las GPU implica firmar contratos a largo plazo con proveedores de nube y es posible que las aplicaciones no necesariamente utilicen las GPU durante el período del contrato.
Otro enfoque llamado Petals implica dividir un modelo LLM en varias capas alojadas en diferentes servidores, similar al concepto de fragmentación. Fue desarrollado como parte de la colaboración de BigScience por ingenieros e investigadores de Hugging Face, la Universidad de Washington y Yandex, por nombrar algunos. Cualquier usuario puede conectarse a la red de forma descentralizada como cliente y aplicar el modelo a sus datos.
Oportunidades para aplicaciones de infraestructura AI X Web3
Si bien todavía existen algunos inconvenientes, la infraestructura Web3 tiene el potencial de abordar los desafíos que plantea la integración de la IA y presenta oportunidades para soluciones innovadoras, como exploraremos a continuación.
Redes informáticas de IA descentralizadas
Las redes informáticas descentralizadas vinculan a personas que necesitan recursos informáticos con sistemas que poseen capacidades computacionales no utilizadas. Este modelo, en el que los individuos y las organizaciones pueden contribuir con sus recursos inactivos a la red sin incurrir en gastos adicionales, permite a la red ofrecer precios más rentables en comparación con los proveedores centralizados.
Existen posibilidades en la representación descentralizada de GPU facilitada por redes peer-to-peer basadas en blockchain para escalar la creación de contenido 3D impulsada por IA en juegos Web3. Sin embargo, un inconveniente importante de las redes informáticas descentralizadas radica en la posible desaceleración durante el entrenamiento de aprendizaje automático debido a la sobrecarga de comunicación entre diversos dispositivos informáticos.
Datos de IA descentralizados
Los datos de entrenamiento sirven como conjunto de datos inicial que se utiliza para enseñar a las aplicaciones de aprendizaje automático a reconocer patrones o cumplir con criterios específicos. Por otro lado, se emplean datos de prueba o validación para evaluar la precisión del modelo, y es necesario un conjunto de datos separado para la validación, ya que el modelo ya está familiarizado con los datos de entrenamiento.
Se están realizando esfuerzos para crear mercados para fuentes de datos de IA y etiquetado de datos de IA donde blockchain sirva como una capa de incentivo para que las grandes empresas e instituciones mejoren la eficiencia. Sin embargo, en su actual etapa inicial de desarrollo, estas verticales enfrentan obstáculos como la necesidad de revisión humana y preocupaciones en torno a los datos habilitados por blockchain.
Por ejemplo, existen redes informáticas SP diseñadas específicamente para el entrenamiento de modelos ML. Las redes informáticas SP se adaptan a casos de uso específicos y, por lo general, adoptan una arquitectura que consolida los recursos informáticos en un grupo unificado, parecido a una supercomputadora. Las redes informáticas de SP determinan el costo a través de un mecanismo de gas o un parámetro controlado por la comunidad.
Avisos descentralizados
Si bien la descentralización total de los LLM presenta desafíos, los proyectos están explorando formas de descentralizar las indicaciones fomentando las contribuciones de técnicas autodidactas. Este enfoque incentiva a los creadores a generar contenido, proporcionando estructuras de incentivos económicos para más participantes en el panorama.
Los primeros ejemplos incluyen plataformas de chatbot impulsadas por IA que tienen incentivos tokenizados para que los creadores de contenido y creadores de modelos de IA entrenen chatbots, que posteriormente pueden convertirse en NFT comercializables, otorgando acceso a datos autorizados por los usuarios para el entrenamiento y ajuste del modelo. Por otro lado, los mercados de avisos descentralizados tienen como objetivo incentivar a los creadores de avisos al permitir que la propiedad de sus datos y avisos se negocien en el mercado.
Aprendizaje automático de conocimiento cero (ZKML)
2023 ha sido realmente el año en el que los LLM han demostrado su poder. Para que los proyectos de blockchain aprovechen todo el potencial de la IA, es esencial que estos modelos se ejecuten en la cadena. Sin embargo, los desafíos de los límites de gas y los costos computacionales aún presentan complejidades para la integración de la IA.
¿Qué pasaría si los LLM pudieran ejecutarse fuera de la cadena y sus resultados se utilizaran para impulsar decisiones y actividades dentro de la cadena, al mismo tiempo que se generaran pruebas de que estas decisiones se toman mediante el modelo ML AI y no mediante resultados aleatorios? Esto es esencialmente lo que es ZKML. Con el próximo lanzamiento de GPT-5 de OpenAI y Llama3 de Meta, los LLM están creciendo con capacidades mejoradas. El objetivo principal de ZKML es minimizar el tamaño de las pruebas, lo que lo convierte en una opción natural para combinar pruebas ZK con tecnología de inteligencia artificial. Por ejemplo, las pruebas ZK podrían aplicarse para comprimir modelos en inferencia o capacitación de ML descentralizada mediante la cual los usuarios contribuyen a la capacitación enviando datos a un modelo público en una red en cadena.
Actualmente nos encontramos en las etapas incipientes de lo que es computacionalmente práctico de verificar mediante pruebas de conocimiento cero en cadena. Sin embargo, los avances en los algoritmos están ampliando el alcance de lo que se puede lograr con casos de uso que se están explorando, como la integridad del modelo, mediante el cual las pruebas ZK podrían usarse para demostrar que el mismo algoritmo ML se ejecuta en los datos de diferentes usuarios de la misma manera. evitar sesgos. De manera similar, con el aumento de los retratos generados algorítmicamente y los deepfakes, las pruebas ZK podrían aplicarse en la Prueba de personalidad para verificar una persona única sin comprometer la información privada de un individuo.
En conclusión, la integración de la infraestructura Web3 y la IA representa una frontera apasionante de innovación tecnológica, al tiempo que impulsa la contribución a través de incentivos tokenizados. Si bien Web2 ha sido testigo de avances significativos en IA, la intersección de Web3 y AI todavía es un tema de exploración.
A medida que avanzamos, la sinergia entre Web3 y la IA tiene un gran potencial y promete remodelar el panorama de la tecnología y la forma en que abordamos la infraestructura de IA. Estén atentos a la siguiente parte de la serie AI X Web3, donde nos sumergimos en los casos de uso de la IA en los juegos Web3.
Descargo de responsabilidad: El contenido de este artículo ha sido preparado únicamente con fines informativos y no debe ser la base para tomar decisiones de inversión ni interpretarse como una recomendación para participar en transacciones de inversión ni sugerir una estrategia de inversión con respecto a cualquier instrumento financiero o los emisores de los mismos.