Los desarrolladores de DeepMind de Google han presentado “Promptbreeder (PB): automejora autorreferencial mediante evolución acelerada”. Este desarrollo pionero promete un nuevo enfoque para mejorar las capacidades de los modelos de lenguaje de gran tamaño (LLM) aprovechando el poder de la evolución acelerada.
Relacionado: Inyección ChatGPT, o cómo obtener la mejor respuesta posible de un bot
En el centro de esta innovación se encuentra la comprensión de que la inteligencia de un gran modelo lingüístico está estrechamente vinculada a la calidad de las señales textuales que recibe. En esencia, cuanto más inteligentes sean las señales, más inteligentes y precisas serán las respuestas del modelo. En consecuencia, la tarea fundamental en cuestión es diseñar estrategias de señales óptimas para guiar a estos modelos de manera eficaz.
Las estrategias de motivación convencionales, como la cadena de pensamiento o los enfoques de planificación y decisión, han mejorado indudablemente las capacidades de razonamiento de los estudiantes de maestría en derecho. Sin embargo, estas estrategias, a menudo diseñadas manualmente, pueden no alcanzar el rendimiento óptimo.
Por tanto, Promptbreeder se mejora constantemente. Es un ciclo autorreferencial que se mejora a sí mismo y que tiene como sustrato el lenguaje natural. No es necesario realizar ajustes finos en la red neuronal. El proceso genera sugerencias personalizadas optimizadas para aplicaciones específicas.
Promptbreeder es una solución que utiliza un mecanismo evolutivo para refinar iterativamente las estrategias de sugerencias. Lo que distingue a PB es su notable capacidad de mejorar no solo las sugerencias, sino también sus propias capacidades de mejora de sugerencias con cada nueva generación.
Así es como funciona el esquema evolutivo de Promptbreeder:
Bajo la guía de un LLM, Promptbreeder genera una población de unidades de evolución, cada una compuesta por dos “pistas de solución” y una “pista de mutación”.
Luego se emplea un algoritmo genético de torneo binario para evaluar la aptitud de estos mutantes basándose en un conjunto de entrenamiento, identificando aquellos que tienen mejor desempeño.
Este proceso cíclico vuelve continuamente al paso 1, dando como resultado en última instancia la evolución de generaciones de “pistas-soluciones”.
A lo largo de varias generaciones, Promptbreeder emplea cinco clases diferentes de operadores de mutación para mutar tanto las “pistas de solución” como las “pistas de mutación”. La brillantez de este esquema reside en el hecho de que estas “pistas-soluciones” mutantes se vuelven progresivamente más inteligentes. Las “pistas de mutación” son fundamentales en este caso, ya que proporcionan instrucciones sobre cómo mutar para mejorar las “pistas de solución”.
Promptbreeder, en esencia, es un sistema autorreferencial que se mejora a sí mismo y opera dentro del ámbito del lenguaje natural. Fundamentalmente, no requiere un ajuste fino y complejo de la red neuronal. En cambio, produce sugerencias personalizadas y optimizadas meticulosamente para aplicaciones específicas.
Los experimentos iniciales han arrojado resultados prometedores. Promptbreeder ha superado a todos los demás métodos de pistas contemporáneos en tareas matemáticas, lógicas y de sentido común, así como en la clasificación del lenguaje, incluida la identificación de expresiones de odio.
De cara al futuro, Promptbreeder está siendo sometido a pruebas rigurosas para comprobar su viabilidad en la construcción de un proceso de pensamiento completo. Esto implica explorar una estrategia de N-pistas, en la que las pistas se aplican de forma condicional, lo que allana el camino para el desarrollo de programas previos para políticas de LLM que participen en diálogos socráticos adversarios.
Promptbreeder aún tiene limitaciones en comparación con la naturaleza expansiva de los procesos de pensamiento humano. La topología de las pistas permanece fija y Promptbreeder adapta principalmente el contenido de las pistas, no el algoritmo de pistas en sí. El pensamiento humano abarca aspectos multifacéticos más allá del lenguaje, incluida la entonación, las imágenes y un sistema multimodal, que Promptbreeder aún no posee.
Leer más temas relacionados:
La inteligencia artificial hipocrática presenta un modelo de lenguaje centrado en la seguridad con una financiación de 50 millones de dólares
La última postura de Google contra la multa antimonopolio de la UE de 2.600 millones de dólares llega al máximo tribunal europeo
Google anunció el primer modelo de inteligencia artificial que se mejora a sí mismo, Promptbreeder, que evoluciona miles de millones de veces más rápido que los humanos apareció primero en Metaverse Post.