Desde la sociedad bárbara hasta la inteligencia artificial, el informático Wu Jun le explica los entresijos de ChatGDP.
En la noche del 3 de abril, Wu Jun, un científico informático y experto en modelos de lenguaje natural, fue invitado a la sala de transmisión en vivo para realizar una transmisión en vivo sobre temas de actualidad como la inteligencia artificial y ChatGPT.
P1:
¿Por qué causa pánico la aparición de ChatGPT?
Sé que ChatGPT es muy popular en China recientemente y mucha gente está discutiendo sobre ello. Pero lo que es muy interesante es que en realidad ya no mucha gente en los Estados Unidos habla sobre este tema. De hecho, no se trata solo de ChatGPT. Mirando hacia atrás diez años atrás, cuando surgieron muchas tecnologías nuevas, descubrí que la discusión en los medios chinos era mucho mayor que en los Estados Unidos. Aunque en realidad esa tecnología aparece principalmente en Estados Unidos, el pueblo chino está más preocupado por ella. Creo que eso es algo bueno, pero también es algo malo.
Lo "malo" es que estas tecnologías han sido sobrevaloradas y, en el proceso, muchas personas están ganando dinero con ellas. Por ejemplo, blockchain estaba muy de moda en ese momento, pero ahora poca gente habla de ello, ¿verdad? Este es el primero. El segundo es el Metaverso, actualmente sólo Facebook en Estados Unidos sigue insistiendo en hacerlo. Cuando llegamos a China, mucha gente discutía si en el futuro viviríamos en un mundo completamente virtual. Finalmente, desde finales del año pasado hasta principios de este año, Facebook invirtió decenas de miles de millones de dólares en este campo sin escuchar una sola palabra, y finalmente inició despidos a gran escala. Hoy en día, uno de los temas más candentes es ChatGPT, algunas personas están emocionadas, otras tienen miedo y también veo que todavía hay mucha gente en China pescando en aguas turbulentas, tratando de volver a cortar los puerros de todos.
Antes de contarte qué es ChatGPT, déjame contarte una historia histórica, esta historia histórica te hará reír, pero si miras hacia atrás, muchas personas se comportan de la misma manera hoy.
El hijo de Colón registró este incidente en 1503. Colón navegó hacia el oeste, hacia el Nuevo Mundo, y como resultado, a mitad del viaje llegó a Jamaica y no había comida en el barco. Por lo tanto, Colón y su tripulación sólo podían esperar que los lugareños les proporcionaran comida y bebida. Sin embargo, después de unos días de suministro, la tripulación tuvo conflictos con los lugareños: algunos miembros de la tripulación robaron cosas de los lugareños, por lo que los lugareños cortaron el suministro de alimentos.
Para salir de este apuro, a Colón se le ocurrió una idea inteligente. Colón llevaba consigo un calendario perpetuo en ese momento, y marcó en el calendario que habría un eclipse solar, un eclipse lunar y toda esta información en un determinado año, mes y día. Colón llamó a los líderes tribales locales en ese momento y les dijo que si no me dan comida, han ofendido a Dios. Dios se enojará, la luna se pondrá roja y luego Dios se la quitará. Por supuesto, básicamente todos sabemos ahora que cuando ocurre un eclipse lunar total, es decir, cuando la Tierra no ha bloqueado completamente la Luna, la Luna es realmente roja, que es lo que llamamos una "luna de sangre". Sin embargo, los jamaicanos de la época no lo sabían. Como resultado, por la noche, los jamaiquinos descubrieron que la luna se tornaba roja y luego desaparecía poco a poco. Los lugareños entraron en pánico y todos decían que Dios los iba a castigar.
El líder tribal fue apresuradamente a Colón y prometió aceptar todas las condiciones de Colón. Colón dijo, está bien, iré a la tienda y oraré a Dios para que no te castigue, pero necesito un poco de tiempo, y luego Colón entró en la tienda. De hecho, después de entrar en la tienda, Colón sostenía un reloj de arena y miraba la hora.
Hoy tenemos conocimientos de astronomía y sabemos con certeza la hora del eclipse lunar total, que probablemente durará unos 48 minutos, y para entonces la luna reaparecerá. Pero estos jamaiquinos no lo saben. Lo que vieron fue que cuando Colón salió de su tienda, salió la luna. Entonces Colón dijo: Dios ha escuchado mi consejo y ha prometido perdonarte, pero debes darnos buena comida. Por eso, la población local está agradecida y continúa proporcionándoles alimentos.
¿Qué significa esta historia? Hay una razón detrás de la ocurrencia de un eclipse lunar total, pero cuando la gente no sabe la razón, a menudo sólo pueden atribuir este fenómeno natural a la acción de un dios. Y este dios mismo fue creado por el hombre. En otras palabras, después de que el hombre crea un dios, se postra a los pies del dios y se convierte en su esclavo.
Por eso quiero impartirles el curso "Historia de las Civilizaciones del Mundo".
De hecho, el proceso de desarrollo de esta civilización es el proceso en el que los seres humanos comprenden constantemente las leyes de la naturaleza. Hemos avanzado poco, por lo que ya no somos como los indígenas locales que creen ciegamente que rezar a Dios realmente puede evitar que la luna desaparezca. Ahora sabemos que detrás de los eclipses de Sol y Luna, en realidad son las tres leyes de los planetas de Kepler las que están en funcionamiento, y luego, detrás de las tres leyes de los planetas de Kepler está la ley de gravitación universal de Newton. Una vez que los humanos comprenden esta razón, ya no solo le temen a la naturaleza: podemos usar las leyes de la naturaleza para hacer muchas, muchas cosas.
P2:
¿Cuál es la base técnica de ChatGPT?
Mirando hacia atrás desde la historia hasta el presente, la situación de ChatGPT es en realidad similar: detrás de él hay un modelo matemático llamado modelo de lenguaje en funcionamiento. En otras palabras, detrás de ChatGPT hay un modelo matemático. Hoy en día, esta tecnología es poderosa por tres razones principales:
Primero, requiere muchos cálculos;
En segundo lugar, tiene una gran cantidad de datos;
En tercer lugar, los métodos actuales para entrenar modelos lingüísticos son mucho mejores que antes. Entonces, ¿qué es un modelo de lenguaje? ¿O es producto de qué época?
Es una tecnología desarrollada por un equipo liderado por mi mentor Fred Jelinek en 1972. Específicamente, fue una tecnología que llevó a la gente a completar en IBM, que se utilizó para medir la probabilidad de que ocurra una oración o un fenómeno del lenguaje. Entonces, ¿de qué sirve? Su uso inicial fue para el reconocimiento de voz, luego para la traducción automática y más tarde para preguntas y respuestas por computadora, que es la respuesta a la pregunta que conocemos hoy en día.
En ese momento podría usarse como resumen, por ejemplo, si hay un artículo de 10,000 palabras, ¿cómo se puede resumir el contenido del artículo en diez oraciones? Para las personas que realizan este procesamiento del lenguaje natural, este es un problema matemático. En otras palabras, ¿cuáles son tus condiciones? La condición son estas 10.000 palabras y luego, ¿cuál es el resultado que desea obtener? El resultado puede ser diez oraciones o cien palabras, y hay muchas combinaciones aquí. Puede elegir algunas oraciones al azar o puede dividir algunas oraciones en dos párrafos y agregar las modificaciones o descripciones menos importantes al final. Eliminado parcialmente . Luego, también puedes combinar dos oraciones en una sola. Luego, cuando combines un fragmento de texto, la computadora calculará una probabilidad. Qué oraciones tienen más probabilidades de combinarse entre sí y te ayudará a combinarlas de acuerdo con la probabilidad.
El ChatGPT que vemos hoy es este modelo de lenguaje grande que seleccionará un texto con la mayor probabilidad y la ocurrencia más probable para mostrárselo. Entonces, en general, el proceso de generación de resultados mediante ChatGPT es un proceso que utiliza muchos recursos informáticos. Requiere una gran cantidad de datos para su soporte y hay muchas GPU (procesadores de computadora). Sin estas cosas, ChatGPT no se puede construir.
Y el ChatGTP actual en realidad no es solo tecnología, sino que también tiene mucha mano de obra detrás. También contrataron a una empresa para auditar los resultados producidos por ChatGPT. Por ejemplo ChatGPT ha generado cien resúmenes, todos bastante buenos, pero ya no puedo distinguirlos, entonces estas personas se encargan de ayudarme a distinguir cuál es más preciso.
De hecho, puedes ver que detrás de Chat GPT hay un modelo de lenguaje, y la tecnología de este modelo de lenguaje existe desde 1972. Ahora, después de cincuenta años, en la industria la gente no cree que sea gran cosa. Antes de esto, este modelo de lenguaje ha hecho muchas cosas.
Cuando se trata de modelo de lenguaje, este término fue propuesto originalmente por mi mentor Jarinick. Él llegó a la Universidad Johns Hopkins alrededor de 1993, y yo llegué a la universidad en 1996 y me convertí en su alumno. Entonces, la versión china de esta palabra, que son las cuatro palabras "modelo de lenguaje", la creé yo cuando publiqué un artículo en la década de 1990. En ese momento, sólo los que estábamos en el círculo sabíamos que podía hacer muchas cosas, pero no se te ocurrió decir: ¿Eh? Este asunto será objeto de acalorados debates más adelante.
Puedes entenderlo de esta manera: el "modelo de lenguaje" es para ChatGPT lo que las tres leyes de los planetas de Kepler son para los eclipses lunares.
P3:
¿Cuál era la situación cuando nació el “modelo de lenguaje”?
¿Cuál era entonces la situación del modelo lingüístico en el momento de su invención?
De hecho, en la década de 1990, los modelos obtenidos mediante métodos estadísticos simples ya eran muy inexactos. Esto equivale a, permítanme usar una analogía, observar los planetas, pero usar la teoría geocéntrica ptolemaica para predecirlos es muy inexacto. Por eso, en ese momento comenzamos a introducir mucha información sobre gramática, temas y semántica. Entonces, este modelo de lenguaje se vuelve muy complejo. La complejidad trae otro gran problema.
¿cuál es el problema?
Por ejemplo, hice un modelo de lenguaje muy complejo, ¿cuántos parámetros tenía este modelo de lenguaje en ese momento? 6 millones de parámetros, es decir, el tamaño del modelo de lenguaje de esta canción está determinado básicamente por estos parámetros. En lo que estaba trabajando en ese momento ya era el modelo de lenguaje más grande y complejo que se podía construir en ese momento. En ese momento, no estaba usando PC, sino 20 superservidores, y me tomó alrededor de 3 meses entrenar dicho modelo de lenguaje. Como puede ver, el monto del cálculo es muy grande. Entonces, ¿cuáles son los parámetros del modelo de lenguaje utilizados en la primera versión de ChatGPT? Hay alrededor de 200 mil millones de parámetros y se pueden ver los cambios a lo largo de los años. Por lo tanto, hoy mucha gente pregunta que ChatGPT ha aparecido en los Estados Unidos: ¿cuándo podrán las instituciones de investigación chinas crear ChatGPT? De hecho, la mayoría de las instituciones de investigación en China no pueden hacerlo, no por el nivel de investigación, sino porque Chat GPT consume demasiados recursos. El ChatGPT actual puede costar casi mil millones de dólares sólo en hardware, sin incluir los costos de electricidad, por lo que el costo y el gasto son enormes. Entonces, si terminas de bromear y preguntas cuál es la mayor contribución de ChatGPT, creo que ha hecho una gran contribución al calentamiento global. Entonces, lo que quiero decir es que el principio de ChatGPT es muy simple, pero en realidad es bastante difícil lograrlo en ingeniería.
P4:
¿Qué preguntas son buenas para responder las computadoras?
Alrededor de 2010, es decir, hace 13 años, ¿hasta qué punto podían lograr los modelos lingüísticos? Déjame mostrarte dos ejemplos. Ambos ejemplos se realizaron antes de que dejara Google en 2014. En ese momento, yo era responsable del sistema automático de preguntas y respuestas de Google, que permitía a las computadoras responder preguntas. Sin embargo, debido a que este producto está en inglés, básicamente no muestra mucha cara en el mundo chino.
Déjame mostrarte una pregunta respondida por Google, ¿por qué el cielo es azul?
Puedes echar un vistazo a esto. La respuesta es esta: la luz del sol se refracta cuando llega a la Tierra a través de la atmósfera. Los gases en el aire dispersan la luz de diferentes colores a varios lugares. La luz azul tiene una longitud de onda más corta y tiene una refracción más alta. índice que otros colores. Alto, por lo que el cielo se ve azul. Esta fue una respuesta generada por las computadoras en ese momento. Para ser justos, esta respuesta es mejor que la respuesta de mi propio párrafo, porque para explicar este fenómeno es necesario tener muchos conocimientos de física y la oración parece bastante razonable. Uno de los propósitos de las personas que usan ChatGPT hoy en día es permitirle responder preguntas.
Aquí te lo desglosaré.
De hecho, las preguntas que hacemos a las computadoras se pueden dividir en dos categorías: la primera categoría se llama preguntas simples y la segunda categoría se llama preguntas complejas. Las preguntas sencillas tratan sobre hechos, como de dónde es una determinada estrella y en qué año nació, todas ellas son preguntas fáciles. Porque es un hecho y hay una respuesta clara.
La segunda categoría son los problemas complejos, razón por la cual todo el mundo piensa que ChatGPT es tan sorprendente. Puede integrar información y responder por qué el cielo es azul, como si tuviera su propia lógica. Otra pregunta es sobre el proceso, por ejemplo como hago un pastel, ¿podrías escribirlo paso a paso? Hoy le preguntamos a ChatGPT cómo hornear huevos a temperatura alta. Puede escribirle el proceso con gran detalle. Puede decirle cuántas tazas de agua, cuántos huevos agregar, cuánta harina agregar, etc. Luego, según las respuestas que proporciona, realmente puedes hornear un pastel y puede que quede bastante bueno. Esto es algo que todo el mundo piensa que es asombroso.
Pero hay que saber que las computadoras realmente hicieron esto en 2014, y lo hicieron muy bien. Por tanto, no hay mucho misterio sobre la tecnología en sí.
P5:
Computadoras o humanos, ¿quién escribe mejor?
Hoy en día, todo el mundo habla acaloradamente de ChatGPT, y otra razón es que creen que se puede escribir. Por ejemplo, escribir una presentación de trabajo es donde los estadounidenses usan más ChatGPT hoy en día. Hice 1.234.567 cosas esta semana, estas siete cosas, ¿eh? Verás, no tengo que escribirlo yo mismo, dejo que ChatGPT genere uno y luego lo edito.
Sin embargo, escribir en computadora es realmente difícil o fácil, puedo darles un ejemplo.
Después de dejar Google en 2014, no hice mucha programación en ese momento, pero todavía tenía algunos recursos informáticos en ese momento, por lo que escribía algunos programas y jugaba en mi tiempo libre. En ese momento le pedí a la computadora que escribiera dos poemas, puedes leer estos dos poemas.
El primer poema es un poema de cinco caracteres. En mis palabras, es un poema al estilo de Li Bai. Puedes leerlo. Este poema fue escrito por la propia computadora. De hecho, si lo lees, encontrarás que hay algunas características de Li Bai en este poema.
En cuanto al segundo poema, también pongo la foto a continuación, puedes echarle un vistazo.
En primer lugar, porque todos los poemas antiguos tienen el mismo significado de ping y lei, pero nuestra pronunciación actual era diferente de la pronunciación en ese momento, por lo que no nos importa si este ping y lei son consistentes con los tiempos antiguos, pero Solo mire su contenido y concepción artística, mientras lo lee, se sentirá muy fluido.
Bien, volvamos a eso.
¿Cómo hiciste el primer poema? De hecho, no podría ser más sencillo: simplemente coloque los poemas de Li Bai en la computadora. Hay más de 1.000 poemas de Li Bai, que son sólo unas 10.000 frases, lo que es demasiado simple para las computadoras. Al escribirlo, dividí las oraciones en grupos de dos o tres caracteres, por ejemplo, "Kongchou" es un grupo y "Recalling Chang'an" es un grupo de tres caracteres. Luego arma el modelo de lenguaje del que acabo de hablar y calcula la probabilidad: ¿cuál tiene la mayor probabilidad? Después de desmantelarlo, le hice una petición, diciéndole que quería escribir un poema sobre recordar a Chang'an. Los poemas fueron arreglados y combinados para producir "Recordando a Chang'an". Así es como se armó. El segundo poema es un poco más complicado.
¿Pero sabes cuánto tiempo me llevó escribir estos dos programas? Dos días. ¿Qué indica esto? Significa que no es muy difícil para usted pedirle a la computadora que escriba algo decente, no es tan misterioso como cree, o la escritura por computadora en sí no es tan misteriosa como cree.
Entonces, ¿por qué estos dos poemas parecen tan buenos? Como se trata de un poema Tang, el formato de la poesía Tang es fijo. Del mismo modo, ¿por qué es bueno utilizar ChatGPT para redactar informes semanales? Debido a que el formato del informe semanal es básicamente una lista, también es un formato fijo. Incluso, si lees la versión china del Wall Street Journal, déjame decirte que el 90% del contenido aquí está escrito por computadoras, pero no lo sabes. Después de escribirlo, por supuesto, la gente tiene que darle un tema, luego escribir una introducción al primer párrafo y luego darle un resumen y un título, eso es lo que la gente tiene que hacer. ¿Por qué es mejor escribir artículos financieros? Debido a que contiene muchos datos y el formato es fijo, lo hace muy bien.
Pasé mucho tiempo hablando sobre los antecedentes de ChatGPT. En realidad, solo quiero decir que no es misterioso y que no hay una máquina muy sofisticada detrás de él. Por un lado, ChatGPT se basa en un modelo matemático, y este modelo matemático existe desde 1972, pero hoy en día su potencia informática es muy sólida y se basa en cálculos de fuerza bruta. Entonces, ¿cuánta energía consume un entrenamiento ChatGPT? Pueden ser 3.000 coches eléctricos Tesla, cada uno de los cuales recorre 200.000 millas y lo hacen funcionar hasta la muerte. Un consumo de energía tan grande es suficiente para entrenar una vez. Esto es algo muy caro.
P6:
¿Qué impacto tiene ChatGPT en nosotros?
Entonces, hablemos del impacto que tiene ChatGPT en las personas.
Volvamos a la historia: cada revolución tecnológica en realidad tiene algún impacto en las personas. Sin embargo, ChatGPT no es una nueva revolución tecnológica, porque como acabo de decir, este proceso es muy largo. Desde los años 70 hasta los 90 hicimos muchas cosas, y desde los años 90 hasta ahora, mucha gente ha hecho muchas cosas. cosa. El mayor progreso aquí no es en realidad el modelo de lenguaje en sí. De hecho, es el aprendizaje profundo que surgió alrededor del año 2000, lo que hizo que el entrenamiento de modelos de lenguaje fuera más preciso que antes. No se trata solo de hacer estadísticas.
Hoy en día, entrenar modelos de lenguaje ya no se trata simplemente de estadísticas, y esta es una de las razones por las que ChatGP T puede producir mejores resultados. ¿Qué impacto puede tener ChatGPT en las personas?
No responderé a tu pregunta directamente. Déjame preguntarte primero. Acabo de mostrarte estos dos poemas Tang. ¿Notaste alguna característica? Por cierto, estos dos poemas están bien escritos, pero su comprensión original de la dinastía Tang no se actualizará debido a estos dos poemas. Porque ChatGPT es un poco como un loro en cierto modo: primero tienes que decir algo y luego puede seguir. Puede que suene bien, pero no proporciona más información. El 90% del contenido de Internet hoy en día cae en esta categoría: no proporciona más información nueva, ni es contenido original, ni son mis propios conocimientos. No es más que copiar y reconstruir. En la actualidad creo que el 99% del contenido de videos cortos como Douyin y Kuaishou entran en esta categoría y no son nutritivos. Puede que te resulte interesante después de leerlo, pero de hecho, no importa cuánto leas, En realidad no tiene ningún beneficio para ti. Cualquier ayuda. Si ChatGPT realmente amenaza a alguien, creo que amenaza el trabajo de este tipo de personas, es decir, aquellos en Douyin que hacen videos cortos o publican algún contenido, ChatGPT lo hará mucho mejor que ellos. Solo piense en esto: supongamos que hay un grupo de personas que leen una y otra vez las oraciones de los trescientos poemas Tang todos los días y que también pueden componer algunos poemas. Entonces ChatGPT definitivamente podrá componerlos mucho más rápido que los humanos. Entonces esta tecnología tendrá un impacto en este grupo de personas.
Entonces, ¿quién no se verá afectado? Las personas que crearon el contenido no se verán afectadas.
¿Por qué digo esto? Recuerda la pregunta que acabo de decir: "¿Por qué el cielo es azul?" ¿Por qué Google puede responder a esta pregunta?
Porque cuando Google respondió, probablemente analizó casi todas las oraciones decentes en inglés en ese momento, que eran alrededor de 100 mil millones de oraciones en inglés. De hecho, encontrarán que en algunos sitios web de universidades y en el sitio web de la NASA tiene esta respuesta, pero la reconstruimos, la eliminamos y la eliminamos, y la seleccionamos. Pero los primeros físicos hicieron esta investigación y descubrieron esta verdad. Este trabajo es significativo y no puede ser reemplazado por ChatCPT. Entonces, ¿a qué equivale el trabajo de Chat GPT? Por ejemplo, después de que Ptolomeo creara este modelo, de vez en cuando en Europa compilaban un calendario para varias décadas y luego marcaban en él qué día habría un eclipse solar, cómo se moverían los planetas ese día, etc. . . Luego, de acuerdo con estas reglas, la gente imprime muchas copias de este libro. Este ChatGPT es equivalente a muchos libros. Si lo tomas y lo miras más tarde, dirás, eh, se producirá un eclipse lunar en un determinado año, mes y día, y la respuesta será muy clara. Sin embargo, el trabajo realmente significativo detrás de esto no es imprimir este libro, sino investigar sobre Ptolomeo. Así que creo que, históricamente hablando, ChatGPT no es en realidad una revolución tecnológica, solo afecta a las personas perezosas que son demasiado perezosas para usar su cerebro y crear cosas nuevas. Aquellos que verdaderamente exploren los misterios del conocimiento humano nunca serán reemplazados.
P7:
¿Qué nuevas oportunidades puede traer ChatGPT?
Mucha gente pregunta ¿qué nuevas oportunidades tiene ChatGPT? Francamente, no tienes ninguna posibilidad porque consume demasiados recursos y no puedes permitírtelo. Entonces, ¿quién puede beneficiarse? Esas son las personas que venden recursos.
Puedo hacer una analogía, es decir, durante la fiebre del oro en California, muchas personas acudieron en masa para excavar en busca de oro. Hasta el día de hoy, todavía no sabemos qué buscador de oro realmente ganó dinero y nadie dejó su nombre. . ¿Pero quién gana el dinero al final? Es el vendedor de agua y el vendedor de jeans. Lo mismo ocurre con ChatGPT. Si todos van a buscar oro, en realidad no ganarás dinero, pero en el proceso, aún tendrás que comprar agua y jeans para usar. Al final, son estos dos grupos de personas los que ganan dinero. Levi's fue una empresa que nació en esa época, fabricaba jeans.
Entonces, al final, puedes terminar pagando dinero a varias grandes empresas de computación en la nube, lo que puede ser el resultado. Bien, ahora que terminé de hablar sobre la historia de ChatGPT, les daré un breve resumen.
Primero, no tengas miedo.
Hoy en día, mucha gente tiene miedo de ChatGPT, al igual que los indígenas de Jamaica con los que se encontró Colón tenían miedo del eclipse lunar.
En segundo lugar, no se fuerce a buscar las llamadas oportunidades: el trabajo es la forma en que debe trabajar.
Vi que algunos estudiantes me preguntaron por qué Apple no utiliza ChatGPT y dije que sí. Por eso Apple es la empresa más rica del mundo, con las mayores ganancias y la mayor capitalización de mercado. Actualmente, muchas de las denominadas empresas que fabrican este tipo de inteligencia artificial siguen perdiendo dinero. Por eso, es por eso que muchos estudiantes a veces hacen preguntas demasiado fuera de lo común, así que yo en broma les pregunto: ¿has pagado tu hipoteca? Si no lo ha pagado, vuelva a trabajar y haga bien su trabajo. Esto es lo más significativo para todos y también lo es históricamente.
En tercer lugar, tienes que descubrir los trucos de estos supuestos conspiradores o personas que quieren aislarte.
Es decir, si otra persona se hace pasar por Colón y dice que es el representante de Dios, y luego puede orar a Dios para que haga salir la luna, no lo crean. Por lo tanto, es necesario comprender parte de la ciencia detrás de ChatGPT. Aún necesitas comprender algunos de los principios más simples, como los que te hablo hoy.