Fuente de la reimpresión del artículo: AIGC
Fuente: Qubits
Recientemente, se ha intensificado la “batalla de cientos de modelos”. En el auge de los grandes modelos, el "talento" se ha convertido en el foco de una feroz competencia entre las principales empresas tecnológicas, equipos empresariales e instituciones de investigación. Sin embargo, todavía existe una gran brecha de talentos de vanguardia en el campo AIGC.
¿Qué tipo de talentos se deberían reclutar para facilitar el desarrollo del modelo?
¿Dónde reclutar grandes talentos modelo?
¿Cómo cultivar talentos de I + D de modelos grandes?
Para responder a las preguntas anteriores, Qubit Think Tank invita especialmente a profesionales, expertos y académicos en el campo de los grandes modelos de IA a compartir las oportunidades, los desafíos y las perspectivas de desarrollo futuro de los grandes talentos de los modelos con equipos corporativos y solicitantes de empleo.
Este artículo es una columna de entrevistas en profundidad de la serie "Big Model Talent" de Qubit Think Tank. Para obtener más información, preste atención al próximo "Informe panorámico sobre el desarrollo de talentos de modelos grandes de AIGC 2023".
Introducción del personaje de la entrevista.
Fang Han, presidente y director ejecutivo de Kunlun Wanwei, uno de los fundadores de Linux chino, dirigió el desarrollo del primer acelerador DUDU de software de descarga P2P nacional.
△Fang Han, presidente y director ejecutivo de Kunlun Wanwei
Se unió a Kunlun Wanwei en 2008 y dirigió el desarrollo de "Three Kingdoms" y el juego web de rol "Martial Arts", y ganó numerosos premios.
Maravillosas vistas
Dentro de 1 o 2 años, la escasez de talentos algorítmicos se aliviará en gran medida.
La conciencia de innovación del talento que entiendo se refiere a cómo resolver problemas de manera innovadora y mejorar indicadores desde una perspectiva técnica y de ingeniería.
La "selección" es más importante que el "cultivo", y el aprendizaje independiente es más importante que un maestro dirigiendo a un aprendiz.
En un campo nuevo como el de los grandes modelos, los estudiantes de doctorado recién graduados pueden convertirse en expertos en el campo después de medio año de formación.
Desde la perspectiva de la oferta, los grandes talentos modelo se encuentran actualmente en una etapa de escasez y la situación se aliviará enormemente en 3 a 5 años.
Desde una perspectiva macro, en comparación con las industrias tradicionales, la dificultad para cultivar talentos modelo a gran escala radica en la actual potencia informática insuficiente de las universidades.
Las empresas que creen nuevos modelos de negocio a nivel de aplicaciones basados en IA y modelos grandes obtendrán los mayores dividendos.
Transcripción de la entrevista
¿Cómo definir el talento de los grandes modelos?
Quantum Think Tank: ¿Cómo divide Kunlun Wanwei los grandes talentos de los modelos?
Fang Han: Creo que el entrenamiento modelo debería dividirse en dos partes principales: entrenamiento de inferencia y desarrollo de aplicaciones. De acuerdo con el proceso de capacitación del modelo, dividimos los talentos en talentos del lado del algoritmo, talentos del lado de la arquitectura y talentos del lado del desarrollo de aplicaciones y se subdividen en preentrenamiento, procesamiento de datos, optimización de inferencia de ajuste, etc.
Quantum Think Tank: ¿Qué tipo de talento crees que es más escaso entre los talentos de algoritmos, los talentos de arquitectura y los talentos de desarrollo de aplicaciones? Y es probable que siga siendo escaso durante mucho tiempo.
Fang Han: En la actualidad, el talento más escaso son definitivamente los talentos algorítmicos centrales, pero la situación de la oferta y la demanda se aliviará rápidamente. Debido a que hay un fenómeno muy interesante aquí, la potencia informática de varias universidades es muy insuficiente y la dirección relacionada con los modelos grandes es un tema candente en este momento. Hay muchos talentos que pueden recurrir a este campo de investigación. como PNL. Todos los talentos que practican PNL están recurriendo a grandes modelos.
Por lo tanto, mi opinión personal es que dentro de 1 o 2 años, la escasez de talentos algorítmicos se aliviará en gran medida, porque hay tantos talentos algorítmicos con salarios altos que creo que China todavía está muy orientada al mercado en términos de asignación de talentos.
Elementos de competencia que deben poseer los grandes talentos modelo
Quantum Think Tank: Al reclutar talentos, ¿qué cualidades de los talentos en sí son más importantes?
Fang Han: En términos de logros académicos, experiencia práctica, formación académica y conciencia innovadora que usted mencionó, damos prioridad a la experiencia práctica y la conciencia innovadora: en primer lugar, la capacitación en modelos grandes es esencialmente un problema de ingeniería, por lo que la experiencia práctica es definitivamente muy importante. En segundo lugar, los grandes modelos son proyectos innovadores, porque todas las grandes empresas de modelos compiten mano a mano. Si no hay sentido de innovación, será difícil mantenerse por delante de los demás, porque se trata de una dirección de ingeniería completamente nueva.
Qubit Think Tank: ¿Qué opinas de este sentido de innovación?
Fang Han: La innovación que entiendo es diferente de la innovación definida por el público. En el pasado, era más innovación algorítmica. Lo que quiero decir con innovación es, en primer lugar, mantenerse al día con el progreso de los modelos grandes. Hay muchas personas en todo el mundo que estudian el entrenamiento de modelos grandes. Cada día se publican cientos de artículos nuevos en esta dirección. , realizando mejoras en diversas direcciones y campos. El segundo es poder utilizar nuevos métodos para resolver problemas encontrados en ingeniería en función de las necesidades reales. Aquí la innovación se preocupa más por cómo resolver problemas de manera innovadora y mejorar los indicadores desde una perspectiva técnica y de ingeniería.
Quantum Think Tank: ¿Cree que la conciencia innovadora de los talentos a gran escala puede juzgarse a través de logros académicos, logros en patentes, etc.?
Fang Han: Creo que no es razonable juzgar la conciencia innovadora de los talentos basándose en los resultados de las patentes. OpenAI no presta mucha atención al desempeño de los talentos al solicitar patentes. La mejor innovación en realidad se basa en la acumulación de experiencia interna. No es razonable juzgar únicamente desde la perspectiva de las patentes.
Sin embargo, los resultados académicos pueden utilizarse como una base más importante para el juicio. Por ejemplo, las primeras personas en hacer el modelo Vicuña y las primeras en hacer ControlNet fueron todos estudiantes de doctorado. Desde esta perspectiva, los resultados académicos pueden usarse como una referencia determinada.
Sin embargo, en el proceso operativo real, además de la gran innovación de la publicación de artículos, existen innumerables pequeñas innovaciones en ingeniería que lograr. Por lo tanto, la conciencia sobre la innovación aún debe juzgarse en función de la velocidad y la capacidad de entrega de los talentos para resolver problemas en la práctica.
Cómo cultivar talentos de grandes modelos
Qubit Think Tank: El modelo Tiangong se ha actualizado de la etapa 1.0 a la etapa 3.5. ¿En qué campos de talento nos centraremos en las diferentes etapas?
Fang Han: En las primeras etapas, realmente necesitamos talentos en algoritmos que estén más familiarizados con la arquitectura subyacente de los modelos grandes, CNN y Transformer. Por supuesto, esto también incluye talentos en ciencia de datos en la limpieza y el procesamiento de datos. maduro, debemos recurrir a la multimodalidad, se necesita un grupo de talentos de visión por computadora, si se van a lanzar modelos grandes al mundo exterior, se necesitan talentos de auditoría de seguridad;
Quantum Think Tank: ¿Cómo cultiva Kunlun Wanwei sus propios grandes talentos modelo?
Fang Han: Kunlun Wanwei comenzó a capacitar modelos grandes en 2020. En ese momento, había muy pocos talentos en el mercado para hacer modelos grandes. Había más personas que tomaban la ruta BERT y menos personas que tomaban la ruta GPT. Para entrenar grandes modelos nosotros mismos en ese momento.
El método de capacitación es permitir que los talentos con experiencia en algorítmica aprendan la dirección del entrenamiento del modelo. Luego, al reclutar, debemos considerar seleccionar talentos que estén familiarizados con el aprendizaje automático y el aprendizaje profundo, y que al mismo tiempo tengan una gran fuerza de autocontrol y un aprendizaje rápido. Velocidad Talentos con algoritmo Talentos con experiencia, originalmente teníamos algunos talentos que estaban estudiando direcciones técnicas como CNN, pero ahora se centrarán más en la dirección de capacitación de GPT.
Qubits Think Tank: ¿Qué opinas de este modelo de entrenamiento de “vacas grandes guiando a vacas jóvenes”?
Fang Han: Cada empresa impulsada por la tecnología elegirá el método de capacitación de "vacas grandes guiando a las vacas jóvenes", pero seleccionar talentos es más importante que cultivar talentos, y el aprendizaje independiente es más importante que los maestros guían a los aprendices, por lo que también le damos gran importancia. a los talentos al reclutar.
Para las direcciones técnicas tradicionales, como Java, es necesario confiar en una rica experiencia, y los recién graduados necesitan un período de capacitación más largo para convertirse en expertos en el dominio. Sin embargo, la formación de modelos a gran escala es un campo emergente, y la acumulación en la industria no es mucho más profunda que en la academia. Lo que tenemos más que la academia es poder de computación. En términos de algoritmos, no estamos muy por delante de las universidades.
Quantum Think Tank: ¿Cuánto tiempo les tomará a los recién graduados convertirse en grandes expertos en modelos?
Fang Han: Hay una gran cantidad de estudiantes de doctorado que pueden publicar artículos de modelos grandes muy vanguardistas. También se puede ver que muchos artículos innovadores de modelos grandes son publicados por estudiantes de doctorado de segundo y tercer año. Encontramos talentos en la escuela que pueden comenzar tan pronto como llegan y pueden convertirse en expertos en el dominio en unos pocos meses.
Nuestra idea es seleccionar talentos de estudiantes de doctorado recién graduados que hayan demostrado habilidades innovadoras y visión técnica en la escuela. Podemos formar "terneros" en menos tiempo y convertirnos en lo que ustedes llaman "vacas grandes".
Quantum Think Tank: En unos pocos meses o un año, estos nuevos estudiantes de doctorado pueden convertirse en "grandes vacas" en el campo. Entiendo que las "grandes vacas" a las que usted se refiere son aquellas que tienen capacidades básicas de investigación y desarrollo.
Fang Han: Sí, damos muchas oportunidades a los jóvenes. De hecho, probablemente solo haya unas pocas docenas de personas realizando capacitación GPT en OpenAI, y una gran cantidad de ellos son talentos que se acaban de graduar hace unos años. Creo que este es básicamente el caso de los grandes equipos modelo en China. Este es un campo completamente nuevo y las oportunidades para los recién llegados son particularmente grandes. No es ningún problema para un estudiante de doctorado recién graduado convertirse en un experto técnico en el campo después de trabajar durante aproximadamente medio año, pero definitivamente le faltan habilidades de gestión. Este campo técnico es muy nuevo y todos corren en la misma línea de salida. Los recién graduados no necesariamente tienen desventajas.
Qubit Think Tank: ¿La mayoría de los recién graduados que mencionó se especializan en procesamiento del lenguaje natural? ¿En qué áreas específicas se dividirá?
Fang Han: No es un procesamiento del lenguaje completamente natural. Creo que en toda la etapa de vida de los modelos grandes, además del procesamiento de datos que se basa en la acumulación de ingeniería, existen direcciones de investigación académica correspondientes en preentrenamiento, RLHF, SFT y optimización del operador. , etc., por lo que creo que tienen la capacidad de desarrollar y entrenar entre el 70 y el 80% de los modelos grandes.
Es muy fácil para los talentos que estudian el aprendizaje automático, el aprendizaje por refuerzo y el aprendizaje profundo cambiar a modelos grandes. Y dado que ahora hay muchos modelos de código abierto y hay mucha gente en el mundo académico realizando trabajos de investigación basados en modelos de código abierto, no creo que exista una brecha absoluta en la división del trabajo entre los talentos universitarios.
El desarrollo del mercado nacional de talentos de grandes modelos.
Qubit Think Tank: ¿Qué opina del desarrollo general actual del mercado de talentos de modelos grandes?
Fang Han: Creo que los talentos modelo a gran escala se encuentran en un estado de gran escasez, por lo que habrá más personas trabajando en el stock. Sin embargo, a medida que hay cada vez más profesionales en modelos grandes, la división del trabajo será cada vez más detallada. Este es un proceso de diferenciación natural. El proceso de desarrollo de cualquier tecnología nueva es así, desde los primeros ingenieros completos hasta los líderes de equipo y líderes de nivel director, la diferenciación de la dirección técnica de los miembros del equipo será más obvia.
Quantum Think Tank: ¿La mayoría de los talentos reclutados por Kunlun Wanwei provienen de universidades o provienen más de esta industria?
Fang Han: Actualmente necesitamos talentos con experiencia práctica, por lo que elegiremos más talentos de la industria que tengan una rica experiencia en ingeniería. Sin embargo, los recién graduados también serán reclutados como reserva, por lo que hay más reclutamientos escolares. La proporción entre el reclutamiento escolar y el reclutamiento social es casi de 1:5.
Qubit Think Tank: ¿En qué etapa cree que se encuentra el desarrollo actual del talento de este gran modelo?
Fang Han: A juzgar por el número total de logros académicos de los talentos, China ocupa el primer lugar en el número de artículos sobre IA publicados en el mundo y Estados Unidos ocupa el segundo lugar. El número de artículos es mayor en Estados Unidos que en China.
Creo que en términos de los elementos de capacidad de los talentos, los grandes modelos necesitan talentos con diferentes experiencias. Debería haber los tres, incluidos los recién graduados, los expertos en el campo y los líderes. Pero desde la perspectiva de la oferta, actualmente se encuentra en una etapa insuficiente. La situación de la oferta se aliviará enormemente en unos 3 a 5 años, porque también se necesitan 5 años desde que se preparan las materias hasta que los estudiantes se gradúan.
Dificultades para cultivar grandes talentos modelo.
Qubit Think Tank: ¿En qué aspectos cree que se puede mejorar la formación del talento?
Fang Han: Lo compartiré principalmente desde dos perspectivas: la perspectiva corporativa y la perspectiva macro.
Desde una perspectiva empresarial, cuando los talentos participan en proyectos de ingeniería, crecerán más rápido. Esta es una forma muy obvia y práctica. Para las grandes empresas que son más pacientes con los talentos, sus talentos serán más profesionales en lo que hacen, pero en las pequeñas empresas, los talentos de los grandes equipos modelo crecerán de manera más integral y deben tener todos los elementos de capacidad del conjunto completo de talentos. modelos grandes.
Desde una perspectiva macro, en comparación con otras industrias tradicionales, el problema en la formación de talentos modelo a gran escala es que las universidades actualmente tienen una potencia informática insuficiente, lo que dificulta que las escuelas capaciten talentos en arquitectura. Estos talentos solo pueden ir a las empresas para recibir capacitación. Este es un dilema al que se enfrentan todas las universidades del mundo una vez que la potencia informática a nivel nacional se comparta con las universidades, creemos que esta situación se aliviará.
Think tank cuántico: es decir, se basa más en la vinculación de la industria, la academia, la investigación y las políticas para cultivar talentos a gran escala.
Fang Han: Creo que deberíamos hacer todo lo posible para proporcionar las mismas condiciones de hardware en las escuelas que en las empresas; de lo contrario, lo que aprendamos en las escuelas definitivamente será relativamente limitado.
Grandes talentos modelo y las futuras tendencias de desarrollo de las empresas de IA
Qubit Think Tank: Desde su perspectiva, ¿cuál es la tendencia de desarrollo futuro de la industria de modelos grandes en su conjunto?
Fang Han: Creo que no debería llamarse la gran industria modelo, sino toda la industria de la IA. Las oportunidades que enfrenta la industria de la IA no deberían ser menores que las de Internet y la Internet móvil. Soy muy optimista sobre la tendencia de desarrollo de la industria de la IA. Creo que la IA cambiará profundamente toda Internet y toda la vida humana se verá muy afectada y modificada. Creo que toda la industria experimentará un cambio de dirección.
Qubit Think Tank: Con base en esta tendencia, ¿qué tipo de grandes talentos modelo cree que serán más favorecidos por las empresas?
Fang Han: En primer lugar, se ha formado una "batalla de cientos de modelos". Todos están fabricando bases de modelos grandes. En el futuro, las bases de modelos grandes definitivamente se reducirán a unos pocos fabricantes grandes. En cuanto a las aplicaciones, creo que habrá cada vez más talentos basados en el desarrollo de aplicaciones de modelos grandes.
Los talentos que son responsables de la capacitación subyacente, los algoritmos de optimización y la arquitectura de los modelos grandes irán a los grandes fabricantes o a los grandes equipos de modelos. Sin embargo, creemos que los gigantes más grandes no son necesariamente las grandes empresas de modelos en sí, sino aquellos que crean aplicaciones sólidas. en modelos grandes. Una vez que estas empresas crezcan, también construirán sus propios modelos grandes.
Creemos que "la aplicación es el rey", lo que significa que las empresas que desarrollen nuevos modelos de negocio basados en IA y grandes modelos en aplicaciones obtendrán los mayores dividendos. Entonces creemos que en los próximos diez años definitivamente aparecerán nuevas empresas gigantes como Byte, Meituan y Didi, que deben crecer de 0 a 100. Las empresas fundadas este año o el próximo deberían tener esta posibilidad y oportunidad.