El debate sobre la extinción por IA se calienta: Anthropic dice que la probabilidad de extinción es superior al 10% y el fundador de OpenAI también está de acuerdo en frenar
«El debate sobre la extinción por IA» no se centra en los chatbots de hoy, sino en que, si una inteligencia artificial súper avanzada se mejora a sí misma mediante la recursividad sin control, los humanos quizá no alcancen a frenar a tiempo.
El responsable de ciencia de la alineación en Anthropic, Evan Hubinger, afirmó públicamente que, en su opinión, en la próxima década la probabilidad de que la IA acabe con la humanidad supera el 10% y que todavía no existen soluciones de alineación para una inteligencia súper avanzada; tampoco es que ya se haya avanzado por el camino correcto. Al mismo tiempo, en los días previos y posteriores, varios investigadores renunciaron, acusando a los principales laboratorios de «apostar con la vida de todos».
A continuación, el CEO de Anthropic, Dario Amodei, publicó un mensaje en el que hizo un llamado a la industria para que desacelere su carrera descontrolada de capacidades, invirtiendo el tiempo ganado en ingeniería de seguridad, entrenamiento de alineación, interpretabilidad y evaluaciones más rigurosas. El fundador y CEO de OpenAI, Sam Altman, se mostró de acuerdo con esta dirección: la empresa considera desacelerar el desarrollo de modelos de vanguardia y espera que otros laboratorios también «se suban al carro». El científico jefe de OpenAI también dijo que, cuando sea necesario, se debería coordinar la desaceleración y que, hasta que se implementen estándares de seguridad comunes, lo mejor sería que frenar voluntariamente se convirtiera en la norma.
Por un lado está el relato de la financiación de decenas de miles de millones y un IPO; por el otro, quienes construyen los modelos más fuertes son los que claman p(doom) y gritan que hay que pisar el freno. Lo aterrador de la teoría no son los adjetivos: es que ambos líderes de las partes reconocen lo mismo. La alineación aún no tiene respuesta, pero aun así se compite por ver quién corre más rápido… a menos que alguien afloje primero el acelerador.
«El debate sobre la extinción por IA» no se centra en los chatbots de hoy, sino en que, si una inteligencia artificial súper avanzada se mejora a sí misma mediante la recursividad sin control, los humanos quizá no alcancen a frenar a tiempo.
El responsable de ciencia de la alineación en Anthropic, Evan Hubinger, afirmó públicamente que, en su opinión, en la próxima década la probabilidad de que la IA acabe con la humanidad supera el 10% y que todavía no existen soluciones de alineación para una inteligencia súper avanzada; tampoco es que ya se haya avanzado por el camino correcto. Al mismo tiempo, en los días previos y posteriores, varios investigadores renunciaron, acusando a los principales laboratorios de «apostar con la vida de todos».
A continuación, el CEO de Anthropic, Dario Amodei, publicó un mensaje en el que hizo un llamado a la industria para que desacelere su carrera descontrolada de capacidades, invirtiendo el tiempo ganado en ingeniería de seguridad, entrenamiento de alineación, interpretabilidad y evaluaciones más rigurosas. El fundador y CEO de OpenAI, Sam Altman, se mostró de acuerdo con esta dirección: la empresa considera desacelerar el desarrollo de modelos de vanguardia y espera que otros laboratorios también «se suban al carro». El científico jefe de OpenAI también dijo que, cuando sea necesario, se debería coordinar la desaceleración y que, hasta que se implementen estándares de seguridad comunes, lo mejor sería que frenar voluntariamente se convirtiera en la norma.
Por un lado está el relato de la financiación de decenas de miles de millones y un IPO; por el otro, quienes construyen los modelos más fuertes son los que claman p(doom) y gritan que hay que pisar el freno. Lo aterrador de la teoría no son los adjetivos: es que ambos líderes de las partes reconocen lo mismo. La alineación aún no tiene respuesta, pero aun así se compite por ver quién corre más rápido… a menos que alguien afloje primero el acelerador.
