一家公司开始为自己的研究方向写规矩。
OpenAI在周一发布了一组关于前沿人工智能安全与保障的建议，重点放在对齐研究和一种叫递归自我改进的技术上。后者指的是模型在不经人干预的情况下升级自己，也是当下最受关注的方向之一。
建议里有一句写得很直白。完全自主的递归自我改进今天并没有发生，除非能安全地进行，否则不应该去追求。这段话的分量在于，它把最诱人的能力直接放进了需要暂缓的清单，公司还提到，如果不加谨慎，这项技术可能让人类对研发过程失去实际控制。
它同时呼吁国际协作，在各国既有的人工智能安全机构基础上建立前沿标准，把自动化的研究人员也纳入收益与风险的管理范围。与被外部核验接轨，等于给自己留了一条可以被检查的路径。
背景并不平静。上周竞争对手拿出了自己的一套方案，此前一名研究者的公开离职信让这个话题升温，公司负责人在文章里呼吁放慢基础模型的推进速度，两家公司都在为同一个问题交出各自的答卷。
给自己的研究立规矩，最难的从来是执行那一步。
#人工智能 #安全
OpenAI在周一发布了一组关于前沿人工智能安全与保障的建议，重点放在对齐研究和一种叫递归自我改进的技术上。后者指的是模型在不经人干预的情况下升级自己，也是当下最受关注的方向之一。
建议里有一句写得很直白。完全自主的递归自我改进今天并没有发生，除非能安全地进行，否则不应该去追求。这段话的分量在于，它把最诱人的能力直接放进了需要暂缓的清单，公司还提到，如果不加谨慎，这项技术可能让人类对研发过程失去实际控制。
它同时呼吁国际协作，在各国既有的人工智能安全机构基础上建立前沿标准，把自动化的研究人员也纳入收益与风险的管理范围。与被外部核验接轨，等于给自己留了一条可以被检查的路径。
背景并不平静。上周竞争对手拿出了自己的一套方案，此前一名研究者的公开离职信让这个话题升温，公司负责人在文章里呼吁放慢基础模型的推进速度，两家公司都在为同一个问题交出各自的答卷。
给自己的研究立规矩，最难的从来是执行那一步。
#人工智能 #安全
