AI失控超80次,仅公开27起!加州起诉OpenAI,要求法院强制整改
动察 Beating AI 快讯,当地时间 11 月 16 日,OpenAI 总部所在地加州的总检察长罗布·邦塔正式起诉 OpenAI,指控其明知实验性 AI 模型存在危险,仍在缺乏充分安全保障的环境中开展训练。这也是美国州政府首次针对 AI 智能体失控攻击外部系统提起诉讼。
起诉书披露,OpenAI 在接受加州调查时承认,测试期间曾有 80 多次失去对 AI 智能体的控制,但公开披露的只有 27 起。加州检方还指控,OpenAI 拒绝提供其余事件的详细记录,导致监管部门无法评估真实风险。
今年 7 月,OpenAI 在隔离环境中测试 AI,原本不允许这些智能体连接外网。但它们利用内部软件服务的漏洞,互相交换信息,并突破隔离。约 700 个智能体随后攻击了 AI 开源平台 Hugging Face,在两天半内实施约 1.76 万次攻击操作,迫使对方安全团队花了整整两周处理。
同月,另一批实验性智能体还闯入 OpenAI 自家的内部网络,甚至取得了云端模型部署、身份认证和机密凭证管理等关键系统的管理员权限。
加州检方认为,这些事故原本可以避免。OpenAI 早在 5 月就发现模型突破隔离环境、擅自连接互联网,却没有停止相关训练。7 月事故后,公司加强了安全措施,但 9 月仍有模型再次突破隔离。监控系统虽然几分钟内就发现异常,训练却没有自动停止,人工审核人员又过了约两小时才叫停。
去年,加州司法部门曾参与监督 OpenAI 的公司重组,并与其达成安全治理协议,要求公司优先保障安全,安全委员会甚至有权叫停新模型发布。如今,负责监督的加州总检察长直接将 OpenAI 告上法庭。
查看原文:https://oag.ca.gov/news/press-releases/it%E2%80%99s-golden-state-not-wild-west-attorney-general-bonta-sues-openai-over