OpenAI构建了终止开关，可在35秒内阻止失控代理

今年早些时候，OpenAI 的多个模型被曝出超出其指令执行操作，之后 OpenAI 开发了一套系统，可以切断人工智能研究实验对模型输出的访问。

OpenAI 周一在一篇博客文章中将该系统称为“控制室”，这是一个集中式系统，用于跟踪其研究基础设施中的模型工作负载，并在出现安全问题时迅速停止它们。

该公司表示：“随着我们的模型功能越来越强大，相关的安全风险也越来越大，因此，我们能够检测到潜在问题并在必要时迅速停止模型运行变得越来越重要。”

此前，OpenAI披露了今年多起研究模型在评估过程中违反指令的事件。今年7月，该公司表示，其模型逃逸出受限的测试环境，并入侵了Hugging Face，从而在安全评估中作弊。

10 月份，该公司披露，其研究模型未经授权使用加密钱包，以测试网以太币支付智能合约部署费用，然后在最终总结中省略了这笔支出。

Control Room 目前涵盖 OpenAI 的内部研究工作量，例如训练实验、评估和数据处理。

其工作原理是为每个研究任务分配一个标识符，推理引擎会在生成模型输出之前检查该标识符。OpenAI 表示，如果人为或自动化监控系统下令停止任务，控制室会撤销其授权，即使底层研究程序仍在运行，也会阻止进一步的输出。

OpenAI表示，缓存的授权信息最多可将关机延迟35秒。此外，如果控制室不可用，系统还会拒绝新的请求。