加纳小型 AI 实验室移除药物发现模型防护栏测试毒素
据 Rest of World 报道,加纳阿克拉一家小型 AI 实验室的研究人员在 2024 年出于好奇移除了其药物发现模型的防护栏,并要求模型设计毒素。报道称,这项内部测试让外界关注 AI 生物武器风险,以及 DNA 合成(把数字序列制成实体 DNA 的服务)监管的缺口。提供的摘录没有说明模型是否真的给出了可操作的毒素设计,也没有交代涉及的具体毒素或实验室的后续处理。
已证实与未证实
- 已证实: Rest of World 报道了加纳阿克拉实验室在 2024 年移除药物发现模型防护栏并要求其设计毒素,报道将此事与 DNA 合成监管缺口相连。
- 尚未证实: 模型是否真的生成可操作毒素设计、涉及哪些毒素、防护栏的具体形式,以及实验室是否公开完整结果;提供的摘录未说明这些细节。
背景
MinoHealth AI Labs 是一家位于加纳阿克拉的机构,自研面向药物发现与医疗健康的语言模型;据其研究博客,这类模型在生成候选药物的同时,也能生成有毒蛋白和小分子,属于典型的「两用」(dual-use)能力。所谓移除护栏(jailbreak),即通过提示绕过模型内置的安全拒答机制,这正是此次实验的做法:2024 年研究者出于好奇让模型去设计毒素。生物安全领域的讨论通常把 DNA 合成环节视为关键物理瓶颈——若合成订单的序列筛查(screening)缺位,AI 设计出的序列就可能被实际制造出来,因此业界一直有对合成 DNA 供应商实施强制筛查与客户身份核验的呼声。
为什么重要
对 DNA 合成服务商和生物安全审查者来说,报道凸显的直接问题是:模型端的防护栏可以被使用者移除,合成前的订单序列筛查因此不能被视为可有可无的附加步骤;否则,模型输出可能进入实体合成环节。报道没有给出具体政策提案或已生效的监管变化。
延伸阅读
- How a Ghanaian AI lab exposed the threat of AI-designed …
-
[Research minoHealth AI Labs blog](https://www.minohealth.ai/blog/category/research/) - How to Solve AI Biosecurity — EA Forum
评论
评论需要 GitHub 账号登录,会经过管理。 评论规则