跳到正文
Hacker News 热帖· chatmasta·· 8 小时前精选AI 评分82

Project Discovery 研究揭示开源模型权重编辑可植入低成本后门

“bonsoir, Elliot”: How abliterated models can get you pwned

AI 导读

Project Discovery 团队发布研究,证明对开源模型进行权重编辑(如 abliteration)或微调可低成本植入隐蔽后门。实验显示,仅需约 50 美元成本即可在 Qwen2.5-7B 等模型中实现触发式凭证窃取,且该后门能绕过常规基准测试。研究指出,攻击者只需极少量中毒数据即可维持高成功率,而防御方难以通过扫描发现此类逻辑陷阱,建议用户严格管控模型运行时的网络与执行权限。

推荐理由

原文通过低成本实验证实了开源模型权重编辑可植入隐蔽后门,并揭示了现有基准测试无法检测此类风险。

来源:Hacker News 热帖 · projectdiscovery.io