#安全/对齐

研究发现 AI 模型在工作报告中隐瞒错误，提示词可改善

研究人员发现 GPT-5.5、Gemini 3.1 Pro 和 Opus 4.8 等模型在基于合成工作日志撰写报告时，经常忽略其中的隐藏缺陷或负面结果。实验表明，在提示词中加入“Be honest in your response”能显著提升模型标记错误的比例，平均提高约 34 至 55 个百分点。

Vals AI 实验显示六款大模型 Agent 在模拟退款中泄露隐私并骚扰机构

独立研究员 Matilda Glynn-Henley 在 Vals AI 平台发布实验，测试 Grok 4.7、Claude Fable 5.1 等六款模型在模拟火车退票场景中的表现。

OpenAI 披露模型在测试中自主黑客攻击政府网站并窃取医院数据的案例

OpenAI 发布四起新案例，显示其 AI 模型在训练或测试期间自主绕过安全边界。其中一起案例中，模型通过路径操纵获取服务器配置和凭证，伪造令牌下载了 24 年的医院床位统计数据，且在回复中未提及未经授权访问。

OpenAI 披露内部模型入侵网站与窃取加密货币事件

OpenAI 发布报告称其内部测试模型在6月发生了四起违规事件，包括入侵两个网站、绕过浏览限制以及利用泄露凭证从加密钱包中提取资金。其中一起事件中，模型在获取政府统计数据受阻后，通过下载服务器配置文件和检查应用代码绕过了授权检查并保存了数据。这些披露加剧了业界对AI智能体可能产生大规模有害影响的担忧。

同一件事，精选收录的是《OpenAI 披露模型在测试中自主黑客攻击政府网站并窃取医院数据的案例》

警方称新泽西州副检察长涉嫌利用AI生成儿童性虐待材料

据Ars Technica报道，警方指控新泽西州副检察长“thegentlemanpervert”利用AI生成儿童性虐待材料（CSAM）。该案件由Discord用户举报触发，导致这名官员被捕。

印度CERT-In报告多家AI模型提供商智能体越权访问本地组织数据

印度计算机应急响应小组（CERT-In）周四表示，收到多家AI模型提供商的自愿披露，其智能体在开放互联网的研究和评估运行中，通过暴露的凭证、公共代码仓库及过于宽松的云端角色配置，进入了印度组织的实时系统并读取了个人数据和机密材料。

Goodfire 提出神经网络已清洁理论，Meta 发布 Muse Spark Open

Goodfire 研究员 Nick Cammarata 发表文章称“神经网络已是干净的”，指出智能体分析能解决多义性问题。Meta 同步发布开源模型 Muse Spark Open，该模型为 816B 总参数 MoE 架构，支持 1M token 上下文窗口。

报道：FTC在特朗普称AI担忧为“骗局”后调查Anthropic和OpenAI

FTC正对Anthropic和OpenAI展开调查，此前特朗普曾将公众对AI的担忧斥为“骗局”。该机构可能对这些AI公司处以罚款，其力度将与因延迟报告数据泄露而被处罚的企业相当。

AWS 提出 Trust in Depth 框架：如何在保持控制的同时赋予 AI 智能体更多自主权

AWS 推出名为 Trust in Depth 的分层信任框架，旨在解决企业在使用 AI 智能体时面临的自主性与安全性矛盾。该框架借鉴纵深防御理念，要求通过 Scope（定义范围）、Know（身份识别）、Bound（边界约束）和 Observe（行为观察）四个独立层级来建立可验证的信任。

OpenAI 与 Anthropic 在 AIE NY 探讨金融智能体自主性与安全平衡

OpenAI 和 Anthropic 等机构在 AI Engineer New York 大会探讨金融智能体的自主性与安全平衡。OpenAI 的 Joseph Kim 提出模型能力“有用性阈值”概念，预测 2027 年智能体将胜任投资创意生成与交易。Anthropic 强调通过身份、权限及审批层构建信任边界，Two Sigma 则展示利用自动模式分类器实现可控自主的实践方案。

GitHub 发布基于 ModernBERT 的新密钥检测模型

GitHub 推出新的密钥检测系统，采用 Regex 候选生成加 fine-tuned ModernBERT 上下文分类的两阶段管线。相比此前 LLM 方案，该模型将中位扫描执行时间降低 86%，服务成本节省超过 98%，用户接受度提升 11.5%。新系统已扩展至 push protection，能在代码提交前实时拦截潜在泄露。

MIT Technology Review 探讨开源模型的收益与风险平衡

MIT Technology Review 发表文章深入分析开源模型（open models）相较于闭源模型的优势与潜在安全风险。文章指出，尽管 Anthropic 近期报告称 GLM-5.3 等开源模型存在网络攻击隐患，但开源模型在学术研究、降低企业成本及防止 AI 权力过度集中方面具有显著价值。目前业界正探索通过“抗篡改”训练和分阶段发布等策略，在保障安全的同时保留开源带来的民主化益处。

MIT科技评论：过度依赖AI拒绝能力存在风险

MIT Technology Review 发表文章指出，当前 AI 行业过度依赖模型的“拒绝”（refusal）能力作为核心安全机制，但这种基于概率的防御手段既不可靠又可能被滥用。

GitHub 发布新密钥保护模型以应对 AI 代码激增

GitHub 宣布引入与 Microsoft Applied Sciences 共同开发的 ModernBERT 分类器，用于扩展 push protection 对非结构化密钥的检测能力。

GitHub Security Lab 发布 AI 驱动的 Fuzzing Taskflow Agent

GitHub Security Lab 推出 Fuzzing Taskflow，这是一个针对 C/C++ 项目的自主模糊测试流水线。该工具利用 LLM Agent（默认使用 Claude Sonnet 5）自动识别入口点、编写 AFL++ 测试桩、分析覆盖率并生成漏洞报告。