跳到正文
Hacker News 热帖· jimauthors·· 1 天前AI 评分65

为何不应依赖 LLM 生成置信度评分

Using LLM for confidence scoring is a bad idea

AI 导读

作者认为让 LLM 直接输出置信度分数不可靠,因为该数值只是自回归生成的文本延续,并未反映模型实际掌握的信息量或经过校准。文章建议通过构建外部规则来评估置信度,即记录 Agent 的输入信息(如检索结果、一致性)与最终正确率的对应关系,以此计算真实的概率值。

来源:Hacker News 热帖 · rumple.github.io