Hacker News 热帖· jimauthors·· 1 天前AI 评分65
为何不应依赖 LLM 生成置信度评分
Using LLM for confidence scoring is a bad idea
AI 导读
作者认为让 LLM 直接输出置信度分数不可靠,因为该数值只是自回归生成的文本延续,并未反映模型实际掌握的信息量或经过校准。文章建议通过构建外部规则来评估置信度,即记录 Agent 的输入信息(如检索结果、一致性)与最终正确率的对应关系,以此计算真实的概率值。
来源:Hacker News 热帖 · rumple.github.io