Hacker News 热帖· amrrs·· 10 小时前AI 评分38
自建 LLM Proxy 以掌控多模型调用与数据可见性
If you don't run your own LLM proxy, how do you know whats going on?
AI 导读
作者主张自建 LLM Proxy 而非依赖厂商前端,以解决多提供商、多模型场景下的数据黑盒问题。通过统一端点控制日志记录、使用虚拟 API Key 隔离密钥及快速切换模型,用户可精准定位缓存未命中等推理细节。此举旨在让用户完全掌握基础设施、应用可见性及数据存储路径。
来源:Hacker News 热帖 · jrdsgl.com