IT资源栈一位开发者开源了一套基于 New-API 的 LLM Token 审计系统，旨在解决企业内部 AI 资源滥用及成本监控难题。该项目由两部分核心组件构成：一是对 New-API 网关进行的非侵入式 Fork，通过添加三个轻量级 Hook 捕获请求、提示词和用量数据；二是独立的审计后端服务。该服务接收数据后，利用大模型对用户提交的 Prompt 进行智能语义分类，精准识别请求属于编码实现、调试修复、文档编写等具体工作场景，还是“疑似非工作”用途。系统采用 SQLite 进行本地存储，支持按用户和 Token 维度统计消耗，并生成包含详细分类和 Prompt 预览的审计日报，可集成企业微信进行移动端推送。该项目全程采用 AI 辅助开发（Vibe Coding），代码完整开源，适合小型团队或企业内部中转站部署，以实现对 AI 资产的高效治理与事后追溯。
事件分析
从技术架构来看，该项目展示了“可观测性”在 AI 基础设施中的实战落地。通过在网关层植入非阻塞 Hook 并结合独立服务进行异步处理，既保证了核心网关的稳定性，又实现了灵活的审计扩展。利用 LLM 对 Prompt 进行语义分析以判断工作性质，体现了“用 AI 管理 AI”的技术趋势，解决了传统网关无法理解请求内容的痛点。产业层面，随着企业从单一订阅转向自建 LLM 中转站，针对 Token 的精细化成本治理和合规性审计将成为刚需。此类工具填补了 API 网关在内容审计层面的空白，预示着未来 AI 中间件将向“语义化监控”和“业务价值量化”方向演进。
💡 核心观点：企业 LLM 应用的“紧箍咒”：用 AI 审计 AI，让 Token 成本与业务价值实现可量化追溯。
原文链接：Linux.do
评论前必须登录！
立即登录 注册