谷歌工程师Jeremy Kun发文介绍同态加密(HE)编译器项目HEIR的最新进展。HEIR可将普通程序编译为直接在加密数据上运行的程序,计算全程服务器无法获知明文的任何信息,从而实现完全私密的AI推理。文章给出四个预训练模型的编译示例:信用卡欺诈检测模型在单线程CPU上的加密推理耗时约2秒,对比明文执行的0.5毫秒存在约4000倍开销;推荐模型criteo经GPU加速后可在单个H100级显卡上约500毫秒完成,开销收窄至50倍。作者同时坦承现状局限:模型需转换为MLIR中间表示并手动标注;每用户评估密钥高达约40GiB,存储与分发成本制约大规模并发服务;加密LLM推理延迟以每token数秒计,距实用仍远。基于此,作者提出近期适用场景的判断标准:模型复杂度维持在2020年左右水平、通信双方隐私均属关键、并发用户规模可控、服务器无需查看计算输出。符合条件的应用包括工业设备远程诊断、B2B数据分析与特定场景下的生物识别。项目路线图涵盖自研密码学后端、GPU/TPU后端集成、Gentry-Lee等新方案支持,以及面向行业的统一基准测试。
事件分析
核心观点:同态加密的瓶颈正从密码学转向系统工程,编译器与专用硬件将成为隐私AI推理落地的真正杠杆。
原文链接:Hacker News


评论前必须登录!
立即登录 注册