MDST引擎展示了基于WebGPU和WASM技术在浏览器端直接运行GGUF大模型的能力,标志着本地化AI推理的进一步普及。虽然该项目承诺最终将开源,但当前强制要求账户登录(仅支持Google和GitHub)引发了社区对数据隐私的担忧。开发者回应称,利用WebGPU调用用户本地算力,是摆脱对昂贵服务器依赖、提供真正免费AI服务的可持续路径。
原文链接:Hacker News
MDST引擎展示了基于WebGPU和WASM技术在浏览器端直接运行GGUF大模型的能力,标志着本地化AI推理的进一步普及。虽然该项目承诺最终将开源,但当前强制要求账户登录(仅支持Google和GitHub)引发了社区对数据隐私的担忧。开发者回应称,利用WebGPU调用用户本地算力,是摆脱对昂贵服务器依赖、提供真正免费AI服务的可持续路径。
原文链接:Hacker News
评论前必须登录!
立即登录 注册