Taalas 推出超高速 AI 推理产品 HC1:每秒 1.7 万 tokens,成本功耗大幅优化

AI 硬件领域迎来新突破,Taalas 发布首款产品 HC1,搭载 Llama 3.1 8B 模型。该设备实现了惊人的推理速度,达每用户每秒 17,000 tokens,较现有技术快近 10 倍。同时,HC1 将制造成本降低了 20 倍,功耗减少 10 倍。虽然当前版本采用自定义 3-bit 格式存在轻微精度损失,但未来将升级至标准 4-bit 浮点格式以优化性能,用户现可通过 chatjimmy.ai 体验这一极速技术。

原文链接:V2EX 分享发现

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册