一款由30人团队研发、耗资3000万美元的新型AI芯片近日引发热议。该芯片专为LLM设计,据称实现了每秒2万Token的惊人生成速度。通过在线平台chatjimmy.ai的实测显示,生成短篇小说几乎是瞬间完成,彻底消除了传统LLM的生成延迟。这一技术突破展示了专用集成电路(ASIC)在AI推理领域的巨大潜力,若技术属实,将大幅降低推理成本并重塑大模型的应用体验。
原文链接:Linux.do
一款由30人团队研发、耗资3000万美元的新型AI芯片近日引发热议。该芯片专为LLM设计,据称实现了每秒2万Token的惊人生成速度。通过在线平台chatjimmy.ai的实测显示,生成短篇小说几乎是瞬间完成,彻底消除了传统LLM的生成延迟。这一技术突破展示了专用集成电路(ASIC)在AI推理领域的巨大潜力,若技术属实,将大幅降低推理成本并重塑大模型的应用体验。
原文链接:Linux.do
评论前必须登录!
立即登录 注册