传奇程序员Fabrice Bellard推出了基于大语言模型的文本压缩工具ts_zip。该工具利用RWKV模型预测概率并配合算术编码,压缩率远超xz等传统工具,部分测试低至1.08 bpb。尽管目前依赖GPU且速度较慢,仅支持文本,但这标志着AI技术在数据压缩领域的重大突破与实际应用。
原文链接:Hacker News
传奇程序员Fabrice Bellard推出了基于大语言模型的文本压缩工具ts_zip。该工具利用RWKV模型预测概率并配合算术编码,压缩率远超xz等传统工具,部分测试低至1.08 bpb。尽管目前依赖GPU且速度较慢,仅支持文本,但这标志着AI技术在数据压缩领域的重大突破与实际应用。
原文链接:Hacker News
评论前必须登录!
立即登录 注册