多模态模型传输优化新思路:以 Token 序列替代原图片能否大幅降低带宽?

针对多模态大模型在应用场景中因传输高清图片和视频而产生的巨大带宽与流量消耗问题,近期技术社区提出了一个极简但具启发性的优化设想。该提议认为,既然模型最终将媒体转化为 Token 进行处理,且一张图片往往仅对应不到 2000 个 Token,那么是否可以直接在本地端完成媒体资源的分词与编码,仅将生成的 Token 整数编号序列传输至服务器?这种“去媒体化”的传输方式若能实现,理论上能极大降低数据传输量,为解决多模态 AI 推理的高昂成本与延迟问题提供了新的探索方向。

原文链接:Linux.do

抢沙发

评论前必须登录!

立即登录   注册