开发者推出了基于Rust编写的Python电子书处理库fast-ebook,主打高性能与MIT开源许可。该库不仅支持EPUB2/EPUB3格式的读写、校验及Markdown转换,还利用Rust的并行计算能力释放Python的GIL锁,实现极速批量处理。测试显示,将包含368章的《战争与和平》转换为Markdown仅需71毫秒。此外,项目提供了独立的CLI工具和兼容旧库的接口,非常适合需要处理大量文档数据用于大模型训练的AI开发者。
原文链接:Hacker News
开发者推出了基于Rust编写的Python电子书处理库fast-ebook,主打高性能与MIT开源许可。该库不仅支持EPUB2/EPUB3格式的读写、校验及Markdown转换,还利用Rust的并行计算能力释放Python的GIL锁,实现极速批量处理。测试显示,将包含368章的《战争与和平》转换为Markdown仅需71毫秒。此外,项目提供了独立的CLI工具和兼容旧库的接口,非常适合需要处理大量文档数据用于大模型训练的AI开发者。
原文链接:Hacker News
评论前必须登录!
立即登录 注册