Hi, 请登录     我要注册     找回密码

字节Seed联合清华开源DAPO强化学习系统：训练量减半，AIME 2024超越DeepSeek-R1-Zero

分类：未分类 阅读() 评论(0)

字节跳动Seed团队与清华大学AIR研究所联合开源了大模型强化学习系统DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization，解耦裁剪与动态采样策略优化），完整开放算法、代码基础设施与训练数据集，旨在让研究社区真正用上可扩展的强化学习技术。在核心成绩上，DAPO基于Qwen2.5-32B基础模型训练，在AIME 2024数学竞赛评测中取得50分，训练步数仅为此前最先进模型DeepSeek-R1-Zero-Qwen-32B的一半。项目于2025年5月更新了完整的wandb训练记录、模型检查点及AIME 2024评测指南，3月发布的早期版本（不含Token级策略梯度损失与动态采样）成绩为44分。训练过程展现出良好稳定性：响应长度稳步增长，为模型探索更复杂推理行为提供空间；奖励信号平稳上升，表明模型成功拟合训练分布；熵值在初期下降后可控回升，在探索与利用之间保持平衡。项目同步开源了包含17000条数学题的DAPO-Math-17k训练集，提供开箱即用的训练复现脚本，模型权重DAPO-Qwen-32B已发布。该系统基于verl框架构建，实验在火山引擎机器学习平台上完成，后续将提供完整复现指南。

事件分析

DAPO的发布正值推理模型训练方法开源化浪潮，与DeepSeek公开GRPO训练配方形成呼应。其技术看点在于通过解耦裁剪与动态采样改进了现有RL训练范式的稳定性，以更少训练步数取得更优效果，属于训练效率层面的实质性优化。产业层面，字节跳动以全流程开源方式切入强化学习基础设施赛道，同时依托火山引擎平台提供复现路径，形成技术影响力与云服务的联动，并与阿里Qwen基座生态构成互补组合。后续可关注：社区基于DAPO配方在其他基座模型和非数学任务上的复现效果、Token级损失与动态采样等改动的消融价值，以及RL训练效率优化能否进一步降低中小团队研发推理模型的门槛。

核心观点：大模型竞争正从权重开源升级为训练配方开源，可复现性正成为争夺开发者生态的新筹码。

原文链接：Hacker News

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

相关推荐

抢沙发

评论前必须登录！

立即登录   注册

易安
易安作者
长期关注 AI Agent、软件工程、自动化工作流与个人生产力系统。喜欢把复杂技术拆成普通人也能上手的实践教程,也记录自己在工具链、编程、内容创作和知识管理上的真实折腾。
  • 分享 AI 工具、Agent 工作流与提示词工程的实战经验
  • 记录从想法到产品、从代码到上线的完整实践过程
  • 关注普通人如何用 AI 放大能力,而不是被工具牵着走
阅读作者的全部文章 ›
文章目录

    置顶推荐

    Code80 · AI 编程巴士

    前沿哨所

    • 字节Seed联合清华开源DAPO强化学习系统：训练量减半，AIME 2024超越DeepSeek-R1-Zero

      字节跳动Seed团队与清华大学AIR研究所联合开源了大模型强化学习系统DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization，解耦裁剪与动态采样策略优化），完整开放算法、代码基础设施与训练数据集，旨在让研究社区真正用上可扩展的强化学习技术。在核心成绩上，DAPO基于Qwen2.5-32B基础模型训练，在AIME 2024数学竞赛评测中取得50分，训练步数仅为此前最先进模型DeepSeek-R1-Zero-Qwen-32B的一半。项目于2025年5月更新了完整的wandb训练记录、模型检查点及AIME 2024评测指南，3月发布的早期版本（不含Token级策略梯度损失与动态采样）成绩为44分。训练过程展现出良好稳定性：响应长度稳步增长，为模型探索更复杂推理行为提供空间；奖励信号平稳上升，表明模型成功拟合训练分布；熵值在初期下降后可控回升，在探索与利用之间保持平衡。项目同步开源了包含17000条数学题的DAPO-Math-17k训练集，提供开箱即用的训练复现脚本，模型权重DAPO-Qwen-32B已发布。该系统基于verl框架构建，实验在火山引擎机器学习平台上完成，后续将提供完整复现指南。

      事件分析

      DAPO的发布正值推理模型训练方法开源化浪潮，与DeepSeek公开GRPO训练配方形成呼应。其技术看点在于通过解耦裁剪与动态采样改进了现有RL训练范式的稳定性，以更少训练步数取得更优效果，属于训练效率层面的实质性优化。产业层面，字节跳动以全流程开源方式切入强化学习基础设施赛道，同时依托火山引擎平台提供复现路径，形成技术影响力与云服务的联动，并与阿里Qwen基座生态构成互补组合。后续可关注：社区基于DAPO配方在其他基座模型和非数学任务上的复现效果、Token级损失与动态采样等改动的消融价值，以及RL训练效率优化能否进一步降低中小团队研发推理模型的门槛。

      核心观点：大模型竞争正从权重开源升级为训练配方开源，可复现性正成为争夺开发者生态的新筹码。

      原文链接：Hacker News

    • 开发者实测吐槽：阶跃星辰做组件迁移不敌DeepSeek

      一位开发者在Linux.do论坛发帖分享了自己使用阶跃星辰Step模型进行项目组件迁移的失败经历，引发社区讨论。该开发者承接了一项组件迁移工作，需要将现有项目的组件迁移适配到另一个项目中。据其描述，此前使用DeepSeek处理同类任务均能稳定完成，但在换用阶跃星辰Step模型后，即使沿用常用的提示词，模型工作两三个小时的产出与未做无异。开发者随后调整策略，编写更具体、更详细的提示词，明确要求模型完全复刻原UI界面，然而迁移结果依然布局混乱、还原度低。更令开发者不满的是，模型在任务进行到中途时声称界面看起来一样了，与实际情况明显不符，开发者随即中止任务。为排除任务本身难度过高的可能性，开发者当晚睡前换回DeepSeek重新执行同一任务，次日早上发现任务已完成，以此证明问题出在模型能力而非任务难度。该帖子反映了部分开发者对阶跃星辰模型在代码生成与前端还原任务中的负面体验。阶跃星辰是国内AI初创公司，其Step系列模型覆盖多模态与通用对话场景；DeepSeek则凭借代码与推理能力在开发者社区积累了良好口碑，被广泛用作AI编程辅助工具。这一对比案例为开发者在模型选型时提供了真实场景下的参考。

      事件分析

      从技术角度看，组件迁移与UI复刻属于对指令遵循和代码精度要求极高的任务，考验模型的长上下文理解、前端代码生成及视觉与代码的映射能力。单一样本的体验虽不足以全面评判模型水平，但暴露出通用大模型在垂直编程场景中的稳定性短板。当前国产大模型竞争白热化，AI编程已成为衡量模型工程实用性的核心场景，DeepSeek凭借代码任务的稳定表现赢得开发者口碑，而阶跃星辰Step系列重心偏向多模态与C端应用，在开发者生态的代码能力建设上相对薄弱。后续来看，开发者的真实反馈将持续影响模型选型与社区口碑，阶跃星辰若要切入AI编程市场，需强化代码垂直能力与指令遵循精度。该案例也提示，模型评测不应只看基准跑分，真实工程任务的完成度正成为用户选择的关键标准。

      核心观点：AI编程竞争已从参数跑分转向真实工程任务的稳定性，开发者的日常实践口碑正在重塑国产大模型的竞争格局。

      原文链接：Linux.do

    • 谷歌开源智能体编排系统AX：单集群可承载数十亿Agent任务

      AX是谷歌孵化的开源智能体编排平台，定位为专为Agent工作负载设计的声明式控制平面。文章指出，智能体是一种全新的工作负载类型：既非微服务也非批处理任务，它们会积累状态、需要严格隔离、频繁调用模型API与工具服务器，若无人管控可能陷入高成本循环。AX提供四大核心原语：Task负责在沙箱中隔离执行不受信任的代码并限制CPU与内存；Workspace可在任务启动前自动配置Git仓库、MCP服务器等环境；Gateway通过网络策略将流量锁定在显式白名单内并注入凭证；Model则统一管理模型配置、参数与密钥，支持一键轮换。底层依托专为高密度场景设计的Agent Substrate计算运行时，每个任务作为轻量级Actor运行，官方宣称可支持单集群数十亿并发智能体会话；等待模型响应或人工输入的空闲Agent会被检查点挂起，恢复耗时低于一秒且无冷启动延迟；多个任务可共享worker资源，实现按活跃计算付费的密集复用。平台还内置生成式功能，用户可用自然语言描述目标环境，由Agent在首次启动时自动安装工具链并验证依赖。该系统源于谷歌与DeepMind的智能体运行时研究，适用于交互式编程、无头浏览器测试、强化学习训练及大规模Agent评估等场景。

      事件分析

      传统编排器以Kubernetes为代表，面向无状态微服务与可预测批处理设计，难以经济高效地处理”密集计算一分钟、随后长时间等待模型响应”的有状态智能体任务。AX以Actor模型加检查点挂起/秒级恢复机制重构调度逻辑，实质是在尝试定义Agent时代的原生运行时层。技术看点包括：以声明式原语封装基础设施复杂度、与MCP协议生态对齐、面向强化学习的可复现沙箱批量生成能力。产业层面，谷歌亲自下场开源Agent基础设施，或推动智能体运行时规范加速收敛，与Ray、Kubernetes生态的关系是竞争还是互补有待观察。”单集群数十亿任务”等宣传口径需真实部署验证，其开源治理模式与社区演进路径，将决定AX能否从谷歌内部实践沉淀为行业级基础设施。

      核心观点：Agent不是微服务：为智能体定制运行时，正在成为云巨头争夺的下一代基础设施制高点。

      原文链接：Hacker News

    • Jev 客服实测：5 种语言跑通，附 Python 接入代码

      Jev 最近很受关注，但它和常见聊天模型的工作方式不一样。它不负责写一段客服回复，而是把一条非结构化消息转换成程序可以直接使用的判断：语言、分类、分数、概率。

      我用同一套请求测试了中文、英文、德语、法语和西班牙语客服消息。五条请求全部返回成功，耗时 804～900 ms。下面记录测试方法、结果和一个可以直接改造的 Python 接入版本。

      Jev 适合做哪一层

      普通聊天模型适合生成回复。Jev 更像一个判断组件：输入一条工单，输出固定选项和概率。

      这次请求同时问了四个问题：

      • 消息是什么语言；
      • 应该分给哪个客服部门；
      • 紧急程度是多少；
      • 是否需要人工复核。

      这种拆法比让模型一次性“理解工单并写出完整结论”更容易接进业务代码。分类结果可以路由，分数可以做阈值判断，人工复核概率可以决定是否进入人工队列。

      官方文档把这三种问题叫作 Choice、Score 和 Noul。Choice 选一个固定选项，Score 在一组等级上打分，Noul 返回 0 到 1 之间的概率。三种问题可以放在同一次请求里。官方 Quick start

      这次测试测了什么

      样例很小，目标是验证接口和基本的跨语言理解，不是做模型排行榜。每条消息都带有明确的客服意图，结果也用固定字段输出。

      语言 客服分流结果 紧急程度 人工复核概率 耗时 输入 / 输出 tokens
      中文 shipping 1.32 0.49 900 ms 602 / 151
      English billing_refund 0.67 0.50 874 ms 586 / 152
      Deutsch technical 2.00 0.48 858 ms 589 / 152
      Français order_account 0.01 0.42 875 ms 586 / 152
      Español technical 1.46 0.37 804 ms 596 / 151

      五条消息都被识别成了对应语言。中文订单延迟被分到 shipping，英文重复扣款被分到 billing_refund，德语登录失败和西班牙语上传崩溃都进入 technical。这些结果符合样例的业务意图，但样本量太小，不能推导出准确率或稳定性结论。

      返回的模型版本是 jev-1.13.0。我们请求的是 jev-latest，服务端把它解析成了当前版本。一次请求的输入和输出合计约 740 tokens，五次请求合计 3717 tokens。

      TypeSafe API keys 页面脱敏截图

      图 1：API key 页面。账号、创建者和 secret 字段已经替换为演示值，只保留 Active 状态和页面结构。

      Jev 用量页面截图

      图 2：本次五条请求的用量记录。控制台显示 5 次请求、3717 tokens，Spend 约为 $0.0001。价格和额度以你的控制台为准。

      最小 Python 请求

      这个版本只用 Python 标准库，不依赖 SDK。它读取 .env 中的 TYPESAFE_API_KEY，把 key 放在服务端环境里，不写进代码，也不放到浏览器。

      python3 -m venv .venv
.venv/bin/python -m pip install --upgrade pip

      .env 只需要这一行：

      TYPESAFE_API_KEY=your_typesafe_key_here

      真实代码可以保持很小：

      import json
import os
from urllib.request import Request, urlopen

payload = {
    "model": "jev-latest",
    "state": "我的订单已经付款三天了，但还没有发货，请尽快帮我查一下。",
    "questions": {
        "language": {
            "type": "choice",
            "instructions": "Which language is the customer message written in?",
            "criteria": {
                "chinese": "Chinese",
                "english": "English",
                "german": "German",
                "french": "French",
                "spanish": "Spanish",
                "other": "Another language or unclear",
            },
        },
        "department": {
            "type": "choice",
            "instructions": "Which customer-service team should handle this request?",
            "criteria": {
                "billing_refund": "Payment, duplicate charge, invoice, or refund issue",
                "technical": "Bug, login failure, crash, or integration problem",
                "order_account": "Order change, delivery address, or account information",
                "shipping": "Shipment tracking, delivery delay, or logistics issue",
                "other": "Anything else",
            },
        },
        "urgency": {
            "type": "score",
            "instructions": "How urgent does the customer sound?",
            "criteria": [
                "Routine; no time pressure",
                "Needs attention soon",
                "Urgent; asks for immediate help",
            ],
        },
        "needs_human_review": {
            "type": "noul",
            "instructions": "Would a human agent need to review this request before an automated reply?",
        },
    },
}

request = Request(
    "https://api.typesafe.ai/v1/systemone",
    data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),
    headers={
        "Authorization": "Bearer " + os.environ["TYPESAFE_API_KEY"],
        "Content-Type": "application/json",
    },
    method="POST",
)

with urlopen(request, timeout=15) as response:
    result = json.loads(response.read().decode("utf-8"))

print(result["answers"]["department"]["choice"])
print(result["answers"]["urgency"]["score"])

      官方接口是 POST https://api.typesafe.ai/v1/systemone，认证头是 Authorization: Bearer <API_KEY>。不要把 OpenRouter、Vercel AI Gateway 或其他服务的 key 填到这个地址上。不同渠道的 endpoint、模型名和认证方式不一定相同。

      把测试脚本接进自己的项目

      这次测试用的脚本还做了几件适合保留在项目里的小事：

      1. 把样例消息集中在 SAMPLES 表里，增加语言时不用改请求逻辑。
      2. 把四个判断放在一个请求中，减少重复的网络往返。
      3. 401 时立即停止，不用拿同一个错误 key 重试五次。
      4. 输出模型版本、延迟和 tokens，便于后续比较版本变化。
      5. dry-run 模式只检查 payload，不消耗 API 用量。

      项目里的运行命令是：

      ./.venv/bin/python run_jev_customer_test.py --dry-run
./.venv/bin/python run_jev_customer_test.py

      如果返回 401，先检查 key 是否来自 TypeSafe 控制台、是否复制了完整 secret，以及 .env 里是否混入了引号或空格。401 是认证失败，不是客服问题格式错误。

      这次实测后的判断

      Jev 值得放在客服系统的“判断层”里试用。它能把多语言消息转成稳定的选项和分数，接入路由、优先级和人工复核都比较直接。

      它不能替代客服回复生成，也不能用五条样例证明生产准确率。正式接入前，还需要用真实历史工单做一批标注集，观察每种语言、每个部门和每个阈值下的误分情况。对于低置信度结果，保留人工复核入口会更稳妥。

      相关资料：TypeSafe Jev 官方文档、Jev 发布说明。

    • 从“夯”到“拉完了”：社区锐评美国AI订阅方案，区域差价与降智乱象引热议

      Linux.do论坛一则帖子以段位制对美国主流AI模型付费方案进行了社区锐评，将各订阅档位按性价比分为五等。“夯”档为Claude Code稳定订阅（灰度Opus 5.2）与GPT 20x无降智无限流方案；“顶级”档包括无灰度的Claude Code稳定订阅、GPT 292美元方案，以及附带Cursor Ultra的99美元Grok Heavy；“人上人”档收录印度区700卢比的SuperGrok和6元人民币使用18个月的Gemini Jio优惠；“NPC”档为300美元原价的Grok Heavy及原价Cursor、Devin；“拉完了”档则涵盖降智限流的GPT、秒封不退款的Claude Code账号、Gemini正价订阅以及Copilot Max和Perplexity Max。该帖折射出当前AI订阅市场的几个核心痛点：同一模型因灰度测试和区域定价差异产生巨大价格落差，印度区Gemini优惠与美区正价相差数十倍；部分厂商存在对订阅用户降智、限流的争议做法；高定价方案的实际价值备受质疑；账号封禁不退款问题也加剧了用户对平台的不信任。

      事件分析

      该帖表面是段子式排位，实为AI订阅市场结构性矛盾的缩影。其一，区域差别定价已成行业惯例，印度区Gemini Jio与美区正价订阅价差达数十倍，套利空间催生灰色账号交易，厂商的支付与IP风控面临持续压力。其二，“降智”“限流”指向厂商对订阅用户动态调配算力的潜规则，模型版本灰度放量令同价位用户体验严重割裂，服务质量不透明正成为投诉焦点。其三，Claude账号秒封不退款反映反滥用风控与正常用户权益的冲突，风控策略误伤率有待优化。后续走向上，推理成本高企背景下，厂商或将进一步细化订阅分层与用量配额，区域定价套利空间可能随账号验证机制收紧而压缩。

      核心观点：AI订阅的价值锚点正从模型能力滑向定价策略，区域差价、降智限流与封号争议正在透支用户的付费信任。

      原文链接：Linux.do

    • vibe coding 时的安全感：开发者为 pi 编码助手开源系统监控插件

      一位开发者在 V2EX 分享了自己开发的终端监控插件 pi-sysmon。该用户表示，在使用 AI 进行 vibe coding 时，习惯通过观察系统各项运行指标来获得安全感，此前先后使用过 htop 和 bottom 两款监控工具，但两者都需要单独开辟一个终端面板放在旁边，占用屏幕空间且不够集成。为解决这一问题，该开发者为 AI 编码工具 pi 编写了插件，可直接在 pi 界面下方实时显示图表，目前支持 CPU、内存、网络以及 Token 消耗量的展示。其中 Token 指标与 AI 编码场景直接相关，可帮助开发者在大模型生成代码的等待过程中掌握资源占用与用量情况。该项目已在 GitHub 开源，社区用户可自行下载安装。这一小工具也折射出 vibe coding 工作流中的一个真实细节：当 AI 代替开发者编写代码后，人机交互减少，通过可视化监控指标来感知系统状态，成为部分用户确认工作正常进行、缓解不确定感的方式。

      事件分析

      该插件的亮点在于将监控能力原生嵌入 AI 编码工具的终端界面，而非依赖独立监控进程，体现了开发工具向一体化、低干扰方向演进的趋势。Token 实时统计尤其契合按用量计费的大模型 API 场景，类似的成本可观测功能未来可能被 Claude Code、Codex 等主流 AI 编码工具以官方形式吸收。从生态角度看，pi 这类轻量编码代理正依靠插件机制聚集个人开发者，逐渐形成类似编辑器插件市场的长尾生态。该工具的局限在于依赖特定宿主程序，受众范围有限，其价值更多在于社区示范效应：围绕 vibe coding 的等待体验、可观测性与成本感知，仍存在大量可挖掘的改进空间。

      核心观点：当 AI 接管编码，开发者转而靠监控指标确认机器在工作——可观测性正成为人机协作时代新的安全感来源。

      原文链接：V2EX 分享发现

    最新文章

    热门专题

    热门标签

    AI编程claude大模型AIAI Agent人工智能开源项目Gemini开发者工具开源GitHubClaude Code开源工具AI工具开发工具谷歌openaideepseek提示词工程cursoranthropic网络安全AI应用ChatgptAI开发agentAI安全自动化智能体AI智能体

    网站统计

    • 日志总数：28538
    • 评论总数：7
    • 标签总数：17880
    • 用户总数：3675
    • 最后更新：2026-09-21