后训练数据没有公共池：大模型开源生态的隐形鸿沟

Hacker News 上的一个讨论指出，大模型训练通常分为预训练与后训练两个阶段：预训练阶段已有 Common Crawl、The Pile 等大规模公开语料构成的’数据公共资源池’，任何研究者均可获取使用；而后训练阶段（包括监督微调、基于人类反馈的强化学习、偏好优化等）至今没有与之对等的公共数据集。高质量的后训练数据——如指令跟随样本、人类偏好对、推理链轨迹——基本掌握在 OpenAI、Anthropic、谷歌等头部实验室手中，被视作核心竞争力而不对外公开。社区虽有一些开放尝试，如 OpenAssistant、Tulu、UltraFeedback、LMSYS-Chat-1M 等数据集，但规模与质量同工业级数据存在明显差距。讨论认为，这种’预训练有公共池、后训练无公共池’的不对称，正在成为开源模型与闭源模型在对齐能力、指令遵循和推理表现上拉开差距的关键原因之一，同时也削弱了学术研究的可复现性。参与者还探讨了由公共机构或社区共建后训练数据集的可行性、数据贡献激励机制缺失，以及高质量标注成本高昂等现实障碍。

事件分析

核心观点：算力和权重都能开源，后训练数据才是大模型真正的隐形护城河，数据公共品缺失将固化AI寡头格局。