4.1 数据从哪来：Common Crawl 与网页正文#

大模型预训练文本的绝大部分来自公开互联网的月度快照 Common Crawl，而快照本身是混杂广告、导航栏、乱码与低质内容的原始 HTML；将其转化为可训练的干净正文，依赖一整套工业级数据处理管线。