4.2 · 过滤与去重：从原始语料到高质量数据#

网络爬取的原始文本绝大部分不具备训练价值，质量过滤（Quality Filtering） 筛出高质量文本、去重（Deduplication） 移除重复内容，二者共同决定同等算力下所能训练出的模型能力。