17.3.10 Tokenization 与词嵌入#

Transformer 处理的不是原始文字，而是向量；在一段文字变成模型输入之前，需要先经过两道关键变换：Tokenization（分词） 和 Embedding（词嵌入）。