Tokenizer（分词器）
Tokenizer
把文本切分成token的部件。不同语言的切分方式不同，是韩语使用成本争议的根源。
简单来说
分词器是把文本切成模型能够处理的token片段的部件。具体在哪里切、怎么切，每个模型的设计都不一样。
关键在于，不同语言的切分效率并不相同——同样的内容，韩语往往会被切出比英语更多的token，这正是「明明说的是同一句话，韩语用户却要多付费」这一争论的根源。有关韩语专用模型或分词器改进的新闻，说的通常就是在降低这种低效率。
Tokenizer
把文本切分成token的部件。不同语言的切分方式不同，是韩语使用成本争议的根源。
分词器是把文本切成模型能够处理的token片段的部件。具体在哪里切、怎么切，每个模型的设计都不一样。
关键在于，不同语言的切分效率并不相同——同样的内容，韩语往往会被切出比英语更多的token，这正是「明明说的是同一句话，韩语用户却要多付费」这一争论的根源。有关韩语专用模型或分词器改进的新闻，说的通常就是在降低这种低效率。