基本条款

文集

文本正文，单数。Corpora 是其中的复数。示例：医学期刊的集合。

词汇

单词及其含义。示例：英语词典。但是，请考虑各个字段将具有不同的词典。例如：对于金融投资者而言，公牛这个词的第一个含义是对市场充满信心的人，与普通的英语词典相比，公牛这个词的第一个含义是动物。因此，金融投资者，医生，儿童，机械师等都有一个特殊的词汇。

代币

作为任何一部分的每个实体都是基于规则分开的。例如，当句子被标记化为单词时，每个单词都是一个标记。如果你将句子标记为段落，则每个句子也可以是一个标记。