基本條款

文集

文字正文,單數。Corpora 是其中的複數。示例:醫學期刊的集合。

詞彙

單詞及其含義。示例:英語詞典。但是,請考慮各個欄位將具有不同的詞典。例如:對於金融投資者而言,公牛這個詞的第一個含義是對市場充滿信心的人,與普通的英語詞典相比,公牛這個詞的第一個含義是動物。因此,金融投資者,醫生,兒童,機械師等都有一個特殊的詞彙。

代幣

作為任何一部分的每個實體都是基於規則分開的。例如,當句子被標記化為單詞時,每個單詞都是一個標記。如果你將句子標記為段落,則每個句子也可以是一個標記。