代币是模型处理文本的基本单位

模型将文本切分为代币，而非直接切分为单词。理解代币单位有助于预算上下文窗口或解读API账单。