huajun.wang

三分词器处理同一代码结果不同

← 返回今日版面
研究信号强度 0.71 条来源

来源

1 条

作者将同一段中文代码粘贴到三个分词器中,得到不同token数量,引发对分词器准确性的讨论。

2026-11-04DDev.todev.to其他