huajun.wang
全站导航
首页
行业雷达
方法论
品类报告
国家市场
资源地图
首页
行业雷达
方法论
品类报告
国家市场
资源地图
总览
行业图谱
时间线
搜索
总览
行业图谱
时间线
搜索
三分词器处理同一代码结果不同
← 返回今日版面
研究
信号强度 0.7
1 条来源
来源
1 条
111, 133, 172: 三个分词器相同的192字符
作者将同一段中文代码粘贴到三个分词器中,得到不同token数量,引发对分词器准确性的讨论。
2026-11-04
D
Dev.to
dev.to
其他