MIT 用微调修复 Qwen 数学能力
← 返回今日版面主题综述
多源合成 · 增量更新麻省理工学院研究人员提出「权重空间编程」方法,让GPT-6 Astra直接修改Qwen3.5-0.8B模型约0.016%权重,使数学基准测试成绩提升至原来的6.1倍。该技术尝试直接修改模型权重,而非通过提示词或数据微调。MIT CSAIL团队实验让GPT-6 Astra直接检查Qwen权重,使数学成绩提升。爱范儿报道指出,通过「权重空间编程」技术,直接修改Qwen3.5-0.8B的131072个参数,使其数学成绩从7.9%提升至48.1%。Dev.to报道则称,通过编辑神经网络权重的0.016%,可以显著提升小模型Qwen3.5-0.8B在MATH、GSM8K和IFEval等基准测试中的表现。
来源
1 条MIT CSAIL的研究表明,通过编辑神经网络权重的0.016%,可以显著提升小模型Qwen3.5-0.8B在MATH、GSM8K和IFEval等基准测试中的表现。