帖子

干啥啥不行 · 2026-09-07T00:48:00+08:00

抖音上有个bug 挑战赛，让AI修复真实后端代码bug，一样的项目，一样的提示词，一样的agent。有一期测试的内容是 deepseek-v4-flash 、 qwen3.8-flash、gemini3.7-flash和glm-5.3-flash。结果是：qwen3.8-flash 5分deepseek-v4-flash 3分gemini3.7-flash 3分glm-5.3-flash 2分glm垫底，跟论坛内的共识不一致啊。由此引出这个问题。

到处都是鹈鹕骑车测试，那后端怎么测试呢？

525

干啥啥不行2026-09-07
19482
抖音上有个bug 挑战赛，让AI修复真实后端代码bug，一样的项目，一样的提示词，一样的agent。
有一期测试的内容是 deepseek-v4-flash 、 qwen3.8-flash、gemini3.7-flash和glm-5.3-flash。
结果是：
qwen3.8-flash 5分
deepseek-v4-flash 3分
gemini3.7-flash 3分
glm-5.3-flash 2分
glm垫底，跟论坛内的共识不一致啊。
由此引出这个问题。
主楼
5 52
Eevee2026-09-07
5468
鹈鹕属于一眼就看出好坏优劣了
其他的测试就比较复杂
首先得准备测试环境，这个环境故意去做的话，也得花点功夫
然后是测试结果，也不好衡量
站内有位佬，就是自己准备测试环境，项目中藏了浅层深层甚至三层bug，通过比对 AI 对 bug 的挖掘、修复、使用时长综合打分
#1
chem12026-09-07
43839
问数学题目吧，比如糖果测试等等。
#2
干啥啥不行2026-09-07
19482
这个我试了，糖果测试基本都能答对，看不出差距。
#3
GloryDuck2026-09-07
8299
不是有专业的吗 deepSWE 测评
codex雷达站也用的这个
#4
mnhorark2026-09-07
21110
和我的共识是对上的，glm-5.3-flash 就是跑分区，蠢得要命这个模型^-^
#5

发表回复

登录后回复