让一个模型出题给其他模型做，交叉验证

那就会陷入以谁为准的证明难点

投票的话 也会陷入共识性错误的问题

训练集/测试集/验证集

以谁为准

交叉验证不存在以谁为准的问题，只是其中的设计将会有点复杂，评分也会出现歧义

我觉得也只能不公布具体题目，仅公布题目的考察方向，同时强调仅供参考。具体好不好用其实无法给出一个准确答案，在某些特定需求上Astra可能完全比不上豆包

定期解禁上期题库并发布新题库重测，还可以顺便看看哪个闭源模型偷偷降智

我看了一些专门评测的厂商的做法 也是这样的

虽然不能验证这一代，但是可以开放历史题目验证上一代模型。问题是开放出来又由谁去评估权威性呢？

敢开放意味着欢迎来 battle 虽然不一定有人来挑毛病