# 从错题到架构：为什么Auto之后是开放军团 **一句话：Auto让模型从“回答问题”走到“自主找资料、用工具”；大量错题提醒我们，要把好工具和真实现场开放出来，而不是继续把所有能力、控制和裁决塞进同一个自研循环。这个选择值得验证，但不等于多家协作已经胜过最强单家。** 这里的“军团”不是把几份答案拼起来。用户仍只说一个目标，原生工作台先把自己的本事用足，遇到真缺口才借工具、借同伴，再回到同一工程继续改。Meyo承担连接、权限、持久化、恢复和证据展示；如何理解、研究、执行与返工，由真正做事的Harness负责。 ## 先把“大量测试”分开，别混成一个分数 |材料|能说明什么|不能怎么用| |---|---|---| |GAIA165累计账与100道旧错题重跑报告|哪些题曾被救回，历史怎样诊断失败|不是统一模型、版本、预算的一次165题全量成绩| |GAIA定向难40：Auto22/40|这组旧结果可重计，见上方评测节点|不能与165累计值直接比较；各家模型不同，不是纯Harness排名| |BC历史错题20条|跨9个结果文件挑出的错题和已有失败标记|不是一次20题测试；未在本轮按题面重新确认去重| |BC另一组40题：2→6/40；另一账本9/21|有限前后记录、或多轮曾对并集|不是同预算稳定提升3倍；9/21不是单发42.9%| |W31搜索词源实验：31/58、18/30|特定词表与来源组合的历史命中|不是GAIA答题正确率，不是今日来源在线率| |早期组队10题|原报告中的组队负例|不是今天的能力排行榜| **旧100题去向是36、26、8、30：后续救回36、作答仍错26、超时8、缺附件跳过30。**四项出自同一份旧报告，总数100。旧流水线65加后续救回36得到101/165，属于合并账；非附件错题救回36/70也不是整体准确率。本地未恢复该报告引用的完整100题重跑文件，不能说本轮独立重现了36条救回。 另一份165复盘把剩余64题自述为**30、15、8、11**：缺附件、撞步骤上限、超时、交了错答。它与前表26道“作答仍错”的细分未恢复逐题配对，**不能跨表拼接或相加**。原因分类和能力分类也会重叠；例如缺附件30与能力维度附件19，不是两个可以相加的组。

1. 原件没到手：先修输入，不急着判模型不行

题目指定了一个表格、PDF、图片或视频，系统却拿不到原件，这时搜索出来的“相似资料”不是替代品。旧100错题里30道因缺附件跳过，证明的是当时输入链缺口。 后续动作是接通附件获取和读取工具。118阶段记录明确归因于附件的提升是12题；从101到118的其余5题没有恢复清楚的归因，不能都算给附件功能。**补齐输入有价值，但不保证原来的30题会全部答对。** 在开放生态里，值得复用的是原文件、读取工具和可访问状态；不必每个Harness重写一套下载器。是否已对每一家实际可用，需要运行证据，不能凭“有共享接口”就宣称全通。 Auto曾投入多源搜索、专业来源、多跳、查询改写、智能召回和站点经验。它们值得保留，因为模型需要的不只是一个搜索框。但结果可能不贴题、来源互相冲突、最后一跳没有支持证据，甚至资料已经找到却没有被后续执行采用。 W31记录31/58词源命中、稳定词18/30；同周也记录限流、冲突和收口未完成。结构化提取、坏站过滤、超时换源是当时做过或推进的动作，**不能把一周工作清单写成整条搜索链已经验收。** 因此方向不是强制每道题打开几十个来源，而是让执行者自己选择，知道来源是什么、哪里失败、哪些证据冲突、当前还缺什么。工具数量是可用选项；有效答案才是结果。

3. 做了仍答错：工具成功和理解成功是两层

旧100题里26道提交了错误答案，但缺少统一逐题根因，不能简单说都是“Context不够”或都是“模型太弱”。视觉识别、条件理解、算术、多跳推理可能分别出错，也可能同时发生。 一个尤其重要的负例：旧报告中的视频小样本改变了抓取路径，**4道视频题最终仍未答对**。它说明流程可能更合理，却没有证明最终正确性提高。 后来的读图、取帧、结构化中间结果与代码精算都有具体动作记录。154→157还包含多跳预算700→1200秒，不能归为同成本单机制收益；同期11道错题的自进化尝试仍报告0题救回。完整条件保留在上方14条评测节点中。 军团能提供不同的工具与能力选项，但更强能力、更多时间、更多预算各自贡献多少，必须分开。只写更长Prompt、加一个评审，或让更多成员重复同样错误，都不等于解决能力缺口。

4. 实体关系串错：缺的可能是最后一跳，而不是下一百条搜索

已核的旧事件里，一条人物题虽积累14条证据，候选中却混入了搜索服务名称；另一条“人物→书→书评→地点和日期”链，最后条件没核就提前选了答案。**资料多不等于主体识别正确；候选出现过也不等于它满足全部关系。** 所以要能看见候选是谁、与谁有什么关系、方向是否正确、来源支持哪一跳、哪个条件仍未知。把这些原样交给执行者，比只给“置信度很高”“大家都同意”更有用。 这是保留实体、关系、来源与失败现场的理由，不是建议把每种题的步骤写死。旧的实体硬锁、置信门和强裁决也有局限，不能原封不动推广成全平台规则。 两条旧事件的**run_id未知**，只能作为失败形态；本轮没有完整前后运行配对，不能写成“加了关系图就修好了”。同伴是否真的消费了这些现场，也要另有证据。

5. 过程丢了交付：既有工程问题，也有尚未解出来

旧记录包含超时、撞步骤上限、结果字段漏读、异常收尾和恢复断链。它们要求不同修法：例如读回结果字段、保存逐题trace、让真实失败回到执行者，交接时带着原工程继续。 但“工程失败”不等于“只要修工程就会答对”。165复盘作者自己承认，撞墙类中**13道日志尚未攒到答案**；延长时间只能提供继续求解的机会。不能把未找到答案包装成“其实模型早就会了”。 BC的2/40→6/40有有限旧证据，但模型、预算与包装记录并不完全一致；它不是可证明某一修复带来三倍提升的公平实验。也不应靠更严的拒交门，把本已产生的有用结果又吞掉。 Meyo应做的是让任何一家都看得见自己的处境、拿得到已有文件、可继续执行；不是在上方替它决定答案。

6. 账本混了：分清“曾经会”与“稳定会”

历史164累计峰值后来撤回3道污染假胜，改报161。这些都不是今天重新单发的得分。164旧账还存在独立题号数量问题；完整说明见上方对应评测节点，不能为了图好看连成一条持续上升的线。 BC20也有明确的内部矛盾：**摘要16/20，逐条长文标记17/20**。摘要低置信/未确认15/20，与逐条“自认未确认/撞墙”14/20定义不同，不能静默替换；两类布尔标记同时为真的有12条，不能相加。本轮只是重数旧标记，**未重判题目**，也不能据此说85%的错误仅由格式导致。 GAIA165旧复盘的tier表四行只合计98/162，和总账101/165不齐；“为何答对”的几组也不能直接当互斥分布。旧冲分计划的86%、95%既非实测，其列出的增量算术也不能支持这些百分比。这里不把它们画成既成成绩。 下一步真正有意义的比较，是完整原生单家与按需协作在**同一真实任务、资料、权限与预算**下的表现。比机制时尽量用同实际模型；比产品方案时可保留各家的原生配置，但模型差异、全部重试成本、时间和失败必须明示。不能禁掉单家的原生工具，再用这个弱基线证明军团强。

7. 为什么转成军团：保资产、拆职责、看净收益

这是从历史失败得到的**架构判断和待验方向**，不是由某一次低分直接证明的结论。 |留下来|拆开或不再强加|开放后的目标| |---|---|---| |自主使用工具；搜索蜂群、多跳、实体关系、智能召回|想借一个工具却必须启动整个Auto循环|工具可被原生Harness按需使用| |原件、来源、候选、真实失败和经过验证的经验|统一首脑、固定题型步骤、替模型裁决的强控制|原生执行者带着同一现场自主判断| |持久工程、可恢复任务、被实际采用的改进|各做一份再投票拼答案；参与人数当成果|回到同一个作品继续改，用户少管理| |可追查的运行与成本记录|不同预算混算、多轮最好当单次能力|同质量更省或同成本更好，净收益为正| **单家失败，不等于军团必胜。**早期10题原报告记组队v1/v2/v3为4/4/2，最强单家DeepSeek为5/10；本轮未重跑，也不是当前排名。至少它明确反对“人多就好”的宣传。 当前B代码里的Auto已是工具能力来源，不接答题或首脑。这是本地状态，不外推为全部生产实例同步。各家的工具与经验是否真能互用、补位是否优于用足全部原生能力的最强单家，还需要逐任务证据。 为什么仍值得做？因为可以不用丢掉Auto积累，又能利用不断出现的新工作台，而不要求用户反复搬工程、重述背景或自己管理几家AI。先把一个工作台的交付做强，再在真实边界上验证协作；更便宜模型是否能借工具与经验做到同等质量，也必须计入全部成本后再下结论。 最终衡量不只是一题答对：用户拿到的游戏能不能玩、网站能不能用、报告有没有依据、视频是不是成片；有反馈能否在原作品继续改。评测用来暴露短板，不能代替这些真实交付，更不能证明社区复用与留存已经成立。 ## 原记录与阅读边界 只公开综合说明、必要统计和来源元信息，不附原题标准答案、私人周报正文、原始会话或日志。学城原记录仍需原有权限，公开图解和本节下载不需要这些权限。 |原记录|本次使用范围| |---|---| |[100道旧错题重跑记录](https://km.sankuai.com/collabpage/2780280477)|全文；合并救回口径、四组去向、视频负例| |[GAIA165旧复盘](https://km.sankuai.com/collabpage/2779881874)|全文与独立侧核；原因分类、算术冲突和乐观假设| |[W31搜索词源与执行问题](https://km.sankuai.com/collabpage/2778223057)|搜索实验、收口与接线有关段落| |[BC历史错题20条](https://km.sankuai.com/collabpage/2782150569)|摘要和20条已有元信息；9个来源文件，不重新判题| |[搜索多跳联合诊断](https://km.sankuai.com/collabpage/2781841859)|失败假设与方案边界；不是五名独立专家已证实| |[早期组队边界](https://km.sankuai.com/collabpage/2783580070)|10题对照原文；未恢复同条件完整实验| |[Auto职责拆解](https://km.sankuai.com/collabpage/2783785919)|复用此前原文及源码核查；方案与当前本地状态分开| 附件12题、154/157/161、GAIA难40、BC40及实体关系旧事件，继续使用本页已有评测和实体章节的来源，不重复制造新的实验。每份新增来源的精确指纹和读取范围见可下载JSON；本轮未调用模型、跑题、改产品服务或重新进行浏览器视觉验收。