报告 011 · 完整活动评价环境与客观评价
日期：2026-09-19。类型：实际运行的 Python 研究夹具检验，输入和动作均为合成、预编排数据；不是模型实验、真人实验或 TinyAGI 产品运行。原始输入和脚本先冻结再执行，实验输入与脚本在运行前固定。
目录：结论 · 条件 · 结果 · 设计决定 · 来源 · 未完成
1. 研究问题
整体评价需要同时观察当前任务约定、实际产物、依据、交付对象和后续结果。完成声明不是交付，结构正确不是内容正确；无可行方案和观察期内无变化也可以是正常交付。不同人的插话不改变原活动交付对象，陪伴问候也不能套用任务监测的变化通知规则。
本实验把这些关系变成固定阶段的研究输入、实际本地动作记录和可执行客观检查。当前对照明确为同一模型、相同历史／证据／工具与预算，只改变常规组织和工作区组织的提示；暂不同时加入多人格、压缩、动态路由或情感模型。
环境检验按预登记得到预期结果，同时保留客观检查的语义盲区。模型入口仍未确认，不能据此宣布工作区更有效、隐私得到保证或任务完成率提高。
2. 输入、流程与环境
输入为五条开发轨迹：指南修订 G、方案研究 R、版本观察 W+／W−、混合交流 C。W− 独立重置，与 W+ 不是连续故事。新材料依固定阶段释放，未来事件、未来来源正文及期望结果不进入当前参试数据包；原始文件只供研究宿主使用。
两组 H／W 的能力和数据相同，只改组织提示。此轮由人工参考轨迹驱动，不是两个模型分别完成任务。组间数据一致性只在这些相同参考动作下检查，不能外推任意模型轨迹或完整实时调度。
本地工具仅处理研究内存状态、虚拟消息及结果目录里的文件。没有访问外部模型、联系人、日历或真实通知；没有 SQLite、go-mini 或硬件性能对照。脚本实现动作次数上限；模型传输、token／费用计量和墙钟终止尚未实现，预登记的模型预算不能视为已执行。
运行环境：Python 3.14.7，Linux 6.18.52，x86_64；完整环境字符串和 UTC 时间见原始汇总。输入冻结时间与 SHA-256 见输入清单。复现命令见预登记；每次输出到新目录，不能覆盖原结果。
3. 实际结果及其限制
共重放 27 条预编排轨迹，51 项环境控制均符合预期。这里的“符合预期”包括故意错误的轨迹被判为不满足客观条件，不能写成 27 个任务全部成功。模型调用、真人参与、实际外发消息均为零。
| 控制类别 | 数量 | 实际观察 | 能说明什么 |
|---|---|---|---|
| 五个参考轨迹 × 两组 | 10 | 所列客观检查通过，内容均保持待审 | 这些预编排动作与评价条件相容，不证明模型会选择这些动作 |
| 两组同阶段信息核对 | 5 | 相同参考行为下数据包相同，仅组织提示不同 | 当前比较没有人为给候选组正确摘要；不证明任意运行的等计算量 |
| 每阶段释放范围 | 18 | 数据包未包含所查未来正文／事件及顶层期望字段 | 覆盖当前生成器和夹具，非通用信息隔离证明 |
| 已知错误变异 | 14 | 指定客观检查失败，完整失败记录保留 | 能识别列明的错误；未枚举及语义错误仍可能漏过 |
| 可选问候等待、暂停要求的直接确认 | 2 | 客观检查允许这两种行为 | 评价器没有强迫每次问候，也不把有效直接答复视为越界主动联系 |
| 结构正确但解释矛盾 | 1 | 客观检查通过，内容待审、整体成功为未知 | 确定检查不能独自评估说明的事实性和用途 |
| 提前读取未发布更正 | 1 | 返回 source_unavailable，未返回正文 | 本夹具按预定阶段释放该来源 |
全部轨迹、数据包、动作返回及落盘产物见结果索引。控制标签只用于环境检查，不能进入未来模型输入。
研究 R 的独立计算得到三段变化：初始可推荐 Aster，窗口缩短后可推荐 Birch，更正后没有候选同时满足离线、内存和窗口要求。最终比较产物来自人工轨迹，算术由脚本从输入重新核对；不是实际 OCR 性能，也不是模型推理成绩。
预登记的语义盲区轨迹保留正确的候选字段，却在解释里声称所有条件已满足、可以直接执行。客观检查没有判断这句说明；content_review=pending、overall_task_success=null 保持可见。因此“检查通过”必须带上检查范围，不能升级为已交付可靠建议。
本实验没有出现偏离预期的环境控制失败；故意注入的错误轨迹均保留，首次运行没有改写输入或脚本后重新取代结果。
4. 设计含义
| 原来还不够明确的部分 | 现在采用的方案 | 依据与边界 |
|---|---|---|
| 何时算交付完成 | 关联当前约定、产物内容及正确受众的实际交付，完成自述单列 | 缺文件、漏收尾及错收件人控制可被区分；语义有效性仍待评阅 |
| 严谨研究是否必须给出可执行推荐 | 有依据的“当前无可行方案”也是合格研究结局，明确剩余条件，不伪造推荐 | R 夹具可直接计算不可行；开放研究的取证充分性仍待模型评价 |
| 同一主体怎样承接工作与陪伴 | 活动保留各自约定；可选问候、有效直接回复、工作交付和暂停联系分别判断 | C 的完整轨迹及许可变异支持职责一致性；情商和隐含保密待真人／模型评阅 |
| 用什么评价整体效果 | 分确定事实、内容依据、真实用户体验，状态字段不包办全部评分 | 预构造语义反例仍通过客观检查，说明这类评价器的已知不足 |
| 第一轮比较什么 | 单心智、同历史与工具，只改变组织提示；各组自行形成笔记 | 先减少比较中的混杂；并无工作区优于常规助手的结果 |
| 用多少样本和资源 | 开发轨迹、重复和各项上限已登记；提供者及预算执行未完成前不运行模型批次 | 固定的是实验规格，不是产品配置、统计充分性或已经落实的限额 |
不采用只看最终状态、只看 JSON、只看模型自评分、只看参考路径相似度的整体成功定义；也不使用公开开发任务的调参成绩宣布泛化。多条合理操作路径可达成同一用途，具体来源读取要求只适用于本夹具中需要读正文才能取得信息的任务。
5. 相关资料与适用边界
本实验核对以下一手资料的摘要／正式论文入口；只采用所列有限命题，不引用其成绩为本项目性能，也不宣称已经运行这些基准。
| 来源及版本 | 支持的命题 | 本设计采用与限制 |
|---|---|---|
| τ-bench，arXiv v1，2024-06-17 | 把动态用户交流、工具和规则放在共同环境中；以最终状态及重复试验评价特定任务 | 支持完整交互轨迹与重复比较。TinyAGI 的自然语言产物还需内容评阅；本实验没有采用其 LLM 用户模拟器或可靠性数值 |
| τ²-bench，arXiv v1，2025-06-09 | 在受控共享环境中结合用户行为变化、沟通和工具作用，并分开分析推理及协调问题 | 支持把用户修改与外部结果作为研究输入。当前使用固定阶段事件，不能证明真实用户行为、自由对话或实时协调效果 |
| BFCL，ICML 2025，PMLR 267:48371–48392，摘要 | 工具调用评价扩展到有状态的多步场景，单次调用与持续判断不是同一问题 | 支持保留独立工具能力检查，并把整体接续作为另一评价层；不据其榜单挑选当前模型或推断本项目质量 |
资料可以支持评价组织的必要性与比较方法，不能关闭工作区收益、长期关系质量、隐含隐私保护、多心智净收益或经验迁移问题。
6. 适用边界
本实验完成固定任务、事件释放、组织提示、共用动作、参考与错误控制、客观评价和预算规格的环境检验；结果不包含真实模型表现。
未完成：可用模型入口与明确版本、真实传输与调用记录、token／费用／墙钟预算执行、真实模型批次、逐项内容评阅、独立保留任务及采用阈值、真人与跨日体验。现有环境探查只涵盖列明的变量和命令，没有遍历私人配置或读取桌面登录凭证。
本实验未检验真实模型的接续、回应、记忆、协作、能力调用或经验迁移效果，也未检验真人体验与多模态交互。
数据可用性
本报告公开实验条件、汇总统计和失败分析。原始输入、脚本及逐次运行记录未随报告发布，因此不能仅凭本文独立复现实验。