AI 驱动的自主实验系统，通过单次变量变更、假设优先、度量评估的严格流程，系统性地优化代码配置与超参数，自动记录实验历史并迭代改进。
说明：
## 核心用法
Autoresearch 是一套面向 AI 代理的自主实验协议，核心目标是在用户设定的约束边界内，系统化地探索最优配置。它通过三个命令驱动整个流程：
– **`/autoresearch setup`**：交互式配置实验参数，包括优化目标（如最小化验证损失）、单一成功度量指标、可修改的目标文件清单、运行命令、指标提取方式、时间预算、约束条件和 Git 分支命名，最终生成 `autoresearch.config.md` 配置文件。
– **`/autoresearch run`**：进入自主实验循环。每轮实验前需回顾历史（`results.tsv` + Git 日志）、形成假设并阐明理由；每次仅修改一个变量，运行后提取指标，根据「严格优于历史最佳则保留，否则回滚」的规则决策，将结果记录到 `results.tsv`（不提交）。
– **`/autoresearch analyze`**：分析 `results.tsv`，输出实验概览、改进幅度、有效模式及后续建议。
### 显著优点
1. **科学严谨性**：强制「一次一变量」原则，确保因果可解释；要求「假设先行」，避免盲目试错。
2. **记忆与可复现**：Git 提交作为实验笔记本，`results.tsv` 作为量化历史，完整保留探索轨迹，支持随时回溯。
3. **自动化与持续性**：代理自主决策、无限迭代，无需人工逐轮授权，适合长时间运行（如夜间批量搜索）。
4. **通用适应性**：不局限于机器学习，适用于编译器优化、Web 性能、数据库调参、提示工程、算法调优等任何「可度量 + 可修改」的场景。
5. **防损机制**：崩溃或超时自动回滚、只读文件保护、反作弊约束（禁止修改评估代码），降低实验风险。
### 潜在缺点与局限性
1. **时间成本高**：单次变量变更策略在变量维度高时收敛慢，不适合需要同时调整多个耦合参数的复杂场景。
2. **局部最优陷阱**：缺乏全局搜索机制（如贝叶斯优化、遗传算法），可能陷入贪心策略的局部最优。
3. **假设质量依赖**：代理的假设形成能力直接影响效率，若假设逻辑薄弱，可能产生大量无效实验。
4. **资源消耗**：长时间自主运行可能占用大量计算资源，需配合时间预算和 kill timeout 使用。
5. **度量设计敏感**：单一指标可能遗漏多维权衡（如精度 vs 速度），需要用户预先做好指标设计。
### 适合人群
– ML 工程师进行超参数搜索、消融实验
– 系统工程师优化编译器/数据库/服务配置
– 前端工程师调优构建工具与性能指标
– 算法研究员探索参数空间
– 任何需要「可量化改进 + 可版本控制」的迭代优化场景
### 常规风险
– **资源失控**：未设置合理 time budget 和 kill timeout 可能导致实验挂起或资源耗尽。
– **Git 污染**：若误将 `results.tsv` 提交或忘记回滚失败实验，可能污染代码库。
– **过度简化**：严格遵守「一次一变量」在高度耦合系统中可能效率低下，需人工判断是否放宽。
– **代理误判**：代理可能对「小改进是否值得保留」做出与用户直觉不符的决策，需定期 `analyze` 审查。
会员专属
