Idea Eval

Relationship To Other Skills

推荐组合关系：

idea-filter -> idea-eval -> check-idea -> write-paper

• idea-filter：解决“该往哪些方向找”
• idea-eval：解决“这个具体 idea 值不值得做”
• check-idea：解决“这个存活下来的 idea 如何展开理论、实验与批判性审视”
• write-paper：解决“如何写成论文”

如果用户拿来的是多个候选 idea，优先先用本 skill 做严格筛选，再把 surviving idea 交给 check-idea。

Core Principles

1. Evaluate Before Repair

先评价 idea as is，再考虑是否值得修。

不要一上来就帮它补洞。
如果一个 idea 必须经过大规模重写才能成立，那么原始 idea 大概率就不够好。

2. Novelty Is About Core Contribution, Not Surface Form

判断新颖度时，不要看标题、术语和表面形式，要问：

• 去掉包装以后，真正新的东西还剩什么？
• 它是在解决新的问题、发现新的 failure mode、提出新的机制解释，还是只是换一种讲法？
• 如果把名字换掉，这个 idea 还成立吗？

3. Theory Must Touch Practice

理论深度不是“有没有公式”，而是：

• 理论是否直接支撑核心主张
• 理论是否解释实验现象或方法有效性的关键机制
• 理论是否真的能联系实践 setting，而不是脱离任务本体

如果理论只能起装饰作用，明确降权。

4. Feasibility Matters

默认偏好：

• 几小时可做 MVP
• 1-3 天内可完成主实验闭环
• 不依赖大模型训练、重 infra、重采样、重标注
• 不靠大量 baseline 堆出来

如果 idea 的成立依赖高成本验证，默认严格降权。

5. Story Is A Research Asset, Not Cosmetic Makeup

好的 story 不是修辞，而是结构清楚：

问题定义 -> 为什么现有做法不够 -> 你的 insight -> 为什么它该 work -> 如何验证 -> 理论/机制如何支撑

如果一个 idea 只能写成“我们又试了一个小技巧”，那 story 就是弱的。

6. Hard Problem First

优先奖励真正碰硬问题的 idea：

• 解决一个关键瓶颈
• 暴露一个重要 failure mode
• 修正一个被默认接受但失真的评测目标
• 解释一个社区误解的机制

不要高估那种“数字上也许能涨一点，但问题本身不硬”的题。

Input

可接受输入：

• 一段 idea 描述
• 一个标题 + 摘要式说明
• 用户已有的研究草稿
• 从 idea-filter 输出的候选
• 多个候选 idea 的并列列表

默认输出文件：

• idea_eval.md

如果用户指定了其他路径，按用户要求覆盖默认路径。
如果文件已存在，更新对应 section，不要无脑追加重复版本。

Evaluation Rubric

总分不是唯一依据。
先看 critical risks，再看五维评分，再计算 feasibility score，最后再给 verdict。

Critical Risk Conditions

出现以下问题时，要明确标成高风险，但不要自动直接终止评估。
只有当多个核心风险同时成立，或某一项明确使主张不可验证时，才建议 Kill：

1. novelty 主要来自小改 prompt / 小改 pipeline / 小修补 baseline
2. 贡献本质上是“把已知方法搬到另一个任务”
3. 理论无法与核心实证主张发生实质联系
4. 没有明确的 hard problem，只是一个轻量局部技巧
5. 主实验在用户资源约束下明显不可行
6. 需要大量 baseline、ablation、复杂工程才能站住
7. 一旦一个关键实验不 work，整篇论文几乎直接崩塌

Five Main Dimensions

Penalties

以下问题需要额外扣分：

• Baseline treadmill penalty：必须靠大量对比才显得成立
• Sensitivity penalty：对 prompt / model / data 分布过度敏感
• Ablation burden penalty：需要大量消融才能勉强解释
• Workshop-only penalty：更像小观察、小修补、小迁移，而不是 main-track 题
• Decorative-theory penalty：理论写得出来，但不支撑主张

Feasibility Score

最终必须输出一个 Feasibility Score (0-100)。

计算原则：

1. 先按五个主维度计算加权主分：
   • Main Score = 10 * weighted average
2. 再减去 penalty：
   • 轻度 penalty：-3
   • 中度 penalty：-7
   • 重度 penalty：-12
3. 如果存在明确致命风险，但仍未到直接 Kill，可额外做 -5 到 -15 的 critical risk adjustment
4. 最终分数裁剪到 0-100

解释区间：

• 85-100: 高可行性，值得继续推进
• 70-84: 可行，但有明确风险，适合谨慎推进
• 55-69: 边界可行，建议先做低成本 MVP
• 40-54: 原始形态不够强，建议重构
• 0-39: 不建议继续投入

Score Anchors

对每个主维度按 0-10 打分，并保持严格标准：

• 9-10: 很强，明显有顶会主线潜力
• 7-8: 有明显价值，但仍有几个关键风险点
• 5-6: 有一定研究味道，但主线不够硬或不够稳
• 3-4: 很勉强，通常只适合局部尝试或重构
• 0-2: 基本不成立，或价值明显不足

注意：

• 6/10 不是“还不错”，而是明显不够强
• 只要 hard problem 不成立，再高的包装分也不应救活它
• 如果理论只是 ornament，理论维度必须低分

Execution Workflow

必须按以下顺序执行，不要跳步。

Phase 1: Idea Normalization

先把 idea 压缩成一个最小、可审查的对象：

1. 这个 idea 的核心 claim 是什么
2. 它声称的核心贡献是什么
3. 它依赖的关键假设是什么
4. 它要解决的难题到底是什么
5. 它要靠什么证据证明自己

如果连这五点都无法清晰写出，先明确指出：
idea object is not yet well-formed。

Phase 2: Critical Risk Screen

逐条检查 critical risk conditions，并给出：

• Pass
• Borderline
• Fail

如果出现明显 Fail，不要急着继续美化，先说明最核心的风险点。
但除非它已经明显不可做，否则仍然继续完成后续评分。

Phase 3: Five-Dimension Review

对五个主维度逐项打分，并且每项都要包含：

1. 分数
2. 给高分或低分的具体原因
3. 这一维最核心的证据
4. 这一维最危险的反方论据

特别要求：

Novelty / Community Value

必须回答：

• 核心贡献到底新在哪里
• 如果拿掉包装，这个贡献还剩什么
• 社区为什么会在意
• 它是“新且重要”，还是“新但不重要”，还是“看起来新但其实不新”

Theory Depth / Theory-Practice Link

必须区分：

• 核心理论支柱：没有它，论文主张明显变弱
• 装饰性理论包装：有更好，没有也不影响主结论

Implementation Cost / Feasibility

必须判断：

• MVP 是否能在几小时内做
• 主实验是否能在 1-3 天内闭环
• 是否依赖重训练 / 重 infra / 重 API / 重 baseline
• 是否有一个最便宜但足以 falsify 的实验

Story / Paper Shape

必须判断：

• 是否能自然讲成一篇 paper，而不是东拼西凑
• 论文主线是否闭环
• 是问题驱动，还是“我有个方法想找地方塞”

Hard Problem Fit

必须判断：

• 它解决的是不是一个真正 tricky 的问题
• 这个问题是否具有一般性、代表性或关键性
• 它是在修复核心缺陷，还是只是在边角处做优化

Phase 4: Reviewer Simulation

从严苛审稿人的角度，必须输出：

1. Strongest accept case
2. Strongest reject case
3. 最可能出现的 3 个 reviewer objections
4. 如果只能用一句话否掉这个题，最可能的一票否决理由是什么
5. 哪个关键实验一旦失败，这个题最伤

注意：这一阶段只是补充压力测试，不能取代总评估。
最终结论仍然要回到 feasibility score 和五维主评估。

Phase 5: Minimal Salvage Plan

只有在 idea 仍有保留价值时，才做修正建议。
修正建议必须最小化，只能包括：

1. 一个最值得尝试的重构方向
2. 一个最小理论支柱
3. 一个最便宜的 decisive MVP
4. 如主线不够强，是否可转成：
   • diagnosis paper
   • framework paper
   • evaluation / benchmark correction paper
   • negative result / failure mode paper

不要在这里重新发散出 10 个新 idea。

Final Verdict Labels

最终只能落到以下四类之一：

• Invest

  • 值得继续深入做
  • 可以进入 check-idea

• Cheap MVP First

  • 方向有潜力，但不值得直接重投入
  • 先做最低成本验证

• Reframe

  • 原始 idea 不够强，但问题内核还有价值
  • 必须改问题定义 / 主张 / story 才值得继续

• Kill

  • 不建议继续投入
  • 不要靠包装硬救

默认映射关系：

• 85-100 -> 优先 Invest
• 70-84 -> Invest 或 Cheap MVP First
• 55-69 -> 优先 Cheap MVP First
• 40-54 -> 优先 Reframe
• 0-39 -> 优先 Kill

如果 score 与文字判断冲突，必须显式解释为什么。

Output Format

对每个 idea，按以下结构输出到 idea_eval.md：

# Idea Evaluation

## 1. Idea Snapshot
- Title:
- Core claim:
- Intended contribution:
- Target hard problem:
- Required evidence:

## 2. Preliminary Verdict
- Feasibility Score: X/100
- Verdict: Invest / Cheap MVP First / Reframe / Kill
- Confidence: High / Medium / Low

## 3. Critical Risk Screen
| Check | Result | Notes |
|-------|--------|-------|

## 4. Five-Dimension Review
| Dimension | Score | Weight | Weighted | Key reason |
|-----------|-------|--------|----------|------------|

## 5. Penalties
| Penalty | Severity | Notes |
|---------|----------|-------|

## 6. Score Summary
- Main weighted score:
- Penalty deduction:
- Critical risk adjustment:
- Final Feasibility Score:

## 7. Core Strengths
- ...

## 8. Fatal Weaknesses
- ...

## 9. Reviewer Simulation
- Strongest accept case:
- Strongest reject case:
- Top 3 objections:
- One-line reject reason:
- Most dangerous failed experiment:

## 10. Theory Assessment
- Core theory pillar:
- Decorative theory layer:
- Theory-practice linkage judgment:

## 11. Feasibility Assessment
- Cheapest decisive MVP:
- Main experiment cost:
- Major engineering burden:
- Failure cost:

## 12. Story Assessment
- Problem -> gap -> insight -> validation loop:
- Is this a real paper story or a technique-looking-for-a-task?

## 13. Minimal Salvage Plan
- Best reframe:
- Minimal theory anchor:
- Minimal MVP:
- Alternate paper form:

## 14. Final Recommendation
- Decision:
- Why:
- Whether to pass into check-idea:

如果输入的是多个 idea：

• 先逐个评
• 再给一个横向排序
• 最后明确指出最值得保留的 top 1-3 个

Writing Style

• 用中文输出
• 允许保留必要英文术语，如 novelty, story, MVP, failure mode
• 语气必须严格、具体、克制
• 不要泛泛夸奖
• 每个正面判断都要给出明确理由
• 每个负面判断都要指出它伤在哪里

Common Mistakes

1. 把“看起来不一样”误判为 novelty

换术语、换模块位置、换任务表面形式，不等于核心贡献新。

2. 把“有公式”误判为理论深度

如果公式不解释关键机制、不支撑核心实验，它只是装饰。

3. 把“能做出来”误判为“值得做”

低成本是优点，但不是贡献本身。
便宜但无聊的题，仍然不值得做。

4. 把“故事能讲顺”误判为“问题够硬”

好讲不等于重要。
如果解决的问题本身不够关键，story 再顺也很难成为强题。

5. 把“可修”误判为“值得救”

很多题 technically 可以修，但修的成本已经接近重做一个新题。
这时应直接判 Kill 或 Reframe。

Key Rule

这个 skill 的第一职责是提高判断质量，而不是默认拒绝或默认放行。

如果一个 idea 的主要优点只是：

• 写法漂亮
• 看起来有点新
• 能做一个小实验
• 也许能涨一点数字

但它没有：

• 明确 hard problem
• 足够强的核心贡献
• 可连接实践的理论支撑
• 可闭环的论文叙事

那么它的 Feasibility Score 不应高，通常也不值得继续投入。