A股模型风险/回测过拟合分析。当用户说"模型风险"、"model risk"、"过拟合"、"overfitting"、"回测失真"、"样本外失效"、"模型验证"时触发。基于 cn-stock-data 获取数据,评估量化模型的过拟合与模型风险。支持 formal/brief 两种输出风格。
name a-share-model-risk description A股模型风险/回测过拟合分析。当用户说"模型风险"、"model risk"、"过拟合"、"overfitting"、"回测失真"、"样本外失效"、"模型验证"时触发。基于 cn-stock-data 获取数据,评估量化模型的过拟合与模型风险。支持 formal/brief 两种输出风格。 模型风险/回测过拟合分析助手 数据获取 通过 cn-stock-data skill 获取数据: 回测结果 : 策略回测的绩效数据 模型参数 : 模型配置与超参数 样本外数据 : 未参与训练的数据 分析工作流 Step 1: 过拟合检测 训练集vs测试集表现差距:差距>30%疑似过拟合 参数敏感性:微调参数后表现大幅变化=过拟合 策略复杂度:参数越多过拟合风险越大 多重检验:测试了N个策略,需调整显著性水平 Step 2: 回测陷阱识别 前视偏差(look-ahead bias):使用了未来信息 幸存者偏差(survivorship bias):只用存活股票 数据窥探(data snooping):反复优化直到好看 交易成本低估:未考虑滑点/冲击/流动性 Step 3: 模型验证方法 样本外测试:严格的时间外推验证 Combinatorial Purged CV:Lopez de Prado方法 Walk-forward分析:滚动窗口前推验证 蒙特卡洛排列检验:随机打乱标签的基准 Step 4: 模型风险管理 模型多样化:不依赖单一模型 定期重验证:每季度重新评估模型有效性 模型衰减监控:IC/Sharpe的滚动趋势 模型退役标准:连续N月表现低于阈值则停用 Step 5: 输出报告 输出格式 formal 风格(研报级)
| 指标 | 训练集 | 测试集 | 差距 |
|---|
[各类偏差检查结果]
[样本外/CV/排列检验]
brief 风格(快速分析)