第 17 讲：【实战避坑】假因子的“打脸”排查案例

本讲核心目标：
掌握买方顶级量化机构在因子验收与上线前最严酷的“法医级排查与反欺诈审计”。深度剖析三大最常见的致命伪 Alpha：微盘股市值隐形寄生（Size Parasitism）、涨停板不可买入的虚假超额（Unexecutable Limit-up Orders），以及分市值子池策略容量崩塌（Capacity Illusion）；编写全自动假因子排查器，输出标准化风险审计卷宗。

1. 为什么“看起来很美”的因子在实盘中经常迅速爆雷？

在量化研究员的日常工作中，最让人沮丧的事情莫过于：在 Jupyter Notebook 中回测出一个年化超额 35%、Rank IC 超过 0.10、分层完美的“神仙因子”，结果一上线实盘，净值不仅完全不涨，甚至连续大幅跑输基准指数。

伪 Alpha 的三大隐蔽伪装面具
├── 面具 1: 市值风格寄生 (把微盘股的流动性风险溢价误当成选股 Alpha)
│     └── 剥离手段: 强行进行对数流通市值 OLS 残差回归，观察纯净残差 IC 是否断崖下跌
├── 面具 2: 涨停打板幸存者陷阱 (假设自己能在封死涨停板的股票上全额成交)
│     └── 剥离手段: 施加订单时点真实可交易性约束，未成交订单强制保留在现金账户
└── 面具 3: 大市值标的完全失效 (因子仅在全市场最小的 300 只微盘股中有微弱预测力)
      └── 剥离手段: 在沪深 300、中证 500、中证 1000 三大子池中独立分池检验

2. 案例一：市值隐形寄生渗透测试（Size Parasitism Test）

2.1 隐蔽机理

很多因子（如小额成交量波动率、反转幅度、Amihud 非流动性）表面上具有极高的 Rank IC，但其底层收益的 80%~100% 仅仅是因为它在数学上与市值存在天然负相关（即小市值股票该因子值天然偏大）。如果样本期恰逢微盘股大牛市，该因子就会产生巨大的虚假选股超额。

2.2 法医级解剖方案

在历史每一个交易日截面上，强行对对数流通市值进行截面 OLS 回归：

f_{i, t} = α_{t} + β_{t} \ln ({MarketCap}_{i, t}) + ϵ_{i, t}

计算纯净残差序列 $ϵ_{t}$ 的 Rank IC。定义风格 IC 缩水率（Style IC Drop Ratio）：

DropRatio = 1.0 - \frac{Rank IC (ϵ)}{Rank IC (f)}

买方风控红线：若 $DropRatio > 60 %$ ，说明该因子本质是市值风格暴露的傀儡，严禁作为独立 Alpha 因子入库！

3. 案例二：涨停打板可交易性穿透测试（Tradability Test）

3.1 致命撮合漏洞

很多策略在回测中假设：只要某只股票收盘涨停（+10%），自己在早盘开盘时就一定能以开盘价全额买入。

微观市场现实：真正能走出连续涨停的大牛股，早盘 09:25 开盘集合竞价买一档就已经积压了数十万手封单，机构与散户的限价单排在海量排单队伍的最末端，真实撮合成交概率严格为 0！
业余代码的恶劣造假：如果将无法买入的股票直接从选股池中剔除，然后将剩余仓位均分给其他能买入的股票，实际上是在强行重构投资组合，掩盖了资金踏空闲置的真实损耗！

3.2 严密的买方现金记账法则

设策略在 $t$ 日基于信号生成了等权的 Top 候选名单，每只标的分配目标资金比例 $w_{i} = \frac{1}{K}$ ：

若股票 $i$ 次日开盘封死涨停无法买入，该笔目标资金必须强制保留在现金账户（当日收益为 0）！
组合的真实加权前瞻收益应严格计算为： $R_{realistic} = \sum_{i \in Filled} w_{i} \cdot r_{i, t + 1} + \sum_{j \in Unfilled} w_{j} \cdot 0.0$
定义可交易性利润折让率（Tradability Haircut Ratio）： $Haircut = \frac{R_{ideal} - R_{realistic}}{R_{ideal}}$
买方风控红线：若 $Haircut > 40 %$ ，说明因子的绝大部分理论超额完全建立在“买不进的涨停幻觉”之上，实盘必然严重跑输！

4. 案例三：分市值子池容量审计（Capacity Robustness）

一个优秀的 Alpha 因子，必须具备在不同流动性层级中的稳健迁移能力：

大盘蓝筹池（Top 30% 市值，对标沪深 300）：检验因子的百亿级资金承载力；
中盘核心池（Mid 40% 市值，对标中证 500 / 1000）：检验因子的主力超额贡献能力；
尾部小微盘池（Bottom 30% 市值）：观察因子是否仅仅依赖高投机高换手博弈。

买方准入标准：在大盘股子池中，因子的 Rank IC 至少必须保持为正（ ${IC}_{large} > 0.015$ ）。若在大盘池中 IC 彻底归零甚至变号反噬，说明该因子无法承载任何规模化买方资金。

5. 动手实操：全自动假因子法医级排查器实战

下面的 Python 代码严格遵循机构级买方规范，包含市值寄生剥离测试、涨停不可买入现金保留穿透测试与分市值子池稳健性审计。

在项目根目录运行 PYTHONPATH=tutorial python3 -m examples.lecture_17_fake_alpha_forensics。依赖安装、共享模块和数据契约见项目说明。

"""
A 股因子风险排查教学示例 (AshareFakeAlphaSanitizer)
包含：市值寄生测试、涨停板买入幸存者穿透、分市值池稳健性检查与综合审计
"""

from dataclasses import dataclass
from typing import Dict, List, Tuple
import numpy as np
import polars as pl
from scipy import stats
from examples.factor_utils import validate_panel


@dataclass
class ForensicReport:
    """法医级假因子诊断排查报告"""
    factor_name: str
    raw_rank_ic: float
    neutralized_rank_ic: float
    style_ic_drop_ratio: float
    raw_top_annual_ret: float
    realistic_tradeable_top_ret: float
    tradability_haircut_ratio: float
    large_cap_ic: float
    mid_cap_ic: float
    micro_cap_ic: float
    verdict: str
    reasons: List[str]

    def print_forensic_dossier(self):
        """格式化输出法医审计卷宗"""
        print("=" * 75)
        print(f"🔬 因子法医级审计排查卷宗: [{self.factor_name}]")
        print("=" * 75)
        status_symbol = "✅ [PASS - 本组有限检查未触发预警]" if self.verdict == "PASS" else "⚠ [REVIEW - 需要进一步研究]"
        print(f"【最终审计裁决】: {status_symbol}")
        if self.reasons:
            print("【拦截与风险预警原因】:")
            for r in self.reasons:
                print(f"  🚨 {r}")
        print("-" * 75)
        print("【Test 1: 市值风格隐形寄生渗透测试】")
        print(f"  • 原始未中性化 Rank IC   : {self.raw_rank_ic:8.4f}")
        print(f"  • 仅市值中性化后 Rank IC: {self.neutralized_rank_ic:8.4f}")
        print(f"  • IC 缩水流失率 (Drop)   : {self.style_ic_drop_ratio * 100:7.2f}% (警报阈值: > 60%)")
        print("-" * 75)
        print("【Test 2: 涨停打板可交易性穿透测试】")
        print(f"  • 理想假设下多头年化收益 : {self.raw_top_annual_ret * 100:8.2f}%")
        print(f"  • 剔除涨停无法买入后收益 : {self.realistic_tradeable_top_ret * 100:8.2f}%")
        print(f"  • 可交易性利润折让率     : {self.tradability_haircut_ratio * 100:7.2f}% (警报阈值: > 40%)")
        print("-" * 75)
        print("【Test 3: 分市值池稳健性检查（不是容量测算）】")
        print(f"  • 头部大盘股池 Rank IC (Top 30% 市值)   : {self.large_cap_ic:8.4f}")
        print(f"  • 中盘核心股池 Rank IC (Mid 40% 市值)   : {self.mid_cap_ic:8.4f}")
        print(f"  • 尾部微盘股池 Rank IC (Bottom 30% 市值): {self.micro_cap_ic:8.4f}")
        print("=" * 75)


class AshareFakeAlphaSanitizer:
    """
    A 股假因子法医级排查器
    """

    def __init__(
        self,
        date_col: str = "trade_date",
        symbol_col: str = "symbol",
        cap_col: str = "market_cap",
        ret_col: str = "ret_fwd_1d",
        is_limit_up_col: str = "is_limit_up_next_day"
    ):
        self.date_col = date_col
        self.symbol_col = symbol_col
        self.cap_col = cap_col
        self.ret_col = ret_col
        self.is_limit_up_col = is_limit_up_col

    def _calc_rank_ic(self, df: pl.DataFrame, col1: str, col2: str) -> float:
        """快速计算两列的平均截面 Rank IC"""
        df = df.filter(pl.col(col1).is_finite() & pl.col(col2).is_finite())
        ranked = df.with_columns([
            pl.col(col1).rank().over(self.date_col).alias("r1"),
            pl.col(col2).rank().over(self.date_col).alias("r2")
        ])
        daily_corr = ranked.group_by(self.date_col).agg(pl.corr("r1", "r2").alias("ic"), pl.len().alias("n"))
        values = daily_corr.filter((pl.col("n") >= 3) & pl.col("ic").is_finite())["ic"]
        return float(values.mean()) if len(values) else float("nan")

    def audit_factor(
        self,
        df: pl.DataFrame,
        factor_col: str
    ) -> ForensicReport:
        """
        对指定正向因子执行三组教学诊断，阈值为示例配置
        """
        validate_panel(df, self.date_col, self.symbol_col)
        # 固定信号池后检查标签完整性，不用未来是否成交来改变选股。
        df = df.filter(pl.col(factor_col).is_finite())
        if df.is_empty():
            raise ValueError("没有有效因子")
        if df.select(pl.any_horizontal([
            (~pl.col(c).is_finite()).fill_null(True) for c in [self.cap_col, self.ret_col]
        ]).any()).item():
            raise ValueError("市值或前瞻收益缺失，不能重新分配缺失样本权重")
        if df.filter((pl.col(self.cap_col) <= 0) | (pl.col(self.ret_col) < -1)).height:
            raise ValueError("市值必须为正，简单收益率不能小于 -100%")
        if df.select((~pl.col(self.is_limit_up_col).is_in([0, 1])).fill_null(True).any()).item():
            raise ValueError("成交阻断标记必须已知且为 0/1")
        reasons = []

        # ----------------------------------------------------
        # Test 1: 市值风格残差测试 (中性化剥离)
        # ----------------------------------------------------
        raw_ic = self._calc_rank_ic(df, factor_col, self.ret_col)

        # 对对数市值进行 OLS 残差提取
        neutral_records = []
        dates = df[self.date_col].unique().sort().to_list()
        
        for d in dates:
            sub = df.filter(pl.col(self.date_col) == d)
            y = sub[factor_col].to_numpy()
            x = np.log(np.maximum(sub[self.cap_col].to_numpy(), 1e-4))
            # 简单截面中性化: y = alpha + beta * ln_cap + residual
            X_mat = np.column_stack([np.ones(len(x)), x])
            beta = np.linalg.lstsq(X_mat, y, rcond=None)[0]
            residuals = y - X_mat @ beta
            if np.std(residuals) <= 1e-10:
                residuals[:] = np.nan  # 全被风格解释的截面，不对浮点残差求秩

            sub_with_res = sub.with_columns(
                pl.Series("factor_neutral", residuals)
            )
            neutral_records.append(sub_with_res)

        neutral_df = pl.concat(neutral_records)
        neutral_ic = self._calc_rank_ic(neutral_df, "factor_neutral", self.ret_col)

        ic_drop = (raw_ic - neutral_ic) / raw_ic if np.isfinite(raw_ic) and abs(raw_ic) > 1e-12 else float("nan")
        if not np.isfinite(raw_ic) or not np.isfinite(neutral_ic):
            reasons.append("原始或市值残差 IC 不可估计（样本不足、常数截面或完全被风格解释）")
        if ic_drop > 0.60:
            reasons.append(
                f"市值寄生极度严重: 中性化后 Rank IC 从 {raw_ic:.4f} 断崖下跌至 {neutral_ic:.4f} (缩水 {ic_drop*100:.1f}%)"
            )

        # ----------------------------------------------------
        # Test 2: 涨停打板可交易性穿透测试
        # ----------------------------------------------------
        # 目标组合：按当时可见因子选择 ceil(N*10%)，同分按 symbol 稳定排序。
        top_df = df.sort([self.date_col, self.symbol_col]).with_columns(
            pl.col(factor_col).rank(method="ordinal", descending=True).over(self.date_col).alias("_rank"),
            (pl.len().over(self.date_col) * .10).ceil().cast(pl.Int64).alias("_top_n")
        )
        ideal_top = top_df.filter(pl.col("_rank") <= pl.col("_top_n"))
        ideal_daily_ret = ideal_top.group_by(self.date_col).agg(pl.col(self.ret_col).mean().alias("r"))
        ideal_ann_ret = float(ideal_daily_ret["r"].mean() * 250.)

        # 每天是从现金发起的一次独立订单实验；未成交权重留现金（收益为 0）。
        # 标记来自订单时点的模拟/真实成交状态，不能用全天最高价或事后涨幅代替。
        tradeable_daily_ret = ideal_top.group_by(self.date_col).agg(
            pl.when(pl.col(self.is_limit_up_col) == 0).then(pl.col(self.ret_col))
            .otherwise(0.).mean().alias("r")
        )
        tradeable_ann_ret = float(tradeable_daily_ret["r"].mean() * 250.)

        haircut = (ideal_ann_ret - tradeable_ann_ret) / abs(ideal_ann_ret) if abs(ideal_ann_ret) > 1e-12 else float("nan")
        if haircut > 0.40:
            reasons.append(
                f"涨停打板幸存者陷阱: 剔除无法买入的涨停股票后，多头年化收益从 {ideal_ann_ret*100:.1f}% 骤降至 {tradeable_ann_ret*100:.1f}% (折让 {haircut*100:.1f}%)"
            )

        # ----------------------------------------------------
        # Test 3: 分市值池稳健性检查（不是容量测算）
        # ----------------------------------------------------
        # 将全市场按市值三等分
        bucket_df = df.with_columns(
            ((pl.col(self.cap_col).rank().over(self.date_col) - 1.0) /
             pl.len().over(self.date_col)).alias("cap_bucket")
        )

        micro_sub = bucket_df.filter(pl.col("cap_bucket") < 0.30)
        mid_sub = bucket_df.filter((pl.col("cap_bucket") >= 0.30) & (pl.col("cap_bucket") < 0.70))
        large_sub = bucket_df.filter(pl.col("cap_bucket") >= 0.70)

        micro_ic = self._calc_rank_ic(micro_sub, factor_col, self.ret_col)
        mid_ic = self._calc_rank_ic(mid_sub, factor_col, self.ret_col)
        large_ic = self._calc_rank_ic(large_sub, factor_col, self.ret_col)

        if not np.isfinite(large_ic) or large_ic < 0.015:
            reasons.append(
                f"大市值子池 Rank IC 为 {large_ic:.4f}，需要复核风格依赖；不能据此推断资金容量。"
            )

        verdict = "REVIEW" if reasons else "PASS"

        return ForensicReport(
            factor_name=factor_col,
            raw_rank_ic=raw_ic,
            neutralized_rank_ic=neutral_ic,
            style_ic_drop_ratio=ic_drop,
            raw_top_annual_ret=ideal_ann_ret,
            realistic_tradeable_top_ret=tradeable_ann_ret,
            tradability_haircut_ratio=haircut,
            large_cap_ic=large_ic,
            mid_cap_ic=mid_ic,
            micro_cap_ic=micro_ic,
            verdict=verdict,
            reasons=reasons
        )


# ================= 单元测试与法医排查演示 =================
if __name__ == "__main__":
    np.random.seed(42)
    n_days = 150
    n_stocks = 500

    import pandas as pd
    dates = pd.bdate_range("2025-01-01", periods=n_days).date.tolist()
    symbols = [f"{s:06d}.SH" for s in range(n_stocks)]

    records = []
    # 模拟一个典型的“伪神级因子”：
    # 合成市值暴露与成交阻断；具体 IC 与收益以实际输出为准。
    for d in dates:
        # 对数市值分布 (30 亿到 5000 亿)
        market_caps = np.exp(np.random.uniform(np.log(30), np.log(5000), n_stocks))
        
        # 微盘股溢价效应 (市值越小，期望收益越高)
        size_premium = -np.log(market_caps) * 0.002
        stock_returns = size_premium + np.random.normal(0, 0.02, n_stocks)

        # 构造伪因子：高度负相关于市值 (伪装成某种成长/动量因子)
        fake_factor = -np.log(market_caps) * 1.5 + np.random.normal(0, 0.5, n_stocks)

        # 先生成模拟开盘成交阻断，再生成对应持有区间收益；不由未来收益判断能否成交。
        is_limit_up = (np.random.uniform(size=n_stocks) < .15).astype(int)
        stock_returns = stock_returns + .06 * is_limit_up

        for s_idx, s in enumerate(symbols):
            records.append({
                "trade_date": d,
                "symbol": s,
                "market_cap": market_caps[s_idx],
                "fake_volatility_factor": fake_factor[s_idx],
                "ret_fwd_1d": stock_returns[s_idx],
                "is_limit_up_next_day": is_limit_up[s_idx]
            })

    test_df = pl.DataFrame(records)

    # 运行法医排查器
    sanitizer = AshareFakeAlphaSanitizer()
    dossier = sanitizer.audit_factor(test_df, factor_col="fake_volatility_factor")

    dossier.print_forensic_dossier()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258

核心运行输出与法医卷宗解析：

===========================================================================
🔬 因子法医级审计排查卷宗: [fake_volatility_factor]
===========================================================================
【最终审计裁决】: ⚠ [REVIEW - 需要进一步研究]
【拦截与风险预警原因】:
  🚨 市值寄生极度严重: 中性化后 Rank IC 从 0.1038 断崖下跌至 -0.0013 (缩水 101.3%)
  🚨 涨停打板幸存者陷阱: 剔除无法买入的涨停股票后，多头年化收益从 37.8% 骤降至 -163.4% (折让 531.8%)
  🚨 大市值子池 Rank IC 为 0.0124，需要复核风格依赖；不能据此推断资金容量。
---------------------------------------------------------------------------
【Test 1: 市值风格隐形寄生渗透测试】
  • 原始未中性化 Rank IC   :   0.1038
  • 仅市值中性化后 Rank IC:  -0.0013
  • IC 缩水流失率 (Drop)   :  101.28% (警报阈值: > 60%)
---------------------------------------------------------------------------
【Test 2: 涨停打板可交易性穿透测试】
  • 理想假设下多头年化收益 :    37.85%
  • 剔除涨停无法买入后收益 :  -163.44%
  • 可交易性利润折让率     :  531.84% (警报阈值: > 40%)
---------------------------------------------------------------------------
【Test 3: 分市值池稳健性检查（不是容量测算）】
  • 头部大盘股池 Rank IC (Top 30% 市值)   :   0.0124
  • 中盘核心股池 Rank IC (Mid 40% 市值)   :   0.0373
  • 尾部微盘股池 Rank IC (Bottom 30% 市值):   0.0192
===========================================================================

市值寄生现形：
- 原始 Rank IC 表面上高达 0.1038，看似极度诱人；但剥离对数市值后，残差 IC 骤跌至 -0.0013，IC 缩水率高达 101.3%，彻底证实该因子除了做多微盘股之外没有任何真正的选股能力！
涨停买不入击碎虚假收益：
- 理想假设下多头年化收益 37.85%，但一旦将无法买入的涨停标的严格保留在现金账户，实际年化收益骤降至 -163.44%，折让率高达 531.8%，成功将这一致命毒药因子拦截在实盘上线之前！

6. 本讲小结与第四模块全局交付 Checklist

至此，第四模块：工业级因子评估体系与伪 Alpha 甄别 全部四大核心讲座构建完毕！

买方因子库交付黄金自检表（Delivery Checklist）：

[ ] IC 预测力达标（第 14 讲）：Rank IC 均值稳定在 $0.03 \sim 0.06$ ，Newey-West HAC 稳健 $t$ 检验统计量大于 3.0，累积 IC 曲线平稳递增；
[ ] 严格单调与多头超额（第 15 讲）：5 分位或 10 分位各组净值严格递增（ $MonoScore \geq 0.80$ ），多头收益贡献占比超过 $40 %$ ，杜绝空头陷阱；
[ ] 换手成本可控（第 16 讲）：因子秩自相关性高，信息半衰期大于调仓周期，扣除往返交易摩擦后情景净夏普依然为正；
[ ] 法医反欺诈排查（第 17 讲）：通过市值寄生测试（IC 缩水 $< 60 %$ ），通过涨停不可买入穿透测试（折让率 $< 40 %$ ），且在头部大盘股池中 IC 保持显著为正。

从下一模块开始，我们将正式进入：第五模块：机器学习与特征融合工程，学习如何使用时序分组防泄漏交叉验证（PurgedGroupTimeSeriesSplit）、LightGBM/CatBoost 截面排序模型与 SHAP 可解释性分析，将这批高质量单因子融合成强大的 Alpha 预测引擎！

第 17 讲：【实战避坑】假因子的“打脸”排查案例 ​

1. 为什么“看起来很美”的因子在实盘中经常迅速爆雷？ ​

2. 案例一：市值隐形寄生渗透测试（Size Parasitism Test） ​

2.1 隐蔽机理 ​

2.2 法医级解剖方案 ​

3. 案例二：涨停打板可交易性穿透测试（Tradability Test） ​

3.1 致命撮合漏洞 ​

3.2 严密的买方现金记账法则 ​

4. 案例三：分市值子池容量审计（Capacity Robustness） ​

5. 动手实操：全自动假因子法医级排查器实战 ​

核心运行输出与法医卷宗解析： ​

6. 本讲小结与第四模块全局交付 Checklist ​

买方因子库交付黄金自检表（Delivery Checklist）： ​