ProStock/docs/factor_lookback_consistency_20260319.md

因子回看一致性测试问题报告

测试日期： 2026-03-19 测试文件： tests/debug/test_lookback_consistency.py::test_simple_factor_consistency 测试结果： FAILED - 33个因子不一致

---

1. 测试概述

1.1 测试目的

验证不同 LOOKBACK_DAYS（回看窗口）设置下，同一预测日期范围的因子值是否一致。如果结果不一致，可能存在以下问题：

1. 数据泄露：因子计算使用了超出合理回看期的历史数据
2. 设计缺陷：某些因子天然依赖更长的历史数据（如累积和因子）
3. 边界效应：滚动窗口在数据边界处的处理差异

1.2 测试配置

参数	值	说明
LOOKBACK_2Y	1095天 (3年)	较短回看窗口
LOOKBACK_3Y	1460天 (4年)	较长回看窗口
PREDICT_START	20250101	预测起始日期
PREDICT_END	20250131	预测结束日期
2Y实际数据范围	20220102 - 20250131	3年数据
3Y实际数据范围	20210102 - 20250131	4年数据

1.3 测试结果摘要

数据集形状:
  2Y 回看: (96761, 241)
  3Y 回看: (96761, 241)

总因子数: 191
一致因子数: 158
不一致因子数: 33 (17.3%)

---

2. 不一致因子详细分类

2.1 分类标准

类别	标准	风险等级
浮点精度差异	max_diff < 1e-6	低 - 可忽略
边界效应差异	1e-6 <= max_diff < 0.01	中 - 需关注
数值显著差异	0.01 <= max_diff < 0.1	高 - 需修复
严重不一致	max_diff >= 0.1 或 inf/nan	极高 - 必须修复

2.2 严重不一致因子（必须修复）

因子名称	最大差异	平均差异	差异数据点	问题类型
GTJA_alpha005	inf	inf	2170	-inf值产生
GTJA_alpha113	0.803	0.108	95337	累积和历史依赖
GTJA_alpha115	0.989	0.0014	83182	ts_rank差异传播
GTJA_alpha138	0.857	0.108	21689	ts_decay_linear+ts_rank
GTJA_alpha140	0.999	0.029	7535	min_/max_边界
GTJA_alpha146	3.719	0.0058	81526	复杂嵌套公式
GTJA_alpha148	1.000	1e-5	1	cs_rank+ts_min边界
GTJA_alpha176	inf	inf	74	除零/无穷大

2.2.1 GTJA_alpha005（-inf值问题）

差异数据点示例:
  idx=56: 2Y=-0.0000000262, 3Y=-inf, diff=inf
  idx=57: 2Y=-0.0000000262, 3Y=-inf, diff=inf
  idx=58: 2Y=-0.4564354646, 3Y=-inf, diff=inf

问题分析：

• 3Y模式下产生-inf值，说明存在除零或对负数取对数
• DSL中可能包含 log 或 sqrt 操作

2.2.2 GTJA_alpha113（累积和历史依赖）

差异数据点示例:
  idx=0: 2Y=0.1848, 3Y=0.9883, diff=0.8035
  idx=1: 2Y=-0.1146, 3Y=-0.9890, diff=0.8744
  idx=2: 2Y=0.1098, 3Y=0.9783, diff=0.8684

问题分析：

• 包含 ts_delay(close, 5) 导致数据偏移
• ts_corr(close, vol, 2) 只有2日窗口，对边界敏感

2.2.3 GTJA_alpha138（复杂嵌套）

差异数据点示例:
  idx=3: 2Y=0.9808, 3Y=0.8380, diff=0.1429
  idx=4: 2Y=0.9782, 3Y=0.8354, diff=0.1429
  idx=5: 2Y=0.9738, 3Y=0.6880, diff=0.2857
  idx=6: 2Y=0.9780, 3Y=0.4066, diff=0.5714
  idx=7: 2Y=0.5586, 3Y=0.1300, diff=0.4286

问题分析：

• 5层嵌套：cs_rank → ts_decay_linear → ts_delta → ts_rank → ts_corr → ts_rank
• ts_decay_linear 使用 numpy.convolve，结果依赖输入序列长度
• ts_rank 使用 sliding_window_view，对数据起始点敏感

2.2.4 GTJA_alpha176（无穷大值）

差异数据点示例:
  idx=948: 2Y=-0.9146, 3Y=-0.9146, diff=0.0000000001
  idx=949: 2Y=-0.8809, 3Y=-0.8809, diff=0.0000000002
  (差异本身很小，但3Y模式下产生了inf值)

问题分析：

• 存在除零操作导致inf值
• 需要添加epsilon保护

---

2.3 数值显著差异因子（需修复）

因子名称	最大差异	平均差异	差异数据点	可能原因
GTJA_alpha016	0.021	2.3e-6	336	cs_rank嵌套
GTJA_alpha032	0.605	3.9e-5	8341	ts_sum嵌套cs_rank
GTJA_alpha077	0.580	0.00013	36577	cs_rank+ts_decay_linear
GTJA_alpha091	0.204	4.2e-6	2147	cs_rank嵌套max_
GTJA_alpha121	0.296	0.00457	2412	ts_rank嵌套ts_corr
GTJA_alpha130	0.613	2.9e-5	358	ts_rank+ts_decay_linear
GTJA_alpha141	0.629	0.00011	28256	cs_rank+ts_corr

---

2.4 边界效应差异因子（需关注）

因子名称	最大差异	平均差异	差异数据点	问题类型
GTJA_alpha042	0.00027	1.8e-7	214	ts_std嵌套
GTJA_alpha062	1.0e-6	0.0	579	ts_corr嵌套
GTJA_alpha064	0.501	0.00022	74838	ts_decay_linear嵌套
GTJA_alpha070	2.3e-6	8.1e-9	58440	ts_std(amount)
GTJA_alpha074	0.00837	8.5e-7	241	cs_rank+ts_corr
GTJA_alpha104	0.00028	2.7e-8	381	ts_delta+ts_std
GTJA_alpha119	0.160	1.5e-5	4051	cs_rank+ts_decay_linear

---

2.5 浮点精度差异因子（可忽略）

因子名称	最大差异	平均差异	差异数据点
volatility_5	4.3e-9	0.0	906
volatility_ratio	6.0e-10	0.0	96
volatility_squeeze_5_60	2.0e-10	0.0	16
turnover_deviation	2.0e-9	0.0	37
GTJA_alpha083	9.3e-5	1.9e-9	2
GTJA_alpha139	2.0e-10	0.0	12
GTJA_alpha179	1.9e-4	5.9e-9	4
GTJA_alpha191	5.6e-9	0.0	1010

---

2.6 NaN模式不一致因子（需关注）

因子名称	2Y NaN数	3Y NaN数	差异
GTJA_alpha005	704	600	-104
GTJA_alpha028	87678	89155	+1477
GTJA_alpha111	29410	35516	+6106
GTJA_alpha113	294	282	-12
GTJA_alpha164	29410	35516	+6106

---

3. 根因分析

3.1 问题分类

3.1.1 设计缺陷型（无法修复，只能排除）

以下因子天然依赖从数据起始点开始的累积计算，不应该在不同回看期下产生相同结果：

因子	DSL公式	问题
GTJA_alpha165	ts_sumac(close-ts_mean(close,48))	累积和从数据起点开始
GTJA_alpha183	ts_sumac(close-ts_mean(close,24))	累积和从数据起点开始

注：本次测试中这两个因子未出现，但之前测试中差异巨大（14万级别）

3.1.2 数值稳定性问题（需要修复）

问题类型	相关因子	修复方案
除零导致inf	GTJA_alpha005, GTJA_alpha176	添加epsilon保护
负数取对数	GTJA_alpha005	检查log输入是否为正
负数取平方根	待查	检查sqrt输入

3.1.3 滚动窗口边界效应（需要优化）

以下模式会导致不同回看期下边界数据点不同：

# ts_rank 实现
def rank_calc(s: pl.Series) -> pl.Series:
    values = s.to_numpy()
    n = len(values)
    windows = np.lib.stride_tricks.sliding_window_view(values, window)
    # 从第 window 个元素开始产生有效值
    # 不同起始点导致滑动窗口内容不同

# ts_decay_linear 实现
# 使用 numpy.convolve，输出依赖输入序列长度

3.1.4 cs_rank截面排名差异（需要优化）

cs_rank 对截面数据进行排名，不同回看期下：

• 有效数据点数量不同
• 排名时的百分位数分母不同

---

4. 修复建议

4.1 立即修复（高优先级）

4.1.1 排除问题因子

将以下因子加入排除列表：

EXCLUDED_FACTORS = [
    # 设计缺陷 - 累积和因子
    "GTJA_alpha165",  # ts_sumac 累积和历史依赖
    "GTJA_alpha183",  # ts_sumac 累积和历史依赖
    
    # 数值稳定性问题
    "GTJA_alpha005",  # 产生-inf值
    "GTJA_alpha176",  # 产生inf值
]

4.1.2 修复数值稳定性

修复位置： src/factors/translator.py

# 为除法操作添加 epsilon 保护
def _safe_divide(numerator, denominator, epsilon=1e-10):
    return numerator / (denominator + epsilon)

# 为 log 函数添加输入检查
def _safe_log(x, epsilon=1e-10):
    return log(x + epsilon)  # 确保输入为正

# 为 sqrt 函数添加输入检查  
def _safe_sqrt(x, epsilon=1e-10):
    return sqrt(abs(x))  # 确保输入非负

4.2 中期优化（中优先级）

4.2.1 优化 ts_rank 边界处理

当前问题：

• sliding_window_view 从第 window 个元素开始产生有效值
• 不同起始点导致初始NaN数量不同

优化方案：

# 使用动态起始点对齐
def ts_rank_aligned(expr, window):
    # 确保不同回看期产生相同起始点
    pass

4.2.2 优化 cs_rank 排名基准

当前问题：

• 排名时使用滑动窗口内的元素
• 不同回看期下窗口内元素不同

优化方案：

def cs_rank_aligned(expr):
    # 使用固定的排名基准
    # 例如：固定使用当日全部股票进行排名
    pass

4.3 长期改进（低优先级）

4.3.1 建立因子分类体系

class FactorCategory(Enum):
    """因子分类"""
    TIME_SERIES_ROLLING = "ts_rolling"      # 滚动窗口型（对回看期不敏感）
    TIME_SERIES_CUMULATIVE = "ts_cumulative" # 累积型（对回看期敏感）
    CROSS_SECTIONAL = "cs_rank"             # 截面型（对回看期敏感）
    HYBRID = "hybrid"                         # 混合型

4.3.2 增强一致性测试

def test_factor_consistency_threshold():
    """测试因子一致性阈值"""
    THRESHOLDS = {
        "float_precision": 1e-6,   # 浮点精度差异可接受
        "boundary_effect": 0.01,    # 边界效应差异需关注
        "significant": 0.1,         # 显著差异需修复
    }

---

5. 影响评估

5.1 对模型训练的影响

风险等级	因子数量	影响
低	8	浮点精度差异，不影响训练
中	16	边界效应，可能轻微影响
高	8	显著不一致，会影响模型
极高	1	inf/nan值，必须修复

5.2 对回测的影响

关键问题：

• 训练时使用3年回看，预测时用4年回看 → 因子值不一致
• 可能导致回测结果与实盘表现不符

建议：

• 训练和预测使用相同的LOOKBACK_DAYS配置
• 或在模型中记录回看期设置

---

6. 测试代码分析

6.1 测试逻辑

def compute_simple_factors(lookback_days: int) -> pl.DataFrame:
    actual_start = get_lookback_start_date(PREDICT_START, lookback_days)
    # 从 actual_start 开始加载数据
    # 计算因子
    # 过滤到 PREDICT_START 之后的日期
    return data

6.2 比较逻辑

def compare_factor_values(data_2y, data_3y, feature_cols):
    # 使用 np.allclose(valid_2y, valid_3y, rtol=1e-10, atol=1e-10)
    # rtol=1e-10 相对容差
    # atol=1e-10 绝对容差

6.3 断言

assert results["inconsistent_factors"] == 0, (
    f"发现 {results['inconsistent_factors']} 个简单因子在不同 LOOKBACK_DAYS 下结果不一致"
)

---

7. 结论

7.1 关键发现

1. 33个因子（17.3%）在不同回看期下结果不一致
2. 其中8个因子存在严重差异（max_diff >= 0.1 或 inf/nan）
3. 问题根源包括：设计缺陷、数值稳定性、边界效应

7.2 修复优先级

优先级	因子	行动
P0	GTJA_alpha005, GTJA_alpha176	排除（产生inf值）
P1	GTJA_alpha113, GTJA_alpha138, GTJA_alpha140, GTJA_alpha146	修复数值稳定性
P2	其他16个显著差异因子	优化滚动窗口处理
P3	8个浮点精度因子	可忽略

7.3 后续步骤

1. 立即：更新 SELECTED_FACTORS 排除问题因子
2. 本周：修复 translator.py 中的数值稳定性问题
3. 本月：建立因子分类和一致性测试体系

---

附录：完整不一致因子列表

序号	因子名称	最大差异	平均差异	差异数据点	风险等级
1	volatility_5	4.3e-09	0.0	906	低
2	volatility_ratio	6.0e-10	0.0	96	低
3	volatility_squeeze_5_60	2.0e-10	0.0	16	低
4	turnover_deviation	2.0e-09	0.0	37	低
5	GTJA_alpha005	inf	inf	2170	极高
6	GTJA_alpha016	0.021	2.3e-06	336	高
7	GTJA_alpha032	0.605	3.9e-05	8341	高
8	GTJA_alpha042	0.00027	1.8e-07	214	中
9	GTJA_alpha062	1.0e-06	0.0	579	中
10	GTJA_alpha064	0.501	0.00022	74838	高
11	GTJA_alpha070	2.3e-06	8.1e-09	58440	中
12	GTJA_alpha074	0.00837	8.5e-07	241	中
13	GTJA_alpha077	0.580	0.00013	36577	高
14	GTJA_alpha083	9.3e-05	1.9e-09	2	低
15	GTJA_alpha090	0.021	1.5e-06	416	高
16	GTJA_alpha091	0.204	4.2e-06	2147	高
17	GTJA_alpha104	0.00028	2.7e-08	381	中
18	GTJA_alpha105	nan	nan	591	极高
19	GTJA_alpha113	0.803	0.108	95337	极高
20	GTJA_alpha114	nan	nan	11	极高
21	GTJA_alpha115	0.989	0.0014	83182	极高
22	GTJA_alpha119	0.160	1.5e-05	4051	高
23	GTJA_alpha121	0.296	0.00457	2412	高
24	GTJA_alpha130	0.613	2.9e-05	358	高
25	GTJA_alpha138	0.857	0.108	21689	极高
26	GTJA_alpha139	2.0e-10	0.0	12	低
27	GTJA_alpha140	0.999	0.029	7535	极高
28	GTJA_alpha141	0.629	0.00011	28256	高
29	GTJA_alpha146	3.719	0.0058	81526	极高
30	GTJA_alpha148	1.000	1.0e-05	1	极高
31	GTJA_alpha176	inf	inf	74	极高
32	GTJA_alpha179	0.00019	5.9e-09	4	低
33	GTJA_alpha191	5.6e-09	0.0	1010	低