liaozhaorun/ProStock
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix(data): 修复财务因子计算非确定性问题

Browse Source 
重构 financial_loader 的去重逻辑，确保截面排名计算的股票集合一致：
- 引入"高水位线"算法剔除陈旧历史财报（解决2026年发布2021年财报的问题）
- 改变去重策略：按报告期(end_date)而非更新标识(update_flag)保留最新数据
- 扩展回看期从1年到2年，防止ST/停牌公司财报缺失
- 确保相同交易日在不同查询范围下返回一致的财务数据
This commit is contained in:
liaozhaorun
2026-03-08 20:58:35 +08:00
parent 3c7795f630
commit 505279c08b
5 changed files with 480 additions and 2853 deletions
Download Patch File Download Diff File Expand all files Collapse all files

189
tests/test_financial_price_merge.py
View File

@@ -16,7 +16,7 @@ def create_mock_price_data() -> pl.DataFrame:
"""创建模拟行情数据。"""
return pl.DataFrame(
{
"ts_code": ["000001.SZ"] * 10,
"ts_code": ["000001.SZ"] * 12,
"trade_date": [
"20240101",
"20240102",
@@ -28,8 +28,24 @@ def create_mock_price_data() -> pl.DataFrame:
"20240110",
"20240111",
"20240112",
# 添加2024-04-30之后的日期，用于测试同日不同报告期场景
"20240501",
"20240502",
],
"close": [
10.0,
10.2,
10.3,
10.1,
10.5,
10.6,
10.4,
10.7,
10.8,
10.9,
11.0,
11.1,
],
"close": [10.0, 10.2, 10.3, 10.1, 10.5, 10.6, 10.4, 10.7, 10.8, 10.9],
}
)
@@ -37,31 +53,63 @@ def create_mock_price_data() -> pl.DataFrame:
def create_mock_financial_data() -> pl.DataFrame:
"""创建模拟财务数据（覆盖多种场景）。
场景说明：
1. 2024-01-02 发布 2023Q3 报告（end_date=20230930）
2. 2024-01-02 发布 2023Q3 更正版（update_flag=1）
3. 2024-04-30 同时发布 2023年报（end_date=20231231）和 2024Q1季报（end_date=20240331）
4. 2024-04-30 发布 2023年报更正版
预期结果：
- 2024-01-02 保留 2023Q3 更正版
- 2024-04-30 保留 2024Q1 季报（end_date 最新）
注意：f_ann_date 必须是 Date 类型（与数据库保持一致）。
"""
return pl.DataFrame(
{
"ts_code": ["000001.SZ", "000001.SZ", "000001.SZ", "000001.SZ"],
# 场景1: 2023Q3 报告，正常公告
# 场景2: 同日多版（update_flag 区分）
# 场景3: 隔日修改
"ts_code": [
"000001.SZ",
"000001.SZ",
"000001.SZ",
"000001.SZ",
"000001.SZ",
],
"f_ann_date": [
date(2024, 1, 2),
date(2024, 1, 2),
date(2024, 1, 5),
date(2024, 1, 10),
date(2024, 1, 2), # 同日多版
date(2024, 4, 30),
date(2024, 4, 30),
date(2024, 4, 30), # 同日不同报告期
],
"end_date": [
"20230930",
"20230930", # 2023Q3
"20231231",
"20240331",
"20231231", # 年报和季报同一天发布
],
"report_type": [1, 1, 1, 1, 1], # 整数类型（与数据库一致）
"update_flag": [0, 1, 0, 0, 1], # 年报也有更正版
"net_profit": [
1000000.0,
1100000.0, # 2023Q3
5000000.0,
1500000.0,
5500000.0, # 年报更正后550万，季报150万
],
"revenue": [
5000000.0,
5200000.0, # 2023Q3
20000000.0,
8000000.0,
22000000.0,
],
"end_date": ["20230930", "20230930", "20230930", "20231231"],
"report_type": [1, 1, 1, 1], # 整数类型（与数据库一致）
"update_flag": [0, 1, 1, 1], # 整数类型（与数据库一致）
"net_profit": [1000000.0, 1100000.0, 1100000.0, 1200000.0],
"revenue": [5000000.0, 5200000.0, 5200000.0, 6000000.0],
}
)
def test_financial_data_cleaning():
"""测试财务数据清洗逻辑。"""
"""测试财务数据清洗逻辑 - 确保同日多报告期时选 end_date 最新的。"""
print("=== 测试 1: 财务数据清洗 ===")
df_finance = create_mock_financial_data()
@@ -70,36 +118,61 @@ def test_financial_data_cleaning():
loader = FinancialLoader()
# 手动执行清洗（模拟 load_financial_data 的逻辑）
# 步骤1: 仅保留合并报表
# 手动执行新的清洗逻辑
df = df_finance.filter(pl.col("report_type") == 1)
# 步骤2: 按 update_flag 降序排列后去重
# 添加辅助列
df = df.with_columns(
[pl.col("update_flag").cast(pl.Int32).alias("update_flag_int")]
[
pl.col("end_date").cast(pl.Int32).alias("end_date_int"),
pl.col("update_flag")
.fill_null("0")
.cast(pl.Int32, strict=False)
.fill_null(0)
.alias("update_flag_int"),
]
)
df = df.sort(
["ts_code", "f_ann_date", "update_flag_int"], descending=[False, False, True]
# 确定性排序
df = df.sort(["ts_code", "f_ann_date", "end_date_int", "update_flag_int"])
# 累积最大报告期
df = df.with_columns(
pl.col("end_date_int").cum_max().over("ts_code").alias("max_end_date_seen")
)
df = df.unique(subset=["ts_code", "f_ann_date"], keep="first")
df = df.drop("update_flag_int")
# 过滤历史包袱
df = df.filter(pl.col("end_date_int") == pl.col("max_end_date_seen"))
# 步骤3: 排序（f_ann_date 已经是 Date 类型）
# 去重保留最后一条（end_date 最大的）
df = df.unique(subset=["ts_code", "f_ann_date"], keep="last")
# 清理辅助列
df = df.drop(["end_date_int", "update_flag_int", "max_end_date_seen"])
df = df.sort(["ts_code", "f_ann_date"])
print("\n清洗后的财务数据：")
print(df)
# 验证：应该有3条记录（第1-2行去重为1条，第3行，第4行）
assert len(df) == 3, f"清洗后应该有3条记录，实际有 {len(df)} 条"
# 验证：应该有2条记录（2024-01-02 和 2024-04-30）
assert len(df) == 2, f"清洗后应该有2条记录，实际有 {len(df)} 条"
# 验证：2024-01-02 的 update_flag 应该是 1
# 验证：2024-01-02 的 end_date 应该是 20230930
row_jan02 = df.filter(pl.col("f_ann_date") == date(2024, 1, 2))
assert len(row_jan02) == 1, "应该有1条 2024-01-02 的记录"
assert row_jan02["update_flag"][0] == 1, "update_flag 应该为 1"
assert row_jan02["net_profit"][0] == 1100000.0, "net_profit 应该为 1100000"
assert len(row_jan02) == 1
assert row_jan02["end_date"][0] == "20230930"
assert row_jan02["update_flag"][0] == 1
print("[验证 1] 2024-01-02 正确保留了 2023Q3 更正版")
# 验证：2024-04-30 应该保留 2024Q1（end_date=20240331），而不是年报
row_apr30 = df.filter(pl.col("f_ann_date") == date(2024, 4, 30))
assert len(row_apr30) == 1
assert row_apr30["end_date"][0] == "20240331", (
f"2024-04-30 应该保留 end_date 最新的 20240331，"
f"实际为 {row_apr30['end_date'][0]}"
)
assert row_apr30["net_profit"][0] == 1500000.0
print("[验证 2] 2024-04-30 正确保留了 2024Q1 季报（end_date 最新）")
print("\n[通过] 财务数据清洗测试通过！")
return df
@@ -114,17 +187,44 @@ def test_financial_price_merge():
loader = FinancialLoader()
# 步骤1: 清洗财务数据（手动执行）
# 步骤1: 清洗财务数据（手动执行新的清洗逻辑）
# 注意：f_ann_date 已经是 Date 类型，不需要转换
df_finance = df_finance_raw.filter(pl.col("report_type") == 1)
# 添加辅助列
df_finance = df_finance.with_columns(
[pl.col("update_flag").cast(pl.Int32).alias("update_flag_int")]
[
pl.col("end_date").cast(pl.Int32).alias("end_date_int"),
pl.col("update_flag")
.fill_null("0")
.cast(pl.Int32, strict=False)
.fill_null(0)
.alias("update_flag_int"),
]
)
# 确定性排序
df_finance = df_finance.sort(
["ts_code", "f_ann_date", "update_flag_int"], descending=[False, False, True]
["ts_code", "f_ann_date", "end_date_int", "update_flag_int"]
)
# 累积最大报告期
df_finance = df_finance.with_columns(
pl.col("end_date_int").cum_max().over("ts_code").alias("max_end_date_seen")
)
# 过滤历史包袱
df_finance = df_finance.filter(
pl.col("end_date_int") == pl.col("max_end_date_seen")
)
# 去重保留最后一条（end_date 最大的）
df_finance = df_finance.unique(subset=["ts_code", "f_ann_date"], keep="last")
# 清理辅助列
df_finance = df_finance.drop(
["end_date_int", "update_flag_int", "max_end_date_seen"]
)
df_finance = df_finance.unique(subset=["ts_code", "f_ann_date"], keep="first")
df_finance = df_finance.drop("update_flag_int")
df_finance = df_finance.sort(["ts_code", "f_ann_date"])
print("清洗后的财务数据：")
@@ -166,15 +266,22 @@ def test_financial_price_merge():
assert jan04["net_profit"][0] == 1100000.0, "2024-01-04 应延续使用 2023Q3 数据"
print("[验证 3] 2024-01-04 net_profit=1100000 - 正确（延续使用）")
# 20240110 应切换到 2023Q4 数据（新公告）
# 20240110 应延续使用 2023Q3 数据（2024-04-30 还未公告）
jan10 = merged.filter(pl.col("trade_date") == "20240110")
assert jan10["net_profit"][0] == 1200000.0, "2024-01-10 应切换到 2023Q4 数据"
print("[验证 4] 2024-01-10 net_profit=1200000 - 正确（新财报公告）")
assert jan10["net_profit"][0] == 1100000.0, "2024-01-10 应延续使用 2023Q3 数据"
print("[验证 4] 2024-01-10 net_profit=1100000 - 正确（延续使用 2023Q3）")
# 20240112 应继续延续使用 2023Q4 数据
# 20240112 应继续延续使用 2023Q3 数据
jan12 = merged.filter(pl.col("trade_date") == "20240112")
assert jan12["net_profit"][0] == 1200000.0, "2024-01-12 应继续使用 2023Q4 数据"
print("[验证 5] 2024-01-12 net_profit=1200000 - 正确（延续使用）")
assert jan12["net_profit"][0] == 1100000.0, "2024-01-12 应继续使用 2023Q3 数据"
print("[验证 5] 2024-01-12 net_profit=1100000 - 正确（延续使用 2023Q3）")
# 20240501 应切换到 2024Q1 数据（2024-04-30 已公告，且选择 end_date 最新的）
may01 = merged.filter(pl.col("trade_date") == "20240501")
assert may01["net_profit"][0] == 1500000.0, "2024-05-01 应切换到 2024Q1 数据"
print(
"[验证 6] 2024-05-01 net_profit=1500000 - 正确（切换到 2024Q1，end_date 最新）"
)
print("\n[通过] 所有验证通过，无未来函数！")
return merged