# FactorMiner 本地框架整合实施计划

> 目标：将 `src/factorminer` 完全整合进 ProStock 项目，数据加载、因子计算全部使用本地框架，仅在因子生成、落库、指标分析时保留 FactorMiner 代码。

---

## 代码风格与本地框架融合规范（全局约束）

所有新增/修改代码必须遵循 ProStock 代码风格，严禁出现 FactorMiner 原生的松散风格或外部项目风格。

1. **命名规范**
   - 函数/方法/变量：`snake_case`
   - 类名：`PascalCase`
   - 常量：`UPPER_CASE`
   - 私有方法/属性：`_leading_underscore`

2. **类型提示**
   - 所有公共函数必须标注参数类型和返回类型
   - 可空类型使用 `Optional[X]` 或 `X | None`（Python 3.10+）
   - 复杂类型从 `typing` 导入：`Dict`, `List`, `Callable`, `Tuple`, `Any`

3. **文档字符串**
   - **中文** Google 风格
   - 第一行为简短摘要
   - 必须包含 `Args:` 和 `Returns:` 段落

4. **导入顺序**
   ```python
   # 1. 标准库
   import os
   from typing import Optional, Dict, List

   # 2. 第三方包
   import numpy as np
   import polars as pl

   # 3. 本地模块（绝对导入）
   from src.data.storage import Storage
   from src.factors import FactorEngine
   ```

5. **错误处理**
   - 禁止裸 `except:`
   - 错误信息格式：`print(f"[ERROR] 上下文: {e}")`
   - 记录上下文后重新抛出 `raise`

6. **日志与输出**
   - 使用带前缀的 `print`：`print("[模块名] 消息")`
   - 循环进度使用 `tqdm`
   - **禁止 emoji**

7. **数据加载**
   - 查询模式必须使用 `Storage(read_only=True)`
   - 因子计算统一通过 `FactorEngine`

8. **测试**
   - 所有新模块必须配套 `tests/test_*.py`
   - 运行命令：`uv run pytest tests/test_xxx.py -v`

---

## Step 0: 统一模块引用风格为 `src.*`（已完成）

**状态：** [x] 已完成（通过脚本批量替换）

- 所有 `from factorminer.xxx` 已替换为 `from src.factorminer.factorminer.xxx`
- 所有字符串形式的模块引用（如 `"factorminer.xxx"`）已同步更新

---

## Step 1: 本地数据加载层（`LocalDataLoader`）

**文件**
- 新建：`src/factorminer/factorminer/data/local_data_loader.py`
- 测试：`tests/test_factorminer_local_data_loader.py`

**目标**
- 弃用 `loader.py` + `preprocessor.py`，改为从本地 DuckDB `pro_bar` 表读取数据
- 统一日期范围：`20190101` ~ `20231231`
- 支持股票池筛选（与 `experiment/common.py` 的 `stock_pool_filter` 对齐）
- 生成 `$vwap` 等价字段（`amount / vol`），并提供统一的 `asset_ids` / `timestamps` 索引

**实现要点**
- 使用 `Storage(read_only=True).load_polars("pro_bar", ...)` 读取数据
- 日期格式统一为字符串 `YYYYMMDD`
- 股票池筛选通过注入的 `filter_func` 完成（默认使用 `experiment/common.py` 的筛选逻辑）
- 返回封装对象 `LocalPanel`，包含：
  - `df: pl.DataFrame`（原始长表）
  - `asset_ids: np.ndarray`
  - `timestamps: np.ndarray`

**代码风格检查点**
- 类名 `LocalDataLoader` / `LocalPanel`
- 所有公共方法带类型提示和中文 docstring
- 导入顺序正确

---

## Step 2: DSL 翻译器（`FmToLocalTranslator`）

**文件**
- 新建：`src/factorminer/factorminer/core/formula_translator.py`
- 测试：`tests/test_factorminer_formula_translator.py`

**目标**
- 将 FactorMiner 论文中的 110 个 CamelCase DSL 公式翻译成本地 snake_case DSL
- 覆盖全部算子，未覆盖的算子翻译结果前加 `# TODO` 标记
- 翻译器**仅用于** paper factors 导入和向后兼容，不用于 LLM 生成路径

**映射规则示例**
| FactorMiner | 本地 DSL |
|-------------|----------|
| `Neg(X)` | `-X` |
| `Sub(A, B)` | `A - B` |
| `Div(A, B)` | `A / B` |
| `CsRank(X)` | `cs_rank(X)` |
| `TsMean(X, 20)` | `ts_mean(X, 20)` |
| `$close` | `close` |
| `$volume` | `vol` |
| `$amt` | `amount` |
| `$vwap` | `amount / vol` |

**实现要点**
- 使用递归下降直接翻译 `ExpressionTree` 节点，不依赖字符串替换（避免括号歧义）
- `LeafNode` 处理字段映射；`OperatorNode` 处理算子映射
- 对二元算术算子输出中缀表达式并合理加括号
- 未实现的算子返回 `# TODO: <原始算子名>(...)`

**代码风格检查点**
- 翻译器为一个纯函数类，无状态
- 单元测试覆盖 paper factors 中的高频算子和至少 5 个完整公式

---

## Step 3: 禁用 npz 并将翻译器集成到库 I/O

**文件**
- 修改：`src/factorminer/factorminer/core/library_io.py`
- 修改：`src/factorminer/factorminer/cli.py`（如有 `save_signals` 参数则改为始终 False）
- 测试：`tests/test_factorminer_library_io.py`

**目标**
- 彻底禁止 `.npz` 信号缓存落盘
- `load_library` 加载内置 110 个 paper factors 时，自动调用翻译器将其转换为本地的 snake_case DSL
- 如果翻译结果是 `# TODO`，则在 factor metadata 中标记 `unsupported=True`

**修改要点**
- `save_library(..., save_signals)`：无论传入什么，均忽略 `save_signals`，且不写 `.npz`
- `load_library(path)`：恢复 JSON 后，将每个 `factor.formula` 通过翻译器转换
- `import_from_paper()`：在构建 FactorLibrary 时直接翻译所有公式

**代码风格检查点**
- 修改点尽量少，废弃参数保留以兼容旧签名，但内部忽略
- 打印日志说明 npz 已禁用：`print("[library_io] 信号缓存已禁用，仅保存 JSON 元数据")`

---

## Step 4: LLM Prompt 改造（让 Agent 直接生成本地 DSL）

**文件**
- 修改：`src/factorminer/factorminer/agent/prompt_builder.py`
- 修改：`src/factorminer/factorminer/agent/factor_generator.py`（如有必要）
- 测试：`tests/test_factorminer_prompt.py`

**目标**
- 将 Prompt 中的 DSL 规范从 CamelCase + `$` 前缀改为本地 snake_case DSL
- 修改示例公式，使其全部为本地 DSL 格式（如 `cs_rank(close / ts_delay(close, 5) - 1)`）
- 明确可用字段：`open`, `high`, `low`, `close`, `vol`, `amount`, `vwap`（可用 `amount / vol` 计算）

**修改要点**
- 重写 `SYSTEM_PROMPT` 中的 DSL 规则段落
- 将所有 prompt 示例公式替换为本地 DSL
- `OutputParser` 中的公式清洗逻辑需同步适配（去掉 `$`，但保留中文描述）

**代码风格检查点**
- Prompt 内容易读、无 emoji
- 通过单元测试验证 prompt 中生成本地 DSL 示例的正确性

---

## Step 5: `LocalFactorEvaluator`（FactorEngine 执行封装）

**文件**
- 新建：`src/factorminer/factorminer/evaluation/local_engine.py`
- 测试：`tests/test_factorminer_local_engine.py`

**目标**
- 封装 `FactorEngine`，提供与 FactorMiner `compute_tree_signals` 兼容的接口
- 输入：候选因子 DSL 列表；输出：`(M, T)` numpy 信号矩阵字典
- 支持批量计算 + 立即清理 engine 状态

**类签名设计**
```python
class LocalFactorEvaluator:
    def __init__(self, data_loader: LocalDataLoader) -> None:
        ...

    def evaluate(
        self,
        specs: List[Tuple[str, str]],
    ) -> Dict[str, np.ndarray]:
        """批量计算并返回 {name: (M, T) 矩阵}。"""
        ...

    def evaluate_single(
        self,
        name: str,
        formula: str,
    ) -> np.ndarray:
        """计算单个因子。"""
        ...
```

**实现要点**
- `evaluate` 中一次性注册所有 specs，调用 `engine.compute(...)`
- 使用 `pivot_table` 将返回的 Polars 长表转换为 `(M, T)` numpy 矩阵
- 缺失值填充 `np.nan`
- 计算结束后调用 `engine.clear()`

**代码风格检查点**
- 严格的类型提示和中文 docstring
- 日志打印：`print("[local_engine] 开始批量计算 {n} 个因子...")`

---

## Step 6: 替换计算管线（`pipeline.py` / `runtime.py`）

**文件**
- 修改：`src/factorminer/factorminer/evaluation/pipeline.py`
- 修改：`src/factorminer/factorminer/evaluation/runtime.py`
- 测试：`tests/test_factorminer_pipeline_integration.py`

**目标**
- 将 `compute_tree_signals(..., data_dict)` 替换为通过 `LocalFactorEvaluator` 计算
- 保留原有 IC、stats、quintile 分析逻辑

**修改 `pipeline.py` 要点**
- `ValidationPipeline.__init__` 接收 `data_loader: LocalDataLoader`
- 构建内部 `LocalFactorEvaluator`
- `compute_tree_signals` 改为调用 `evaluator.evaluate_single(name, formula)`
- `evaluate` 方法中，一次性批量计算所有候选因子，再逐个进入 stats

**修改 `runtime.py` 要点**
- `evaluate_factors` 中实例化 `LocalFactorEvaluator`
- 对每个 factor 调用 `evaluate_single`；若 formula 以 `# TODO` 开头，标记为 reject
- 保留 split-mask 和 stats 计算逻辑

**代码风格检查点**
- 修改点精确定位，不改变评估函数的返回数据结构
- 兼容测试通过后再提交

---

## Step 7: 内存优化——库中因子按需重算

**文件**
- 修改：`src/factorminer/factorminer/core/factor_library.py`
- 测试：`tests/test_factorminer_library_memory.py`

**目标**
- 库内因子对象不再长期持有 `(M, T)` numpy signals
- 相关性检查改为按需调用 `LocalFactorEvaluator` 重算

**修改要点**
- `admit()` 时不再保存 `signals` 到 `Factor` 对象
- `compute_correlation` 签名改为接收 `evaluator: LocalFactorEvaluator`
- 内部遍历库中因子，临时调用 `evaluator.evaluate_single` 计算信号，再与候选信号求相关
- 若 formula 为 `# TODO` 则跳过（返回 `0.0`）
- 删除 `_extend_correlation_matrix` / `_recompute_matrix_slot` 增量维护逻辑（改为动态求最大相关）

**代码风格检查点**
- 废弃旧方法时保留空壳或私有方法，避免测试大面积报错
- 中文注释说明为什么删除增量矩阵（本地引擎重算成本低，内存优先）

---

## Step 8: 端到端集成测试（110 Paper Factors）

**文件**
- 新建：`tests/test_factorminer_e2e.py`

**目标**
- 验证翻译后的 110 个 paper factors 全部能在本地引擎上成功计算信号
- 排除因未实现算子导致的 TODO 公式，统计成功率

**测试逻辑**
1. 调用 `import_from_paper()` 加载因子库
2. 实例化 `LocalDataLoader` 读取 20200101 ~ 20201231 数据
3. 实例化 `LocalFactorEvaluator`
4. 过滤掉 `unsupported=True` 的因子
5. 批量计算剩余因子，断言输出形状为 `(M, T)` 且不含全 NaN
6. 打印统计：`print("[e2e] 成功 {x}/110，跳过 {y} 个未实现算子")`

**代码风格检查点**
- 使用 `pytest.mark.slow` 标记（若运行时间 > 30 秒）
- 不依赖外部 API Key

---

## Step 9: 清理所有 checkpoint 和 demo 中的 npz 保存逻辑

**文件**
- 修改：`src/factorminer/factorminer/core/ralph_loop.py`
- 修改：`src/factorminer/factorminer/core/helix_loop.py`
- 修改：`src/factorminer/run_demo.py`
- 修改：`src/factorminer/run_phase2_benchmark.py`
- 修改：`src/factorminer/factorminer/benchmark/*.py`（如有 `save_signals` 调用）

**目标**
- 确保任何运行路径都不会意外触发 `.npz` 信号缓存落盘
- 移除或注释掉所有 `library_io.save_library(..., save_signals=True)` 调用

**修改要点**
- 搜索 `save_signals=True` 和 `.npz` 关键字，逐一处理
- 改为 `save_signals=False` 或直接调用不带该参数的 `save_library`

---

## Step 10: 代码风格审查、测试全量回归与提交

**执行清单**
1. 运行 `uv run pytest tests/test_factorminer_* -v`，确保全部通过
2. 运行 `uv run pytest tests/test_factor_engine.py tests/test_factor_integration.py -v`，确保本地框架未受影响
3. 检查新增代码中是否混入 emoji
4. 检查新增代码的导入顺序和 docstring 完整性
5. 提交前做一次 `git diff --stat`，确认没有误删或大规模重写无关文件

**提交建议**
- 按模块分几个 commit，而不是一个巨大的 commit
- 使用 Conventional Commits 风格（`feat:` / `refactor:` / `perf:` / `test:`）

---

## 风险与 TODO

| 风险 | 应对 |
|------|------|
| FactorMiner 某些算子本地框架没有实现 | 翻译时标记 `# TODO`，评估阶段 reject |
| `FactorEngine` 在极宽表（>1000 列）时内存激增 | 以 batch 为单位分批计算，并配合 `engine.clear()` |
| 本地 `pro_bar` 表数据不完整或缺少某些日期 | 在 `LocalDataLoader` 中加入 coverage check，缺失率过高时抛异常 |
| `OutputParser` 对本地 DSL 的括号/逗号解析不兼容 | 修改 `OutputParser` 的清洗正则，增加单元测试 |

---

## 附：核心模块依赖关系

```
┌────────────────────┐
│ LocalDataLoader    │  ← Storage(read_only=True)
└────────┬───────────┘
         │
         ▼
┌────────────────────┐
│ LocalFactorEvaluator│ ← FactorEngine (批量计算 -> pivot -> np.ndarray)
└────────┬───────────┘
         │
    ┌────┴────┐
    ▼         ▼
pipeline.py  runtime.py  ← 保留 FactorMiner 的 stats / metrics / admission 逻辑
    │
    ▼
factor_library.py  ← 按需重算，不保存 signals
```