|
|
6730acbae1
|
feat(data): 添加每日筹码及胜率数据接口 (cyq_perf)
- 新增 api_cyq_perf 模块，支持筹码分布数据获取和同步
- 在 sync_registry 中注册 cyq_perf 同步器
|
2026-03-26 00:15:30 +08:00 |
|
|
|
bace4cc5f4
|
feat(data): 为数据同步添加事务支持和同步日志
- Storage/ThreadSafeStorage 添加事务支持（begin/commit/rollback）
- 新增 SyncLogManager 记录所有同步任务的执行状态
- 集成事务到 StockBasedSync、DateBasedSync、QuarterBasedSync
- 在 sync_all 和 sync_financial 调度中心添加日志记录
- 新增测试验证事务和日志功能
|
2026-03-23 21:10:15 +08:00 |
|
|
|
31b25074c3
|
test(debug): 添加因子回测一致性问题的调试测试套件
- 分析GTJA_alpha032等因子在不同LOOKBACK_DAYS下的差异来源
- 验证cs_rank嵌套和截面股票数量对结果的影响
- 测试ts_rank NaN处理和除法除零修复
|
2026-03-22 02:43:23 +08:00 |
|
|
|
ccd42082c2
|
refactor(experiment): 重构模型保存机制，支持 processors 持久化
- 模型保存路径改为 models/{model_type}/ 目录结构
- save_model_with_factors 新增 fitted_processors 参数
- 新增 load_processors 函数加载处理器状态
- Storage 查询排序优化：ORDER BY ts_code, trade_date
|
2026-03-19 21:06:11 +08:00 |
|
|
|
81e89f3796
|
feat(factors/engine): 添加性能分析器支持 debug 模式
- 新增 PerformanceProfiler 组件，与 FactorEngine 解耦
- 支持上下文管理器用法，安全计时处理异常
- 为 DataRouter/ComputeEngine/FactorEngine 添加 debug 参数
|
2026-03-15 19:34:33 +08:00 |
|
|
|
f943cc98d0
|
feat(factors): 添加 cs_mean 函数并增强 max_/min_ 单参数支持
- 新增 cs_mean 截面均值函数，支持 GTJA Alpha127 等因子转换
- max_/min_ 支持单参数调用，默认使用 252 天（约 1 年）滚动窗口
|
2026-03-15 18:00:48 +08:00 |
|
|
|
c6ebab0e58
|
feat(factors): 添加时间序列函数及智能路由
- 新增 8 个国泰君安 191 兼容的时间序列函数：ts_sma, ts_wma, ts_decay_linear, ts_argmax, ts_argmin, ts_count, ts_prod, ts_sumac
- max_/min_ 函数智能路由：正整数参数自动调用 ts_max/ts_min 实现滚动窗口逻辑
|
2026-03-15 13:05:55 +08:00 |
|
|
|
181994f063
|
perf(factors/engine): 重构计算引擎使用 Polars 原生并行
- 移除 Python 多进程/多线程池，消除 DataFrame 序列化开销
- 采用 BFS 分层执行策略，每层表达式通过单次 with_columns 提交
- 利用 Polars Rust 引擎实现零拷贝并行计算
- 添加死锁检测机制处理依赖环
|
2026-03-14 01:24:52 +08:00 |
|
|
|
2034d60fbb
|
fix(factors): 修复 AST 优化器并发命名冲突及逻辑运算支持
- 修复 ExpressionFlattener 跨实例临时名称冲突
- 添加 & 和 | 逻辑运算符的 DSL/Parser/Translator 支持
- 增加回归测试验证修复
|
2026-03-14 01:17:14 +08:00 |
|
|
|
c8808d07eb
|
feat(factors): 实现 AST 拍平优化支持嵌套窗口函数
- 新增 ExpressionFlattener 类自动拆解嵌套窗口函数（如 cs_rank(ts_delay(close, 1))）
- 支持因子引用其他因子：engine.register("fac2", cs_rank("fac1"))
- 给 DependencyExtractor 增加 ignore_symbols 免疫名单，防止已注册因子被当作数据库字段
- 添加完整测试覆盖嵌套场景和数值一致性验证
|
2026-03-14 01:06:17 +08:00 |
|
|
|
2bb7718dd1
|
feat(factors): 集成 metadata 模块，支持按名称注册因子
- 新增 add_factor_by_name() 方法，从 metadata 查询 DSL 表达式并注册
- FactorEngine 支持可选的 metadata_path 参数初始化
- 将 regression.ipynb 和 learn_to_rank.ipynb 转换为 Python 脚本
- 新增 test_factor_engine_metadata.py 测试文件
|
2026-03-11 22:54:52 +08:00 |
|
|
|
88fa848b96
|
refactor(training): 重构股票池管理 API 并更新训练流程
- 移除 StockFilterConfig/MarketCapSelectorConfig，改用 StockPoolManager + filter_func
- Trainer 支持 train/val/test 三分法划分
- 更新 regression.ipynb 适配新 API
- 删除已弃用的 test_selectors.py，后续补充 StockPoolManager 测试
|
2026-03-09 22:33:41 +08:00 |
|
|
|
a464ef70c0
|
feat(data): 新增财务指标和涨跌停数据接口
- 财务指标: fina_indicator_vip 封装，166 字段，季度同步
- 涨跌停价格: stk_limit 封装，日频数据同步
- 配套单元测试和调度中心集成
|
2026-03-08 23:14:18 +08:00 |
|
|
|
505279c08b
|
fix(data): 修复财务因子计算非确定性问题
重构 financial_loader 的去重逻辑，确保截面排名计算的股票集合一致：
- 引入"高水位线"算法剔除陈旧历史财报（解决2026年发布2021年财报的问题）
- 改变去重策略：按报告期(end_date)而非更新标识(update_flag)保留最新数据
- 扩展回看期从1年到2年，防止ST/停牌公司财报缺失
- 确保相同交易日在不同查询范围下返回一致的财务数据
|
2026-03-08 20:58:35 +08:00 |
|
|
|
1520c2a51e
|
feat(factors): 新增 Phase 1-2 数学和统计因子函数
- 新增 atan, log1p 数学函数
- 新增 ts_var, ts_skew, ts_kurt, ts_pct_change, ts_ema 统计函数
- 新增 ts_atr, ts_rsi, ts_obv TA-Lib 技术指标函数
- 新增完整集成测试覆盖所有新函数
|
2026-03-07 01:03:49 +08:00 |
|
|
|
3b42093100
|
feat(data): 财务数据加载与清洗模块
新增 FinancialLoader 类，提供：
- 财务数据加载与清洗（保留合并报表，按 update_flag 去重）
- 支持 as-of join 拼接行情数据（无未来函数）
- 自动识别财务表并配置 asof_backward 拼接模式
|
2026-03-04 23:35:20 +08:00 |
|
|
|
620696c842
|
refactor: rename src/data/data_router.py to catalog.py
|
2026-03-04 22:09:53 +08:00 |
|
|
|
192718095f
|
feat(training): 实现训练模块核心组件（commits 6-9）
- StockPoolManager：每日独立筛选股票池，支持代码过滤和市值选择
- Trainer：整合训练完整流程，支持 processor 分阶段行为和模型持久化
- TrainingConfig：pydantic 配置管理，含必填字段和日期验证
- experiment 模块：预留结构
- 从计划中移除 metrics 组件
- 调整 commit 序号（7-10 → 6-9）
- 更新 training/__init__.py 导出所有公开 API
|
2026-03-03 22:57:01 +08:00 |
|
|
|
f35a6a76a6
|
feat(training): 实现 LightGBM 模型
- 新增 LightGBMModel：LightGBM 回归模型实现
- 支持自定义参数（objective, num_leaves, learning_rate, n_estimators 等）
- 使用 LightGBM 原生格式保存/加载模型（不依赖 pickle）
- 支持特征重要性提取
- 已注册到 ModelRegistry（@register_model("lightgbm")）
|
2026-03-03 22:30:37 +08:00 |
|
|
|
9ca1deae56
|
feat(training): 实现数据处理器
- 新增 StandardScaler：全局标准化，训练集学习参数，测试集复用
- 新增 CrossSectionalStandardScaler：截面标准化，每天独立计算
- 新增 Winsorizer：支持全局/截面两种缩尾模式
- 处理器统一遵循 fit/transform 接口，Trainer 可无差别调用
- 添加 17 个单元测试覆盖各种场景
|
2026-03-03 22:23:43 +08:00 |
|
|
|
6b63c428d9
|
feat(training): 实现股票池选择器配置
- 新增 StockFilterConfig：支持按代码前缀过滤创业板/科创板/北交所
- 新增 MarketCapSelectorConfig：配置市值选择参数（数量、排序、列名）
- 添加参数验证（n>0, 列名非空）
- 在 components 模块导出配置类
- 添加 15 个单元测试覆盖各种场景
|
2026-03-03 22:10:36 +08:00 |
|
|
|
f48b307ad2
|
feat(training): 实现 DateSplitter 数据划分器
- 新增 DateSplitter 类，支持基于日期范围的一次性训练/测试划分
- 实现日期格式验证和日期范围逻辑检查
- 支持自定义日期列名参数
- 添加完整的单元测试（12个测试用例）
- 在 components 模块导出 DateSplitter
|
2026-03-03 22:07:45 +08:00 |
|
|
|
317ecd87e7
|
feat(data): 封装ST股票列表接口(stock_st)
- 新增 api_stock_st.py，实现ST股票数据获取和日期遍历同步
- 更新 sync.py，将ST股票同步加入第7步流程
- 移除 base_sync.py 中未使用的 get_last_n_trading_days 导入
|
2026-03-03 22:04:22 +08:00 |
|
|
|
472b2b665a
|
feat(training): 添加训练模块基础架构
实现 Commit 1：训练模块基础架构
新增文件：
- src/training/__init__.py - 主模块导出
- src/training/components/__init__.py - components 子模块导出
- src/training/components/base.py - BaseModel/BaseProcessor 抽象基类
- src/training/registry.py - 模型和处理器注册中心
- tests/training/test_base.py - 基础架构单元测试
功能特性：
- BaseModel: 提供 fit, predict, feature_importance, save/load 接口
- BaseProcessor: 提供 fit, transform, fit_transform 接口
- ModelRegistry/ProcessorRegistry: 支持装饰器风格组件注册
- 支持即插即用的组件扩展机制
Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-opencode)
Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
|
2026-03-03 21:55:39 +08:00 |
|
|
|
53225b9443
|
feat(data): 添加每日指标接口并优化因子引擎
- 新增 api_daily_basic.py 封装 Tushare 每日指标接口
- 因子引擎移除 lookback_days，支持 daily_basic 表字段路由
- 将每日指标纳入自动同步流程
- 删除废弃的 training/main.py
|
2026-03-03 17:09:39 +08:00 |
|
|
|
780284af7f
|
feat(test): 添加两支股票因子字符串计算测试
测试基于 Formula Parser + DSL 的字符串因子表达式计算，
包含 return_5、ma5、ma10 等因子及截面排名验证
|
2026-03-03 00:15:16 +08:00 |
|
|
|
e8158a8d59
|
fix(api_pro_bar): 使用 Tushare 原始字段名
删除 turnover_rate/volume_ratio 到 tor/vr 的不必要重命名，
直接使用 Tushare API 返回的原始字段名。
|
2026-03-02 01:05:15 +08:00 |
|
|
|
b461a4940d
|
refactor(factor): 完成因子框架 DSL 化重构
- 重构 FactorEngine 实现完整的 DSL 表达式执行链路
- 新增 DataRouter 数据路由器，支持内存模式和核心宽表组装
- 新增 ExecutionPlanner 执行计划生成器，整合编译器和翻译器
- 新增 ComputeEngine 计算引擎，支持并行运算
- 完善 factors/__init__.py 公开 API 导出
- 新增 test_factor_engine.py 引擎单元测试
- 移除旧引擎实现和废弃的 DSL promotion 测试
- 更新 AGENTS.md 添加 v2.2 架构变更历史和 Factors 框架设计说明
|
2026-03-01 15:03:56 +08:00 |
|
|
|
0698b9d919
|
feat: 添加DSL因子表达式系统和Pro Bar API封装
- 新增 factors/dsl.py: 纯Python DSL表达式层，通过运算符重载实现因子组合
- 新增 factors/api.py: 提供常用因子符号(close/open/high/low)和时序函数(ts_mean/ts_std/cs_rank等)
- 新增 factors/compiler.py: 因子编译器
- 新增 factors/translator.py: DSL表达式翻译器
- 新增 data/api_wrappers/api_pro_bar.py: Tushare Pro Bar API封装，支持后复权行情数据
- 新增 data/data_router.py: 数据路由功能
- 新增相关测试用例
|
2026-02-27 22:43:45 +08:00 |
|
|
|
a56433e440
|
refactor(factor): 完全重构因子计算框架 - 引入DSL表达式系统
- 删除旧因子框架：移除 base.py、composite.py、data_loader.py、data_spec.py
及所有子模块（momentum、financial、quality、sentiment等）
- 新增DSL表达式系统：实现 factor DSL 编译器和翻译器
- dsl.py: 领域特定语言定义
- compiler.py: AST编译与优化
- translator.py: Polars表达式翻译
- api.py: 统一API接口
- 新增数据路由层：data_router.py 实现字段到表的动态路由
- 新增API封装：api_pro_bar.py 提供pro_bar数据接口
- 更新执行引擎：engine.py 适配新的DSL架构
- 重构测试体系：删除旧测试，新增 test_dsl_promotion.py、
test_factor_integration.py、test_pro_bar.py
- 清理文档：删除8个过时文档（factor_design、db_sync_guide等）
|
2026-02-27 22:22:23 +08:00 |
|
|
|
593ec99466
|
refactor: 存储层迁移DuckDB + 模块重构
- 存储层重构: HDF5 → DuckDB（UPSERT模式、线程安全存储）
- Sync类迁移: DataSync从sync.py迁移到api_daily.py（职责分离）
- 模型模块重构: src/models → src/pipeline（更清晰的命名）
- 新增因子模块: factors/momentum (MA、收益率排名)、factors/financial
- 新增API接口: api_namechange、api_bak_basic
- 新增训练入口: training模块（main.py、pipeline配置）
- 工具函数统一: get_today_date等移至utils.py
- 文档更新: AGENTS.md添加架构变更历史
|
2026-02-23 16:23:53 +08:00 |
|
|
|
9f95be56a0
|
feat(models): 实现机器学习模型训练框架
- 添加核心抽象：Processor、Model、Splitter、Metric 基类
- 实现阶段感知机制（TRAIN/TEST/ALL），防止数据泄露
- 内置 8 个数据处理器和 3 种时序划分策略
- 支持 LightGBM、CatBoost 模型
- PluginRegistry 装饰器注册，插件式架构
- 22 个单元测试
|
2026-02-23 01:37:34 +08:00 |
|
|
|
e58b39970c
|
feat: HDF5迁移至DuckDB存储
- 新增DuckDB Storage与ThreadSafeStorage实现
- 新增db_manager模块支持增量同步策略
- DataLoader与Sync模块适配DuckDB
- 补充迁移相关文档与测试
- 修复README文档链接
|
2026-02-23 00:07:21 +08:00 |
|
|
|
0a16129548
|
feat(factors): 添加因子计算框架
- 新增因子基类 (BaseFactor, CrossSectionalFactor, TimeSeriesFactor)
- 新增数据规格和上下文类 (DataSpec, FactorContext, FactorData)
- 新增数据加载器 (DataLoader) 和执行引擎 (FactorEngine)
- 新增组合因子支持 (CompositeFactor, ScalarFactor)
- 添加因子模块完整测试用例
- 添加 Git 提交规范文档
|
2026-02-22 14:41:32 +08:00 |
|
|
|
9965ce5706
|
refactor: 重构 API 接口模块，整合为 api_wrappers 目录结构
- 将独立 API 模块 (daily, stock_basic, trade_cal) 整合至 api_wrappers/
- 重写 sync.py 使用新的 wrapper 结构，支持更多同步功能
- 更新测试文件适配新的模块结构
- 添加 pytest.ini 配置文件
|
2026-02-21 03:43:30 +08:00 |
|
|
|
05228ce9de
|
refactor: 调整项目结构，新增数据同步和交易日历模块
- 移除 pyproject.toml，改用 uv 管理项目
- 新增 data/* 忽略规则
- 新增数据同步模块 sync.py
- 新增交易日历模块 trade_cal.py
- 新增相关测试用例
- 更新 API 文档
|
2026-02-01 04:44:01 +08:00 |
|
|
|
ec08a2578c
|
refactor: 清理代码日志、重构速率限制器、切换存储方案
- 移除 client.py 和 daily.py 中的调试日志
- 重构 rate_limiter 支持无限超时和更精确的令牌获取
- 变更 stock_basic 存储方案 HDF5 → CSV
- 更新项目规则：强制使用 uv、禁止读取 config/ 目录
- 新增数据同步模块 sync.py 和测试
- .gitignore 添加 !data/ 允许跟踪数据文件
|
2026-02-01 02:29:54 +08:00 |
|
|
|
38e78a5326
|
feat: 新增股票基础数据获取模块 stock_basic
- 新增 get_stock_basic 和 sync_all_stocks 函数
- 完善 Tushare 数据获取模块体系
- 测试用例重构：从 Mock 改为真实 API 调用
- 更新 API 文档，添加接口使用示例
- 更新开发规范：添加 Mock 使用规范
|
2026-01-31 04:30:29 +08:00 |
|
|
|
e625a53162
|
feat: 初始化 ProStock 项目基础结构和配置
- 添加项目规则文档（开发规范、安全规则、配置管理）
- 实现数据模块核心功能（API 客户端、限流器、存储管理、配置加载）
- 添加 .gitignore 和 .kilocodeignore 配置
- 配置环境变量模板
- 编写 daily 模块单元测试
|
2026-01-31 03:04:51 +08:00 |
|
