2.15

code/utils/utils.py

@@ -1,50 +0,0 @@
-import pandas as pd
-
-
-import pandas as pd
-
-def read_and_merge_h5_data(h5_filename, key, columns, df=None):
-    """
-    读取 HDF5 文件中的数据，根据指定的 columns 筛选数据，
-    如果传入 df 参数，则将其与读取的数据根据 ts_code 和 trade_date 合并。
-
-    参数:
-    - h5_filename: HDF5 文件名
-    - key: 数据存储在 HDF5 文件中的 key
-    - columns: 要读取的列名列表
-    - df: 需要合并的 DataFrame（如果为空，则不进行合并）
-
-    返回:
-    - 合并后的 DataFrame
-    """
-    # 处理 _ 开头的列名
-    processed_columns = []
-    for col in columns:
-        if col.startswith('_'):
-            processed_columns.append(col[1:])  # 去掉下划线
-        else:
-            processed_columns.append(col)
-
-    # 从 HDF5 文件读取数据，选择需要的列
-    data = pd.read_hdf(h5_filename, key=key, columns=processed_columns)
-
-    # 修改列名，如果列名以前有 _，加上 _
-    for col in data.columns:
-        if col not in columns:  # 只有不在 columns 中的列才需要加下划线
-            new_col = f'_{col}'
-            data.rename(columns={col: new_col}, inplace=True)
-
-    # 如果传入的 df 不为空，则进行合并
-    if df is not None and not df.empty:
-        # 确保两个 DataFrame 都有 ts_code 和 trade_date 列
-        df['trade_date'] = pd.to_datetime(df['trade_date'], format='%Y%m%d')
-        data['trade_date'] = pd.to_datetime(data['trade_date'], format='%Y%m%d')
-
-        # 根据 ts_code 和 trade_date 合并
-        merged_df = pd.merge(df, data, on=['ts_code', 'trade_date'], how='left')
-    else:
-        # 如果 df 为空，则直接返回读取的数据
-        merged_df = data
-
-    return merged_df
-