第 10 章：金融数据获取与清洗 授课

第10章：金融数据获取与清洗量化交易的基石本章目录01.学习目标与数据重要性02.金融数据来源与对比03.数据获取实战：Tushare与akshare04.数据清洗核心技术05.复权处理：前复权vs后复权06.常见问题与解决方案07.本章总结与课后任务学习目标与数据重要性核心学习目标掌握Tushare、akshare等主流金融数据API的调用方法精通数据清洗与复权处理技术，确保数据准确性独立编写自动化脚本，实现数据获取与预处理的全流程建立数据质量敏感度，识别并解决常见数据异常问题数据质量的核心价值“垃圾进，垃圾出”(GIGO)量化策略效果高度依赖输入质量，错误源头将导致全盘皆输。错误数据的代价微小的数据偏差可能导致回测结果失真，进而引发实盘巨大亏损。预处理的鲁棒性价值专业预处理是提升策略稳定性的基石，是量化研究不可或缺的环节。金融数据来源与对比数据来源数据类型优点缺点适用场景Tushare股票/基金/期货/宏观API友好，数据质量高，免费/付费分层高级功能需积分/付费订阅个人学习、中小机构研究、策略开发akshare全市场数据/新闻/外汇完全免费，数据源丰富，更新及时依赖第三方，稳定性可能受影响个人学习、快速原型验证、数据补充交易所官方API实时/历史行情数据权威、及时、延迟最低，最稳定门槛高，需付费，接口复杂难对接专业机构、高频交易、算法交易Wind/Bloomberg全市场数据/资讯/研报最全面、最专业，终端功能强大极其昂贵，主要面向机构客户大型金融机构、专业投资公司数据获取实战：Tushare1.注册账号访问Tushare官网()完成注册，这是获取数据的第一步。2.获取Token登录后在个人主页获取专属token，这是调用API的身份凭证。3.安装Python库使用pip命令安装Tushare库：pipinstalltushare。4.编写代码调用API设置Token并初始化接口，即可获取股票、基金等各类金融数据。example.pyimporttushareastsimportpandasaspd

#1.设置你的tokents.set_token('your_token')

#2.初始化pro接口pro=_api()

#3.获取平安银行日线数据df=pro.daily(ts_code='000001.SZ',start_date='20230101')

#4.数据处理与格式化df['trade_date']=pd.to_datetime(df['trade_date'])df.set_index('trade_date',inplace=True)df.sort_index(inplace=True)数据获取实战：akshare01.环境安装与配置执行命令：pipinstallakshare注意：库名是akshare，非tushare02.接口设计特点接口命名直观：通常以数据类型命名参数丰富：支持直接获取复权数据，无需手动计算核心代码示例(Python)importakshareasak#1.获取A股实时行情数据df_spot=ak.stock_zh_a_spot()print(df_spot.head())#2.获取贵州茅台(600519)历史日线数据df_hist=ak.stock_zh_a_hist(symbol="600519",period="daily",start_date="20230101",end_date="20231231",adjust="qfq"#前复权数据)数据清洗核心技术核心目标：将原始、杂乱的金融数据，转化为干净、规整、可用的分析数据，确保数据质量。复权处理：前复权vs后复权复权核心概念股票在分红、送股、拆股后，股价会产生跳空缺口。复权处理通过调整历史价格消除这种缺口，恢复K线图的连续性，从而正确反映股票的真实走势和收益率。核心差异基准：•前复权：以当前价格为基准（推荐用于分析）•后复权：以上市首日价格为基准（用于算总账）类型对比与代码实现类型基准适用场景前复权当前价格技术分析、量化回测(首选)后复权上市首日总收益率计算、业绩归因TushareAPI调用示例#获取后复权数据

df_hfq=pro.daily(ts_code='000001.SZ',adj='hfq',start_date='20230101')

#获取前复权数据

df_qfq=pro.daily(ts_code='000001.SZ',adj='qfq',start_date='20230101')实战案例：自动化数据获取与预处理案例核心目标自动获取：每日定时拉取指定股票池的日线数据数据清洗：处理缺失值，转换日期格式，排序索引复权处理：自动进行前复权计算，保证数据连续性持久化存储：结果以CSV格式保存至本地目录Python脚本核心逻辑#1.初始化Tushare接口definit_tushare():ts.set_token('token');return_api()

#2.获取并清洗数据(核心函数)deffetch_data(pro,code,start,end):df=pro.daily(ts_code=code,adj='qfq',start_date=start)df=df.dropna()#清洗缺失值

#3.主流程控制forcodeinstock_pool:df=fetch_data(pro,code,start_date,end_date)df.to_csv(f"./data/{code}.csv")常见问题与解决方案API调用限制与认证检查APIKey/Token正确性代码中加入延时(如time.sleep)，严格遵守频率限制非高峰时段获取数据，或考虑付费升级配额数据缺失值处理策略分析原因：区分随机缺失与结构性缺失随机缺失：使用均值、中位数或插值法填充结构性缺失：使用reindex补全时间序列并标记避免前视偏差(Look-ahead)核心原则：t时刻计算仅使用t时刻及之前数据严格按时间顺序处理数据，注意对齐时间戳复权处理时确保因子基于历史数据计算本章总结核心技能掌握选择Tushare/akshare等数据源熟练使用API获取股票指数数据掌握缺失值与异常值清洗流程正确应用前复权与后复权处理自动化与工程化编写自动化脚本，实现批量获取与存储建立工程化思维，确保流程稳定可复现风险与原则保持数据质量敏感，警惕“垃圾进垃圾出”识别并规避数据陷阱，特别是“前视偏差”课后实操任务：股票指数数据自动化处理任务目标与描述选定指数，获取最新成分股列表批量获取过去一年的日线数据数据清洗，确保为前复权数据按股票代码保存至本地CSV文件关键执行步骤1环境准备：配置Tushare/akshare，完成注册安装2获取列表：查阅API文档，调用接口获取成分股3批量下载：编写循环遍历列表，获取历史数据4清洗复权：处理缺失值，转换时间索引，复权处理5结果保存：结构化保存数据，规范文件名评分标准(1