一、前言:为什么自己写爬虫拿股票数据?
“授人以鱼不如授人以渔”。
市面上有 Tushare、AkShare、Wind、同花顺 iFinD 等收费或免费的金融数据接口,但在真实生产环境下,经常会碰到以下痛点:
- 实时性:Tushare Pro 的实时行情延迟 3~5 秒,高频策略不够用。
- 字段粒度:官方接口只给 OHLCV,拿不到盘口十档、逐笔成交。
- 并发配额:免费 Token 每分钟只能调 500 次,策略回测动辄几十万条 K 线,配额瞬间打满。
- 私有化部署:甲方爸爸要求数据不落外网,必须内网自建行情服务器。
因此,掌握“一手爬、一手清洗、一手落地”的完整闭环,依旧是量化研究员、数据工程师的必备技能。本文将带你从 0 到 1 搭建一套可长期维护的股票行情爬虫工程,覆盖:
- 实时价格(tick 级)
- 日/周/月 K 线
- 成交量及成交额
- 复权因子
- 分布式任务调度
- 数据质量监控
文章最后会给出一个可直接 docker-compose up
跑起来的完整项目模板,方便读者二次开发。