跳转至

增加数据源

English page

增加数据源前,先确认它服务于哪个报告或契约。小改动可以加入现有抓取器,大改动应先补一份数据契约说明。

推荐步骤

  1. 确定数据用途和更新频率
  2. 定义字段、日期、来源和缺失状态
  3. 在 src/daily_messenger/etl/fetchers/ 或对应模块中实现抓取器
  4. 为正常返回、空结果、超时和降级情况补测试
  5. 把结果接入报告或快照流程
  6. 更新相关文档和 CLI 帮助

先写一个最小契约

至少说明:

  • 数据从哪里来
  • 每条记录对应哪个日期
  • 哪些字段必须存在
  • 抓取失败时如何表示
  • 是否允许使用上一期数据
  • 是否允许在 CI 中调用真实接口

代码位置

全球市场数据通常放在 src/daily_messenger/etl/fetchers/。A 股报告数据通常放在 src/a_share_daily/。跨仓研究产物的消费逻辑应放在对应的校验模块,不要复制研究仓实现。

本地验证

uv run pytest
uv run ruff check .
uv run ty check
uv run mkdocs build --strict

测试应使用合成测试样例。真实凭据和生产快照只存在于部署环境。