增加数据源¶
增加数据源前,先确认它服务于哪个报告或契约。小改动可以加入现有抓取器,大改动应先补一份数据契约说明。
推荐步骤¶
- 确定数据用途和更新频率
- 定义字段、日期、来源和缺失状态
- 在
src/daily_messenger/etl/fetchers/或对应模块中实现抓取器 - 为正常返回、空结果、超时和降级情况补测试
- 把结果接入报告或快照流程
- 更新相关文档和 CLI 帮助
先写一个最小契约¶
至少说明:
- 数据从哪里来
- 每条记录对应哪个日期
- 哪些字段必须存在
- 抓取失败时如何表示
- 是否允许使用上一期数据
- 是否允许在 CI 中调用真实接口
代码位置¶
全球市场数据通常放在 src/daily_messenger/etl/fetchers/。A 股报告数据通常放在 src/a_share_daily/。跨仓研究产物的消费逻辑应放在对应的校验模块,不要复制研究仓实现。
本地验证¶
uv run pytest
uv run ruff check .
uv run ty check
uv run mkdocs build --strict
测试应使用合成测试样例。真实凭据和生产快照只存在于部署环境。