接口数据采集
源头活水,清渠通路
对接区域卫生平台 → 获取临床或公卫数据
对接教育局平台 → 获取学校与学生数据
对接水务局平台 → 获取水务数据
对接环境局平台 → 获取环境数据等
设计从第三方厂商获取数据的接口规范、制定采集策略并开发。
数据结构说明
接口设计
前置库表
目标库表
采集程序
服务过程全编程,可重复执行再现结果。
参考国家数据集、数据元和代码标准,优化设计数据采集接口,确保入库数据的标准规范性。
监控采集接口的数据采集过程、数量与质量等,辅助查验采集过程进行优化。
接口设计说明、数据库设计说明、采集数据描述等辅助性文档完备,宏观掌握数据采集质量。
从数据接口访问安全和采集后入库安全。
来源数据集个数多
当来源数据集数量较多时,数据接口的设计复杂性将会增大,需要最优化的接口设计保障性能和质量。
来源数据集间关系复杂
如果来源数据集间存在复杂的父子或主外键依赖逻辑,接口设计时需要充分梳理,避免数据采集的错误和混乱。
数据采集安全保障
数据采集安全需要从数据接口访问安全和采集后入库安全两个方面进行设计管控。
数据采集更新频率高
高频的数据采集更新对接口的性能、接口采集的监控要求很高,需要对数据、逻辑关系、安全等方面进行全面梳理和设计来保障。
数据总量与增量较大
数据总量较大时,初始化采集耗费资源大,时间长;增量数据较大时,需要采取实时同步方法。