接口数据采集

源头活水,清渠通路

服务概述 Service Overview
通过定制数据接口定期获取第三方开发的业务系统或数据仓库中的数据,并整合至已有数据库,以扩展自有数据的范围边界或数据量,提高数据完整度和全面性。
常见接口可获取数据

对接区域卫生平台 → 获取临床或公卫数据

对接教育局平台 → 获取学校与学生数据

对接水务局平台 → 获取水务数据

对接环境局平台 → 获取环境数据等

服务内容 Service Content
  • 数据接口设计与开发
  • 目标库设计与开发
  • 数据采集与监控

数据接口设计与开发

设计从第三方厂商获取数据的接口规范、制定采集策略并开发。

服务产出成果物
  • 数据结构说明

    接口设计

  • 前置库表

    目标库表

  • 采集程序

服务特点 Service Feature
关键点 Key Point
  • 来源数据集个数多

    当来源数据集数量较多时,数据接口的设计复杂性将会增大,需要最优化的接口设计保障性能和质量。

  • 来源数据集间关系复杂

    如果来源数据集间存在复杂的父子或主外键依赖逻辑,接口设计时需要充分梳理,避免数据采集的错误和混乱。

  • 数据采集安全保障

    数据采集安全需要从数据接口访问安全和采集后入库安全两个方面进行设计管控。

  • 数据采集更新频率高

    高频的数据采集更新对接口的性能、接口采集的监控要求很高,需要对数据、逻辑关系、安全等方面进行全面梳理和设计来保障。

  • 数据总量与增量较大

    数据总量较大时,初始化采集耗费资源大,时间长;增量数据较大时,需要采取实时同步方法。