数魔信息-数据批量入库

服务概述 Service Overview

将业务系统导出数据（国家、上级、其他行业领域）、调查录入数据、纸质表单录入数据等各类数据文件（ excel、文本、xml、csv等），统一存储到一个标准规范数据库，以提高数据存储的统一性、一致性和规范性，便于后续进一步利用。

服务内容 Service Content

描述待入库原始数据的数据量、数据问题、元数据等概况，并评估需求。

服务产出成果物

服务特点 Service Feature

关键点 Key Point

大量零散数据

少量零散数据可以使用工具手工导入，但大量零散数据下，人工值守式数据处理效率低下且难重复、易错误。

大量异构数据

常见的xls,cvs,txt,sav等比较容易人工处理，需要安装环境的dbf,dat,dmp等，以及偏技术的json,sql,xml等，特别是多种混合异构数据需要技术服务处理。

原始文档缺失

导出的数据通常没有数据表、字段、值域等相关说明文档或不完整，对准确规范设计数据库并导入带来困难。

数据文件不规范

不规范的数据类型，中国式交叉数据表，不统一的数据格式等数据质量不佳问题。