随着数据智能化时代的到来，以数据驱动业务转型升级的需求也来越来，企业和行业虽有大量数据，但在物理和逻辑层面都分散不同部门、不同的位置，管理也缺乏统一视角。如何有效将数据进行汇聚，形成企业数据资产，数据集成与共享成为行业讨论的热点，而ETL正式解决这个数据融合的技术产品，也是数据中台的必要组成部分。为了更好的指导企业进行数据汇聚，集成与共享，促进数据仓库、数据湖的落地与发展。中国软件评测中心（工业和信息化部软件与集成电路促进中心）推出了ETL产品和解决方案专题测评服务，指导企业选择适合自身需求的产品和解决方案。

一、ETL是什么，解决什么问题呢？

ETL，Extract-Transformer-Load的缩写，用于从数据源端经过抽取、转换和加载到目标数据源的过程，这个概念和技术在数据仓库中经常用到。有时候为了提高迁移的效率，转换转移过程也可谓ELT，先抽取再加载，然后再数据源端进行转换，提升迁移的可靠性。

ETL解决的企业数据问题包括：

采集规范：ETL可实现多源数据库数据整合集成。集中进行数据接口管理、数据格式、数据传输规范。

数据调度：数据抽取自动化调度，数据采集及时、准确、完整。

统一编码：标准化模型构建新结构数据：依照ETL数据模型的定义去提取数据源，进行转换、清洗，并最终加载到目标数据仓库中。标准化：实现统一的编码、统一的分类和管理。

数据共享：可以利用ETL去抽取异构的数据库数据，易于开发和管理，并实现数据共享、汇总。

数据连接：在数据仓库与业务系统之间建立连接，是BI/DW 的核心工具。

二、测试关注内容

基于用户需求和应用场景，重点内容如下：

功能性：平台的支持程度、数据源的支持程度、数据转换和加工的功能、是否具有管理和调度功能、是否具有良好的集成性和开放性等；

性能效率：面向特定场景下，不同数据结构，不同数据规模，数据源与数据目的源的一对一，一对多，多对一，多对多等模式下的抽取、转换和加载效率、ETL的集群线性扩展能力、对业务系统的性能影响等。

三、典型的案例

开源的Apatar、kettle、sqoop等；

商业化的中科软件大数据交换平台的专题测试项目、飞瞰数据中台系统、飞瞰共享交换平台等。

四、业务联系方式

姓  名：杨经理、丁经理

电  话：010-88558781、010-88559245

邮  箱：bigdata@cstc.org.cn

  数据和数据系统测评实验室面向大数据应用分析企业、数字化转型企业、政府大数据开放机构、数据应用分析科研院所、数据治理企业等行业企业和用户单位提供支撑、咨询和测评服务。检测对象包括数据基础设施产品类、数据分析产品类、数据应用和解决方案类、数据资源类等。测评服务包括数据基础设施测评服务、数据分析类产品测评服务、数据应用系统的测评服务、数据解决方案的测评服务、数据质量测评服务、数据资产价值评估服务、数据安全风险评估服务、数据安全审计服务等；咨询服务包括数据治理体系建设咨询、数据安全保障体系建设咨询、数据系统质量保障体系咨询等。实验室已建成国家云计算公共服务平台（中国测试云）、工信部大数据测试评估公共服务平台和大数据产业生态联盟数智团公共服务平台。截止2021年底累计认定123项优秀大数据产品、53项优秀大数据解决方案和58项优秀大数据案例。