现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。但是,行业界对什么是大数据,什么是大数据系统并非形成了统一的认识,将传统的数据仓库、BI理解为大数据是较为片面的,为了解决用户的认知,并提升大数据分析挖掘能力,我们推出大数据系统鉴定测评服务。
一、大数据和大数据系统
大数据,具有体量巨大、来源多样、生成极快、且多变等特征,并且难以用传统数据体系结构有效处理的包含大量数据集的数据。国际上,通常将大数据定义为4个典型特征:Volume体量、Variety多样性、Velocity速度和Variability多变性。
大数据系统,实现大数据参考体系结构的全部或部分功能的系统。大数据参考体系结构,一种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型。普遍认同大数据参考体系结构(如下图1)一般包含系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者等5个逻辑功能组件,并将大数据系统划分为9个模块,包括数据收集、数据预处理、数据存储、数据处理、数据分析、数据访问、数据可视化、资源管理、系统管理。大数据系统框架如下图2:
图1- 大数据体系结构
图2-大数据系统框架图
二、大数据系统测评内容
1.功能要求:数据收集、数据预处理、数据存储、数据处理、数据分析、数据可视化、数据访问、资源管理、系统管理;
2.可靠性要求:高可用、数据冗余存储与分布、数据备份与恢复、故障恢复与迁移;
3.兼容性要求:兼容不同品牌的操作系统;
4.安全性要求:用户管理、权限管理、日志管理、数据安全;
5.可扩展性要求:在线扩减容能力、离线扩减容能力;
6.维护性要求:安全部署、在线升级、错误诊断、任务监控、降级回退;
7.易用性要求:图形化交互支持度、文档完备性等。
三、已开展的典型案例
国家重大专项课题非结构化数据管理系统、清华大学工业大数据平台、面向电信行业的大数据分析与管理平台、华为大数据软件V2.0等37项软件产品、基于大数据技术的互联网金融风险网贷预警平台、北京市科委信息系统大数据处理平台系统、基于大数据的工业控制系统测评公共服务平台等。
四、业务联系:
姓 名:杨经理、丁经理
电 话:010-88558781、010-88559245
邮 箱:bigdata@cstc.org.cn
数据和数据系统测评实验室面向大数据应用分析企业、数字化转型企业、政府大数据开放机构、数据应用分析科研院所、数据治理企业等行业企业和用户单位提供支撑、咨询和测评服务。检测对象包括数据基础设施产品类、数据分析产品类、数据应用和解决方案类、数据资源类等。测评服务包括数据基础设施测评服务、数据分析类产品测评服务、数据应用系统的测评服务、数据解决方案的测评服务、数据质量测评服务、数据资产价值评估服务、数据安全风险评估服务、数据安全审计服务等;咨询服务包括数据治理体系建设咨询、数据安全保障体系建设咨询、数据系统质量保障体系咨询等。实验室已建成国家云计算公共服务平台(中国测试云)、工信部大数据测试评估公共服务平台和大数据产业生态联盟数智团公共服务平台。截止2021年底累计认定123项优秀大数据产品、53项优秀大数据解决方案和58项优秀大数据案例。