大量数据陷入“沉睡” 制约大数据产业发展

小到敲击键盘、迈开步子，大到征信系统、政务记录，数据已成这个时代最活跃的要素和最有价值的“信息矿产”。无论“互联网+”、物联网还是智能制造，数据的触角几乎无远弗届，影响着几乎所有产业生态未来的走向。

据中国信息通信研究院发布的《大数据白皮书（2016）》分析，未来五年，全球数据量将呈指数级增长。但庞大的总量却并不意味着完全有效的开发利用。记者采访了解到，除了技术瓶颈外，开放和合作的障碍正在让大量数据陷入“沉睡”。数据原材料的缺乏与信息“孤岛”的形成，严重制约着大数据产业的发展。

壁垒普遍存在于政企、企业之间

国际数据公司（IDC）的数据显示，按目前发展趋势，预计2020年全球大数据总存储量将达到44ZB（1ZB约等于10000亿GB）。我国数据总量为909EB（1EB约等于1000亿GB），占全球数据总量的13%。

目前数据层面的壁垒普遍存在于政企、企业间，业内人士表示针对现状普遍是通过购买和“爬虫”（自动获取网页内容的手段）的方式获取，但数据存在不准确、不全和非结构化等问题。

“相比于行业间的数据流通，政企之间的壁垒更是一块沉睡数据的‘集聚地’。”中关村大数据产业联盟秘书长赵国栋说，“目前一些上市数据如股权占比、科研数据都是价值密度比较高的沉睡数据。”

据中国信息通信研究院2015年对国内800多家企业的调研来看，　企业内部数据仍是大数据的主要来源。当前有32%的企业通过外部购买数据；只有18%的企业使用政府开放数据。

业内人士指出，大数据时代的数据资源广泛散布于政府、行业、企业三个子系统中，其中，信息数据资源80%以上掌握在各级政府部门手里。而与此同时，区域部门间基本实现共享的省级地方仅占13%，区域部门间少量实现共享的地市和区县仅占32%和28%，信息共享和业务协同在地市和区县进展缓慢。

“如果更多数据可以开放，将会对产业转型、政务和公共服务效率提升等大有裨益。”上海至信普林科技有限公司总经理顾敏洁说，“比如中国人民银行上海总部自2006年起公开金融信息后，催生了一批金融信息咨询服务公司，其中还有5家上市公司，拉动的就业人数也非常可观。”

数据割据、技术壁垒和标准缺失形成数据孤岛

“数据孤岛的成因主要有三个，数据割据、技术壁垒和标准缺失。”赵国栋说。观念问题是主观意愿缺失的症结。“政府部门由于缺乏企业间基于共同利益开发这样的主观能动性，导致数据开放滞后。除了政府部门，一些大企业也应该认识到数据合理开放可以造就更好的社会和行业生态价值。”

外部管理规范、法规的缺失也使部分主体对开放数据保持顾虑。“目前如果只遵循‘谁的数据谁负责’这一简单的准则，要调动政府部门开放数据的积极性比较困难。”DT大数据产业创新研究院院长陈新河说。

除了主观意愿，技术和标准也是一道“硬门槛”。“比如目前信息共享的安全问题。公共云的运维工作面临着一些新的安全风险和挑战。计算环境从本地到云端的自身安全性是提高了，但由于公共云的运维管理工作必须通过互联网完成，和传统IT环境运维有很大不同，容易造成管理员权限被劫持攻击，造成运维管理账号和凭证泄露等问题。”顾敏洁说。

目前开放的数据同样因为格式标准缺失成了“开放的孤岛”。公布类似停车位数量、开放非标准化的图表等形式的数据都是不可机读的。这类“伪开放”并没有真正整合数据的价值。“不同行业数据整合必然需要标准化的数据格式，比如从卫生、人口的角度用数据对‘人’进行的描述就是不一样的。”全国信息安全标准化技术委员会大数据标准工作组成员张群说。

“因此目前要开放的应该是底层数据，而不仅提供根据数据分析出来的结果或产品。”业内专家表示，这类数据在技术上应该有其标准形式，可以被计算机抓取、调用，而且在法律上也是可以进行各种使用的。

开放整合数据需围绕应用场景

要打通数据孤岛，一方面是技术上的革新和标准化的推进，同时包括数据安全领域建设。“在物联网时代，需要从政府等层面推进包括身份识别、信息安全系统等庞大的安全体系建设。”赵国栋说。

“目前全国信息技术标准化技术委员会已推进获批了6项大数据领域的标准，包括了大数据技术参考模型、数据能力成熟度评价模型标准等。”张群说。

另一方面，在法律维度，立法推进的前提是明确数据权属。对此，赵国栋建议，可以参照土地管理的做法，将数据权属划分为所有权、处置权、使用权和收益权。“例如处置权应归国家，规定归档、删除的各种条件等。只有权属清楚才能推动法律保护。”

政府数据开放也并非一蹴而就，需要循序渐进。业内人士普遍认为，不涉及隐私和安全的数据可以率先开放，比如气象这类数据。同时政府部门和行业协会可以推动统一数据平台的建设，改变目前碎片化的现状。

杭州市经信委云计算与大数据产业处处长黄左彦说：“杭州整合数据、搭建平台过程中的经验就是以项目为突破，目前类似‘5G’车联网项目、城市数据大脑等都是以交通为突破点。由政府主导政务数据开放共享，企业自带资金深度合作开发，其中包括数据交流。”

“目前观念上有一个原则是被忽视的：即‘开放是常规，封闭才是例外’。”陈新河说，“政企间或者政府牵头整合数据仍应围绕应用场景、项目工程来，否则目前‘唤醒’的数据早晚也会重新‘落满灰尘’。”

大数据本身既能形成新兴产业，也能推动其他产业发展。当前，国内外缺乏对大数据产业的公认界定。我们认为，大数据产业可以从狭义和广义两个层次界定。

从狭义看，当前全球围绕大数据采集、存储、管理和挖掘，正在逐渐形成了一个“小生态”，即大数据核心产业。大数据核心产业为全社会大数据应用提供数据资源、产品工具和应用服务，支撑各个领域的大数据应用，是大数据在各个领域应用的基石。应该注意到，狭义大数据产业仍然围绕信息的采集加工构建，属于信息产业的一部分。

数据资源部分负责原始数据的供给和交换，根据数据来源的不同，可以细分为数据资源提供者和数据交易平台两种角色。数据基础能力部分负责与数据生产加工相关的基础设施和技术要素供应，根据数据加工和价值提升的生产流程，数据基础能力部分主要包括数据存储、数据处理和数据库(数据管理)等多个角色。

数据分析/可视化部分负责数据隐含价值的挖掘、数据关联分析和可视化展现等，既包括传统意义上的 BI、可视化和通用数据分析工具，也包括面向非结构化数据提供的语音、图像等媒体识别服务。

数据应用部分根据数据分析和加工的结果，面向电商、金融、交通、气象、安全等细分行业提供精准营销、信用评估、出行引导、信息防护等企业或公众服务。

根据 IDC、Wikibon 等咨询机构预测，2016 年，全球的大数据核心产业规模约为 300 亿美元。

目前大数据产业的统计口径尚未建立。对于我国大数据产业的规模，各个研究机构均采取间接方法估算。中国信息通信研究院结合对大数据相关企业的调研测算，2015 年我国大数据核心产业的市场规模达到 115.9 亿元，增速达 38%，预计 2016 年将达到 168 亿元，2017-2018 年还将维持 40%左右的高速增长。

从广义看，大数据具有通用技术的属性，能够提升运作效率，提高决策水平，从而形成由数据驱动经济发的“大生态”，即广义大数据产业。广义大数据产业包含了大数据在各个领域的应用，已经超出了信息产业的范畴。

据华沙经济研究所测算，欧盟 27 国因大数据的引进，至 2020 年将获得 1.9%的额外 GDP 增长。美国麦肯锡预计，到 2020 年美国大数据应用带来的增加值将占 2020 年 GDP 的 2%-4%。中国信息通信研究院预计，到2020年大数据将带动中国GDP 2.8-4.2%。

大数据的产业链分析大数据完整的产业链构成如下图所示，可分为标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维以及数据应用几个环节，覆盖了数据从产生到应用的整个生命周期。　

1、数据标准与规范

大数据标准体系是开展大数据应用的前提条件，没有统一的标准体系，数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面，参与单位主要包括中国电子技术标准化研究院、各个数据库公司、数据拥有部门以及各个行业的标准化组织。

2、数据安全

随着海量数据的不断增加，对数据存储和访问的安全性要求越来越高，从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。另外，由于大数据处理主要采用分布式计算方法，这必然面临着数据传输、信息交互等环节，如何在这些环节中保护数据价值不泄露、信息不丢失，保护所有站点的安全是大数据发展面对的重大挑战。在大数据时代，传统的隐私数据内涵与外延有了巨大突破和延伸，数据的多元化与彼此的关联性进一步发展，使得对单一数据的隐私保护方法变得极其脆弱，需要针对多元数据融合的安全提出。在数据安全环节上主要参与单位包括中国电子科技集团公司第30研究所以及奇虎 360、瑞星等杀毒软件公司。

3 、数据采集

政府部门、以 BAT 为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外，利用网络爬虫或网站公开 API 等途径对网络数据进行采集也是大数据的主要来源。现实世界中的数据大多不完整或不一致，无法直接进行数据挖掘或挖掘结果不理想，需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作，并且往往需要大量的人工参与，因此数据采集和清洗成为大数据产业链的一个重要环节。

4 、数据存储与管理

大数据存储与管理的主要参与者以传统数据库企业为主，国际上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等; 国内主要有中兴、华为、用友、浪潮、托尔思、数据堂、九次方、亿赞普、达梦等。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究，形成针对具体领域的产品。

5 、数据分析与挖掘

大数据分析与挖掘的意图主要集中在两方面： 一是从大量的机构结构化和半结构化数据中分析出计算机可以理解的语义信息或知识，二是对隐性的知识，如关联情况、意图等进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。数据分析与挖掘的核心算法与软件主要掌握在大型数据库公司及高校的手里，国际上主要参与者包括 IBM、甲骨文、微软、谷歌、亚马逊、Facebook 等，国内主要参与单位包括数据库企业、高校、以 BAT 为代表的大型互联网企业等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围，是大数据产业的核心。

6、数据运维

由于数据的重要性得到普遍认可，除政府部门不具备数据运维服务条件外，数据的采集者通常就是数据运维者。各地政府方面则通常利用大数据平台建设来推动政府大数据的公开与共享，如云上贵州，吸引个人和企业用户开展创新与创业，积极推动大数据的增值服务。

7、数据应用

大数据对传统信息技术带来革命性挑战，正在重构信息技术体系和产业格局。国内以阿里巴巴、百度、腾讯、人大金仓、浪潮、曙光、南大通用为代表的互联网企业、云计算和数据库厂商纷纷加大应用推广力度，在国际先进的开源大数据技术基础上，形成独自的大数据平台构建和应用服务解决方案，以支撑不同行业不同领域的专业化应用。虽然这些企业在平台构建上有着得天独厚的优势，但是在某些具体业务领域，并不擅长或者关切。传统企业以及从事大数据的微型企业是具体业务领域上大数据应用的主力军。应用是大数据价值的体现，是大数据发展的原始推动力。当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变，在转变思维过程中需要积极转变思维，明确出数据共享的方式是什么，数据拥有者的利益如何平衡，商业模式如何开展等等。