此前,援引外媒消息称,Gartner预测,2017年将有60%的大数据项目在试验阶段就会失败,并最终会被放弃。
在大数据正热的当下,这一结论无疑给众多的热心者泼了一道冷水。
随着企业努力在数字时代实现数据驱动,我们的生态系统正在发生重大变化。不光是企业应用程序生成的海量数据日增,在企业外部广泛的用户和难以数计连接的各种“事物”所产生的数据也呈指数级递增。这都导致企业围绕数据的洞察会变得越来越复杂。
我们不仅要问,企业在将数据资产链接到战略价值的这一过程中究竟出现了什么问题?
有专业人士认为,二者之间的主要障碍是缺乏技能或专业知识,以及技术战略与整体公司需求之间不匹配。
专业差距
我们都知道,大数据并非新近事物。早些年,当大数据处于起步阶段时,当时可用技术并不成熟。一些早期发展起来的知名网络公司,如谷歌、Facebook等不得不从根本上建立基础设施来处理相关问题。他们的成功也因此引来了更多的追随者,许多企业试图用自己基于Hadoop的大数据项目来效仿前者。
效仿的结果是,后者的IT和数据专业人员对Hadoop作为一个技术工具包能够做什么,以及对产生结果需要多少时间的预期出现偏差。Gartner的一项调查结果显示,在受访者中近半数公司缺乏部署这种技术的技能。
研究人员认为,当前大数据已经过于依赖技术。许多大数据项目之所以失败,是因为它们需要大量的前期资源,企业要为之部署刚性架构,而一旦项目进行中,其灵活性很难提高。
成功的大数据项目应该是从企业想要解决的业务问题和希望获得的价值的深刻理解开始。否则,无论企业想实现什么目标,项目都将无法达到预期或提供足够的投资回报,最终结果就会被放弃。
第二点是需要建立一支专业团队,将IT、数据科学和业务线的视角紧密结合在一起。研究人员给出的建议是,业务专家可以通过数据计划确定需要解决的主要业务挑战。IT专家可以提供访问数据和精确定位,以及执行项目所需的基础设施技能。最后,数据专家可以提供分析和提取洞察所需的数学和定量技能。围绕这些技能建立的团队对项目能否成功至关重要。
第三点是短时间值。团队越早组建,并产生具体和可衡量的价值,企业组织和高级管理层就越容易在这个项目持续投资。
而研究表明,大多数基于Hadoop的项目在这三个方面都是失败的。更多的项目太过专注于技术本身的工作。此外,难以找到足够的技能,并且需要太多的时间和精力来建立基础设施。最后,初始投资太高,交付投入时间太长,使得很难快速试验和迭代成功。
一个更好的方法
那么,是不是失败的局面就很难扭转呢?观察者留意到这样一个趋势,在大数据项目中,企业尝试通过采用基于云的数据仓库和数据湖解决方案作为Hadoop项目的替代品。从云中获得价值,而不是在基础设施建设上过多投资,会使大数据项目变得将更容易和更快。
正确的云解决方案可以避免过多的前期资本支出,而且也可以获得相对轻松和有效的扩展,并以高度管理的解决方案的形式将技术负担转移给技术供应商。
因此,如果企业自身没有足够的经验和技能,建设考虑云方案,避开成本高昂的基础设施。