大数据处理之道

大数据处理：技术与流程 文章来源： ECP大数据时间： 2013/5/22 11:28:34 发布者： ECP大数据（ 关注： 848） 标签： “大数据”是需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能力的海 量、高增长率和多样化的信息资产。 特点是： 数据量大 (Volume) 、数据种类多样 (Variety) 、 要求实时性强 (Velocity) 。对它关注也是因为它蕴藏的商业价值大 (Value) 。也是大数据的 4V特性。符合这些特性的，叫大数据。 大数据会更多的体现数据的价值。 各行业的数据都越来越多， 在大数据情况下， 如何保 障业务的顺畅， 有效的管理分析数据， 能让领导层做出最有利的决策。 这是关注大数据的原 因。也是大数据处理技术要解决的问题。 大数据处理技术 大数据时代 的超大数据体量和占相当比例的半结构化和非结构化数据的存在， 已经超越 了传统数据

数据处理流程设计 数据处理流程包含数据预处理、 统计分析、数据挖掘和数据质量管理等系列 环节。如下图所示： 图 1：数据处理业务架构 其中，数据预处理是对数据集进行抽样、转换、合并、删除、解析等数据预 处理工作，主要是对数据格式、缺失值、异常值、记录、字段等进行处理，以便 得到符合后续业务应用、 数据统计和挖掘所需的高质量数据。 数据统计和数据挖 掘是通过大数据挖掘和机器学习模型对海量数据进行挖掘和学习， 从而得到潜在 的数据知识和规律。 同时，作为数据质量相关的工作标准和规范的管理， 也贯穿 了整个数据处理的过程。 （1）数据预处理 为保证入库数据质量和数据规范性， 提高存储和数据访问效率， 为后续的统 计分析功能提供数据基础， 我们将数据预处理过程分解成数据质量校验、 清洗转 换、质量提升三个步骤，采用专家知识库及核心算法库，利用时间序列、数据融 合、内存计算等技术，建立数据处理模型，