大数据“难题”凸显 深度调研势在必行

⌒⊙冠盖满京华

对于大数据，在被业界热炒了几年后，已经从空中逐渐落地，用户的视角也从理解概念转变到如何从业务、应用角度出发，让大数据真正实现价值。 其实，大数据并不是一个新鲜的概念，它在物理学、生物学、环境生态学、自动控制等科学领域和军事、通信、金融等行业的存在已有些时日。从本质上来说，大数据主要解决的是海量数据存储、计算、挖掘、展现的问题，基于此之上可以诞生一系列应用或商业模式。 在目前阶段，大数据解决的问题主要分为3类: 拓展传统的商业智能（BI）领域。以前针对大数据量的统计、关联分析、趋势预测由抽样变成全量分析，将数据回流到各种报表。 业务流程改进。对各种数据进行聚合分析，用来作为业务流程改进和考核的依据。 数据产品和商业应用。通过对已有数据或数据处理能力进行服务化或产品化包装，形成数据产品或数据服务。 具体到实施层面大数据主要分为四个阶段： 1、学习阶段 2、探索阶段 3、涉足阶段（选择几个业务点，先期调研，尝试落地） 4、执行阶段（业务场景进入生产实践） 由于现在大数据对于大多数用户来说都是一个新鲜事物，也有很多随之而来的业务模式创新和改变，因此很多用户反映了不少困难和挑战： 首先，因为大数据很大程度上是业务驱动的，同时实施周期跨度也比较长，更需要IT人员能清晰地描述出业务场景以及所具有的商业价值，从而获得企业高层的支持。 其次，进入涉足阶段的用户则面对的是技术层面的挑战，这可以细分为两大类。第一是技术技能，包括传统数据仓库的技能、新技术的技能（例如基于Hadoop的新技术、IBM的流计算等等）。第二是分析能力的挑战，传统的报表已经不能满足分析的需求，未来用户更需要一些实时分析、作分析以及预测分析的数据。第三，落地核心业务的挑战，此刻应该重视的就是数据的品质和真实性。 再次，在业务规模不大时，可以利用开源技术搭建起一整套数据处理系统。而随着业务增长，就需要根据业务特色按需修改或开发一些满足特定领域需求的系统。 最后，在一些公司，业务急速增长和扩张，业务难点和技术难点同样突出，例如数据源源不断地产生，数据的质量、安全、成本该如何保障呢？前端业务库的元数据变更会给后端的数据处理造成什么后果？这些问题处理得不好很容易功亏一篑，让数据成为一堆大垃圾和高成本的企业负担。 "> 　

[/img] ｃｃ ｃ [/url]