云计算—大数据

摘要：

近年来，大数据和云计算已经成为社会各界关注的热点话题。秉承“按需服务”理念的“云计算（Cloud computing）”正高速发展，“数据即资源”的“大数据（big data）”时代已经来临。

大数据利用对数据处理的实时性、有效性提出了更高要求，需要根据大数据特点对传统的常规数据处理技术进行技术变革，形成适用于大数据收集、存储、管理、处理、分析、共享和可视化的技术。如何更好地管理和利用大数据已经成为普遍关注的话题。大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。本文所提到的大数据包含着云计算，因为云计算是支撑大数据的平台。

关键词: 大数据 云计算

在学术界，大数据这一概念的提出相对较早。2008 年 9 月，《自然》杂志就推出了名为“大数据”( big data) 的专刊。2011 年5 月，麦肯锡全球研究院发布了名为《大数据: 创新、竞争和生产力的下一个前沿》(Big data: The next frontier for innovation，competition，and productivity)的研究报告，指出大数据将成为企业的核心资产，对海量数据的有效利用将成为企业在竞争中取胜的最有力武器。2012 年，联合国发布大数据政务白皮书，指出大数据可以使用极为丰富的数据资源来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。2012 年 3 月 29日，奥巴马政府发布了《大数据研究与发展计划倡议》，宣布启动对大数据的研发计划，标志着美国把大数据提高到国家战略层面，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。 大数据应用正在风靡全球，大数据精准营销成为企业掌舵者的口头禅，那么大数据真的是无懈可击吗？答案显然是否定的。随着互联网和移动设备的普及，大数据已经在我们的生活中无处不在，而有关大数据与隐私的问题也日益受到关注。毫无疑问，未来可以获得的个人数据量越多，其中的信息量就越大。只要拥有了足够多的数据，我们甚至可能发现有关于一个人的未来信息。另外市场是变化无常并且不可预期的，决策者的创造性思维并不能通过数据得以体现，相反，大数据在压制创新。大数据搜集到的数据的真实性也有待检验。一个人获得的数据和事实越多，预测就越有意义，人的判断也就显得愈发重要。人类、数据集和算法的协同进化将最终决定“大数据”究竟是会创造新财富，还是会摧毁旧价值。

本文首先介绍了云计算的相关概念，云计算为大数据的诞生创造了物质基础，从而引出大数据的相关概念。通过大数据与云计算之间关系的比较，使读者对大数据与云计算有一个清晰的了解。文章介绍了大数据特征、作用以及对大数据分析的方法理论，对大数据的两种处理模式、处理流程以及关键技术进行了分析，提出MapReduce与关系数据库融合技术，为未来大数据的工作提供了一个参考。

一、云计算的介绍

正如维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋的“动力”就是云计算

云计算为一个由规模经济驱动的大型分布式计算模型，在该模型中，抽象的、虚拟化的、

动态可伸缩的并可管理的计算资源、存储资源、平台和服务构成了一个资源池。资源池中的资源通过互联网，按需提供给池外的用户。 云计算定义为：云是由易于使用的虚拟资源构成的一个巨大资源池，包括硬件资源、部署平台以及相应的服务。根据不同的负载，这些资源可以动态地重新配置，以达到一个最理想的资源使用状态。资源池中的资源是按需付费的，服务提供商通过服务等级协议（Service Level Agreement，SLA）保证用户的服务质量。

二、大数据的介绍

云计算的蓬勃发展，客观上开起来大数据时代的大门。大数据是云计算的灵魂和升级方向。云计算为大数据提供的存储的空间和访问的渠道。

图1

图1为各地云计划项目是大数据诞生的前提

2.1 何谓大数据

人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据（BigData）时代。以数据为中心的传统学科（如基因组学、蛋白组学，天体物理学和脑科学等）的研究产生了越来越多的数据。例如，用电子显微镜重建大脑中的突触网络，1立方毫米大脑的图像数据就超过1PB。但近年来大数据的飙升主要还是来自日常生活，特别是互联网公司的服务。据著名咨询公司IDC的统计，2011年全球被创建和复制的数据总量为1.8ZB（10的21次方），其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）。Google 公司通过大规模集群和MapReduce 软件，每月处理的数据量超过400PB；百度每天大约要处理几十 PB 数据；Facebook 注册用户超过 10亿，每月上传的照片超过10亿张，每天生成300TB 以

上的日志数据；淘宝网会员超过3.7 亿，在线商品超过 8.8 亿，每天交易数千万笔，产生约20TB数据。传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监控每时每刻都在采集巨量的流媒体数据。工业设备的监控也是大数据的重要来源。例如，劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送PB数量级的数据。 一般意义上，大数据是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。大数据的特点可以总结为4个V，即Volume（体量浩大）、Vari-ety（模态繁多）、Velocity（生成快速）和 Value（价值巨大但密度很低）。首先，数据集合的规模不断扩大，已从GB到TB再到PB级，甚至开始以EB和ZB 来计数。IDC 的研究报告称，未来 10 年全球大数据将增加50倍，管理数据仓库的服务器数量将增加10倍。其次，大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据。现代互联网应用呈现出非结构化数据大幅增长的特点，至2012 年末，非结构化数据占有比例将达到整个数据量的75%以上。同时，由于数据显性或隐性的网络化存在，使得数据之间的复杂关联无所不在。再次，大数据往往以数据流的形式动态、快速地产生，具有很强的时效性，用户只有把握好对数据流的掌控才能有效利用这些数据。另外，数据自身的状态与价值也往往随时空变化而发生演变，数据的涌现特征明显。最后，虽然数据的价值巨大，但是基于传统思维与技术，人们在实际环境中往往面临信息泛滥而知识匮乏的窘态，大数据的价值利用密度低。 维克托·尔耶·舍恩伯格明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。

2.2 从数据库(database,DB)到大数据(bigdata,BD)

从数据库到大数据，看似只是一个简单的技术演进，但细细考究不难发现两者有着本质上的差别。大数据的出现必将颠覆传统的数据管理方式。在数据来源)数据处理方式和数据思维等方面都会对其带来革命性的变化。

如果要用简单的方式来比较传统的数据库和大数据的区别，我们认为“池塘捕鱼”和“大海捕鱼”是个很好的类比。“池塘捕鱼”代表着传统数据库时代的数据管理方式，而“大海捕鱼”则对应着大数据时代的数据管理方式，“鱼”是待处理的数据。“捕鱼”环境条件的变化导致了“捕鱼”方式的根本性差异。这些差异主要体现在如下几个方面： 数据规模。“池塘”和“大海”最容易发现的区别就是规模。“池塘”规模相对较小，即便是先前认为比较大的“池塘”，譬如CLDB，和“大海”XLDB相比仍旧偏小。“池塘”的处理对象通常以MB为基本单位，而“大海”则常常GB，甚至是TB，PB为基本处理单位。

2.3 大数据与云计算的关系

近几年来，云计算受到学术界和工业界的热捧，随后，大数据横空出世，更是炙手可热。那么，大数据和云计算之间是什么关系呢？ 从整体上看，大数据与云计算是相辅相成的 大数据着眼于“数据”，关注实际业务，提供数据采集分析挖掘，看重的是信息积淀，即数据存储能力。云计算着眼于“计算”，关注 IT 解决方案，提供 IT 基础架构，看重的是计算能力，即数据处理能力。 没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 从技术上看，大数据根植于云计算 云计算关键技术中的海量数据存储技术、海量数据管理技术、MapReduce编程模型，都是大数据技术的基础如图2所示

图2 大数据的关键技术

大数据技术与云计算有相同，也有差异（如图 3所示）

图3 大数据与云计算的差异

3 大数据的特征、作用及分析

3.1 大数据的特征

一是数据体量巨大。百度资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。 二是数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。 三是处理速度快。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。 四是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

3.2 大数据的作用

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。 大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

3.3 大数据的分析

从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 1. 可视化分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他 们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2. 数据挖掘算法。大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基 于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点。

3. 预测性分析。大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘 出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 4. 语义引擎。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系 统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5. 数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有 效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

4 大数据时代的挑战与应对策略

4.1 大数据时代面临的挑战

运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战，管道化压力化解及“云－管－端”的有效装备也均面临新挑战。 大数据的“四V”特征在数据存储、传输、分析、

处理等方面均带来本质变化。数据量的快速增长，对存储技术提出了挑战；同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。 海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻；而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼，典型的有APT（Advanced Persistent Threat，高级持续性安全威胁）。的商业机密，对个人隐私问题必须引起充分重视。 大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，这将对可持续发展起关键作用。 大数据时代的基本特征及安全挑战，对政府制订规则与监管部门发挥作用提出了新的挑战。

4.2 大数据时代的应对策略

大数据时代应以智慧创新理念融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效增值的商业模式，确保应对APT之类的新型安全威胁。 电信运营商转型中流量经营已成共识，即以智能管道与聚合平台为基础，以扩大流量规模、提升流量层次及丰富流量内涵作为基本经营方向，并以释放流量价值为基本目标，可见大数据和云计算的深度融合与此流量经营目标十分吻合。实际上已经有一些运营商借助大数据Hadoop云工具管理与分析网络中的用户数据，为日常运维及制定市场战略等提供有效支撑。

针对大数据时代的基本特征，加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头，纷纷加速收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用，已初显效益。 将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等，建立智能平台，优化配置城市资源，向真正的智慧城市迈进。

借助大数据创新处理技术应对APT安全攻击。APT安全攻击的最主要特征为单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定；同时APT攻击一旦入侵成功则长期潜伏，攻击时间上具有持续性。目前，全流量审计方案具备强大的实时检测能力与事后回溯能力，并可将安全工作人员的分析能力、计算机存储与运算能力组合在一起，是一种较完整的解决方案。

心得：

现在，当数据的积累量足够大的时候到来时，量变引起了质变。“大数据”通过对海量数据有针对性的分析，赋予了互联网“智商”，这使得互联网的作用，从简单的数据交流和 信息传递，上升到基于海量数据的分析，一句话“他开始思考了”。简言之，大数据就是将碎片化的海量数据在一定的时间内完成筛选、分析，并整理成为有用的资讯，帮助用户完成决策。借助大数据企业的决策者可以迅速感知市场需求变化，从而促使他们作出对企业更有利的决策，使得这些企业拥有更强的创新力和竞争力。这是继云计算、物联网之后IT产业

又一次颠覆性的技术变革，对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。后工业社会时代，随着新兴技术的发展与互联网底层技术的革新，数据正在呈指数级增长，所有数据的产生形式，都是数字化。如何收集、管理和分析海量数据对于企业从事的一切商业活动都显得尤为重要。 大数据时代是信息化社会发展必然趋势，我们只有紧紧跟随时代发展的潮流，在技术上、制度上、价值观念上做出迅速调整并牢牢跟进，才能在接下来新一轮的竞争中摆脱受制于人的弱势境地，才能把握发展的方向。

结论：

大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝 贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。大数据时代呼唤创新型人才。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。

参 考 文 献

[1]. 统计与管理，2013年6月，热点透视，河北统计局，李永宏，《大数据与云计算》 首段

[2]. 中国改革报，2013年3月26日第012版，民生视窗·聚焦，欧阳静，《云计算— —大数据时代带来全球性深刻变革》第4页

[3]. VAQUERO L M, RODERO-MERINO L, CACERES J, etal. A break in the clouds: towards a cloud definition[J]. ACM SIGCOMM Computer Communication Review, 2009, 39(1): 50-55.

[4]. 中国改革报，2013年3月26日第012版，民生视窗·聚焦，欧阳静，《云计算— —大数据时代带来全球性深刻变革》第2页

[5]. 战略与决策研究，中国科学院计算技术研究所 北京，李国杰、程学旗，《大数据研 究：未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考》