２０１５年第３期 信息通信 ２Ｏ１５ （总第１４７期） ＩＮＦＯＲＭＡＴＩＯＮ＆ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ （Ｓｕｍ．Ｎｏ １４７） 云计算和云数据管理技术分析与探讨 周治宇 （公诚管理咨询有限公司，广东广州５１０６１０） 摘要：旨在探索云计算和云数据管理技术，以云计算的基本原理为切入点，简要分析了其中的各项重要技术，包括ＧＦ￥、 Ｂｉｇ Ｔａｂｌｅ、Ｄｙｎａｍｏ技术等，并提出了笔者关于云计算和云数据管理技术的相关展望，以供参考指正。 关键词：云计算；云数据管理；技术；展望与探讨 中图分类号：ＴＰ３１５ 文献标识码：Ａ 文章编号：１６７３．１１３１（２０１５）０３．０１３４—０２ 整体而言，我国的云计算技术正处于兴起阶段，鉴于用户 在Ｍａｓｔｅｒ节点之内获取数据块服务器信息，随后实现与系统 对计算机性能的要求不断提高，再加上三网融合的持续发展， 的交互，最后实现对数据块服务器的访问，完成数据的储存与 传统的信息系统已经显得力不从心，难以为继。云计算的核 提取工作。基于ＧＦＳ技术之下的设计方案，可分离数据流与 心概念为网格计算与分布式系统，计算能力强，且数据存储量 控制流，因为客户端与主服务器不存在数据流，仅拥有控制流， 大，而云数据管理仅是其中的一项组成部分。 ＧＦＳ技术可切实减轻主服务器的运行符合，避免制约云计算 １云计算的体系结构与基本原理 系统的性能。客户端与数据块服务器实现直接性的数据传输， １．１体系结构 将数据文件划分为若干个数据块，实现分布储存，客户端可实 现对数据块服务器的多点访问，促使云计算系统实现Ｉ／Ｏ并行。 云计算的体系结构主要可分为如下四个部分：服务器集 群、管理系统、服务项目、用户。虽然体系结构数量不多，但是 ２．２ ＢｉｇＴａｂｌｅ技术 其整个工作过程复杂而庞大，以“云”的形式打造覆盖面积极 Ｂｉｇ Ｔａｂｌｅ的规模最大可达１０２４ＴＢ，可视为大型的分布式 广的计算机辅助工作网络，以虚拟技术为支撑，串联不同的服 数据库，以对象拆解的方式进行数据管理，形成一张非常庞大 务器，整合服务器资源，参考用户需求加以分配，构建巨大的 的数据表格。Ｂｉｇ Ｔａｂｌｅ即为Ｍａｐ，基本特征为多维而稀疏，各 服务器集群，更好地满足用户的需求。 个单元格（Ｃｅｌ１）依靠关键字实现三维定位，Ｃｅｌｌ的内容多为单 １．２基本原理 个字符串。如：网页内容储存，假设关键字为“ＵＲＬ”，网页储 将复杂的计算任务分布在“分布式计算机”之上，减轻远 存内容可以是多个版本的，时间戳各不相同。Ｂｉｇ Ｔａｂｌｅ技术 程服务器以及本地计算机的计算负荷压力。数据中心的运行 可提供可整合多个相似序列的列组机制（ｃＦ），如：假设“ａｎ— 与互联网非常相似，实现应用与资源的流畅切换，用户可视自 ｃｈｏｒ”拥有两个列，分别是“ｍｙ．１ｏｏｋ．ｃａ”以及“ｃｎｎｓｉ．ｃｏｍ”，基于 列组机制概念，Ｂｉｇ Ｔａｂｌｅ可实现纵横双向拓展。 身的需求而定，有选择性地访问存储系统以及计算机网站。 目前，各大著名ＩＴ企业均在不断加大研发云计算的力度，如美 Ｂｉｇ Ｔａｂｌｅ技术的位置信息为三层式的“Ｂ＋树”结构形式。 国谷歌公司所推出的Ｇｏｏｇｌｅ Ａｐｐｓ，ＩＢＭ公司所推出的“蓝云”， 其中最为关键的是第一层，其为文件形式，储存位置是 亚马逊企业所推出的“ＥＣ２”，我国的“云海系统”等。云数据管 Ｃｈｕｂｂｙ，涵盖大量的ＲｏｏｔＴａｂｌｅｔ信息以及Ｍｅｔａｄａｔａ位置信息， 各个Ｔａｂｌｅｔ均包括至少一个Ｔａｂｌｅｔ集合，Ｒｏｏｔ Ｔａｂｌｅｔ存在不可 理技术作为云计算的重要组成部分，鉴于目前处于初步的发 展阶段，各项研究尚有待深入。 分割的优点，Ｕｓｅｒ Ｔａｂｌｅ的信息储存在Ｍｅｔａｄａｔａ Ｔａｂｌｅｔ当中， 用户进行数据读取之时，首先需要读取Ｒｏｏｔ Ｔａｂｌｅｔ的位置信 ２云数据管理技术分析 息，随后由上至下逐层读取，寻找所需的数据资源。 ２．１ ＧＦＳ技术 ２．３ Ｄｙｎａｍｏ技术 ＧＦＳ技术全称“Ｇｏｏｇｌｅ ｉｆｌｅ ｓｙｓｔｅｍ”技术，作为大型的分布 在Ｄｙｎａｍｏ技术之下，构建专有专用的键值结构化数据储 式文件系统，可为云计算提供海量储存，整合Ｃｈｕｂｂｙ以及Ｍ印 存系统，集分布式ＨＡＳＨ表格以及分布式数据库两者特征于 Ｒｅｄｕｃｅ技术，打造Ｇｏｏｇｌｅ云计算解决策略体系。在ＧＦＳ技 一身，其底层支持主要是针对ＡＷＳ而言的，一般不会直接暴 术之下，云计算系统的节点可划分为三类角色定位，分别是客 露在外网之上。Ｄｙｎａｍｏ技术以ＤＨＴ为储存架构以及基本理 户端（Ｃｌｉｅｎｔ）、数据块服务器（Ｃｈｕｎｋ Ｓｅｒｖｅｒ）、主服务器（Ｍａｓ— 念，实现数据的均匀储存，根据用户的需求可实现环内转发， ｔｅｒ）。客户端为ＧＦＳ技术提供访问接口，接口为专用形式，不 各个储存点能够彼此感知，相互之间完成故障检测，确保节点 要求遵循ＰＯＳＩＸ规范，提供形式为库文件，库函数可直接被应 通信的通畅，具有较强的自我管理性。再加上Ｄｙｎａｍｏ技术并 用程序调用。 不需要依靠主服务器（Ｍａｓｔｅｒ）实现对主控点的有效控制，因此 主服务器即为ＧＦＳ技术管理的节点，实现系统元数据的 理论上不会出现单点故障的问题。 储存，管理整个文件系统。数据块服务器负责完成具体的数 Ｄｙｎａｍｏ技术为云数据管理提高三个参数，分别是ｗ、Ｒ、 据储存工作，储存形式为文件形式，一般而言，数据块服务器 Ｎ，可针对不同版本的对象实现精确的记录以及妥善的处理， 允许存在多个，ＧＦＳ技术的规模由其数量所决定，系统默认文 为应用程序提供不同的版本，用户可更具自身的需求进行合 件固定大小为６４ＭＢ，存在多个小数据块，且各个小数据块均 并使用。ｗ、Ｒ、Ｎ参数在对象副本当中同样适用，其整体的要 带有固定的Ｉｎｄｅｘ（索引号）。 求为：ｗ＋Ｒ＞Ｎ，确保数据的一致性与完整性，较之一次写多 用户对ＧＦＳ进行访问之时，必须要先访问主服务器节点， 次读的数据管理系统，例如ＨＤＦＳ系统等，Ｄｙｎａｍｏ技术下的 １３４ ２０１５年第３期 信息通信 ２０１５ （总第１４７期） ＩＮＦ０ＲＭＡＴ１０Ｎ＆Ｃ０ＭＭＵＮＩＣＡＴ１０ＮＳ （Ｓｕｍ．Ｎｏ １４７） 对加强地方政府网络管理员建设的几点思考 王三蕊 （武警青海总队司令部，青海西宁８１００１２） 摘要：阐明网络管理员在地方政府网络建设和维护中的重要作用，指出目前网络管理员建设的现状和不足，提出网络管 理员建设的对策建议，以及优秀的网络管理员应具备的五种能力素质，即学习能力、观察能力、英语理解能力、实践能力 和创新能力。 关键词：地方政府；网络管理员；建设；五种能力 中图分类号：Ｆ８１２．５ 文献标识码：Ａ 文章编号：１６７３．１１３１（２０１５）０３．０１３５—０２ 随着计算机技术的飞速发展，计算机网络的广泛应用，地 需要相协调，与政府网络建设相一致，竭力建设一支高素质的 方政府网站建设的不断兴起，网络的规划、组建，网站的发布 网络管理员队伍。 运行、安全管理等方面都需要网络管理员。但是，从实际情况 （２）多法铺设网络管理员培养的道路。借助外力培养。广 看，网络管理员人才缺乏，能力素质不高，一定程度上制约了 泛利用地方的科技和信息资源，加大与高校的沟通交流，挑选 网络设备技术性能的有效发挥，影响和制约了网络建设向高 有发展潜力的人员赴高校培训，切实打牢网络管理员的业务 层次发展，阻碍了地方政府职能的有效发挥。加强网络管理 基础。拓宽网络管理员的引进渠道，选取地方高校网络专业 员建设，塑造一支高素质的网络管理员队伍，对于地方政府来 的优秀应届毕业或企业公司的网络骨干，充实到地方政府的 说非常重要。 网络管理员队伍中，提升地方政府网络管理员的整体素质。依 ｌ网络管理员建设的现状 托岗位历练。将网络管理员安排到重要的技术岗位，注重岗 （１）人才缺乏，素质不高。由于受多种因素的影响，大部分 位实践，做好以老带新。充分利用实施重大工程建设等时机， 基层网络管理员能力素质普遍较低，不具备研发高技术含量的 在大项任务中历练摔打，促进网络管理员快速成长。 软件和网站的业务素质，只能从事基本的网络维护工作，无法 （３）合力提供网络管理员成长的支撑。建立科学的考核指 创造性的开展工作，一定程度上限制了政府职能的拓展。 标体系。引入先进的人才评价理念，量化网络管理员素养内 （２）编配失调，分布不均。近年来，地方政府加大了网络人 容，制定配套的网络管理员评价标准，建立综合评价标准体系， 才的引进和培养力度，但是与政府的实际网络建设需求还有一 以此推动人才有序流动。健全选拔任用的良好机制。坚持重 定的差距。甚至网络人才过于集中在机关和中心城市，基层 品德、重素质、重实绩，德才兼备，以德为先，任人唯贤，任人唯 和边缘地区人才相对紧缺，影响了政府网络建设整体水平的 才，切实形成重品行、重素质、重实绩的良好局面。营造栓心 提升。 留人的工作环境，抓好人才保留，主动搭建成长平台，适度增 （３）培训不够，渠道不畅。地方政府驻地分散，事务繁杂， 加网络管理员岗位补助，增强重要技术岗位的吸引力。对精 技术力量不足，难以组织规范化、系统性、高质量的集中培训， 通本职业务，表现突出的人员，在立功受奖和干部调整使用等 增加了网络人才培养的难度。另外，现有院校的专业设置和 方面给予优先考虑，积极与人事部门协商，尽快推出有利于保 培养方式还不能满足实际岗位需要，院校教育尚未形成岗位 留网络管理员的政策与措施。 任职能力培养的良好机制。 ３网络管理员应具备的五种能力 ２网络管理员建设的主要对策 （１）持续的学习能力。网络知识和网络技术日新月异，地 （１）科学制定网络管理员建设的规划。结合当前工作需要 方政府的网络需求多样，需要不断地学习，及时了解掌握网络 与长远发展，认真搞好网络管理人才建设规划，科学确定网络 技术发展的最新动态。网络设备升级换代、推陈出新，而且各 管理员的数量，综合考虑网络管理员的培养问题，使之与岗位 网络设备和网络技术各自有适用的环境和需求，通过不断学习， ・—－・・ 云数据管理系统，虽然在数据读取方面较为繁琐，然而其数据 越来越多，可用数据信息的获取途径逐渐由公共环境向私有 写入却异常简便，恰好迎合用户的实际需求。针对Ｄｙｎａｍｏ技 环境渗透。在此背景之下，云计算和云数据管理技术平台服 术下的云数据管理系统而言，负载均衡是其最为突出的优点， 务的局限性逐渐突显，结构化、半结构化、非结构化异构数据 在ＤＨＴ方式的作用下，遵循“均匀储存”的原则把全部的数据 的读取难度非常大，尚存在诸多的技术难题需要加以解决。数 在各个点上进行储存。因此，各个点的数据储存量以及访问 据存在非确定性，且是动态变化的，因此可采用各项分布式数 压力均处于相对均衡的状态，防止系统瘫痪。 据库技术集约化管理庞大的数据，同时把任务划分为若干个 ３云计算和云数据管理技术的展望与探讨 子任务，先行化简，随后映射，合理调度分配计算节点。 云计算技术终究是一项崭新的现代化技术，目前国内外 参考文献： 对其的研究尚处于逐步深入的阶段，伴随三网融合以及物联 ［１】刘正伟，文中领，张海涛．云计算和云数据管理技术［Ｊ］．计 网等的快速发展，云计算和云数据管理技术在赢得发展机遇 算机研究与发展，２０１２（Ｓ１）：２６—３１ 的同时也面临着严峻的挑战大量需要预载的数据集不断涌现， ［２］崔超．有关云计算和云数据管理技术的分析［Ｊ］．无线互联 例如股票、天气、网上检索等，再加上应用程序的个性化服务 科技，２０１４（１）：１７８ １３５
