第24卷第3期 2014年3月 计算机技术与发展 C0MPUTER TECHNOLOGY AND DEVELOPMENT Vo1.24 No.3 Mar. 2014 基于动态云的智慧农业架构研究 李尤丰,王智钢 (金陵科技学院,江苏南京210007) 摘要:云计算是所有数据汇集到云中心进行统一处理,用户不再需要部署计算能力设强的客户端,而是直接从“云”里 (服务器端)获得计算能力。流行的云计算架构采用强数据中心(服务端)、弱客户端模式。而建设云计算中心的强服务 端,需要硬件高配置,需要良好的网络环境,造成建设云中心资金投入过大。对于智慧农业云架构,亦是如此。目前智慧 农业的各网络客户端硬件配置优良。文中提出基于动态云的智慧农业架构,该架构通过将具有一定存储能力、数据处理 能力、能够提供一定网络服务能力的客户端,根据需要,结合到云数据中心,使该中心的规模动态地扩大或者缩小。实际 上,就是让某客户端为云服务中的其他客户端提供服务,减轻实际云数据中心的数据存储、数据处理、资源配置等压力。 基于该动态云的智慧农业架构部分已经实现,并且在南京和安徽地区的部分农产品的各环节中得到稳定应用,证明了该 架构的实用性。 关键词:智慧农业;动态云;云数据中心;架构 中图分类号:TP31 文献标识码:A 文章编号:1673—629X(2014)03—0190—04 doi:10.3969/j.issn.1673—629X.2014.03.047 Research on Dynamic Cloud—.based Architecture of Wisdom Agriculture LI You-feng,WANG Zhi-gang (Jinling Insittute of Science and Technology,Nanjing 210007,China) Abstract:The cloud computingis amodel 0f collecting allthe datatothe cloud centerto process eenlraUy.Users nolonger needto de— ploy a strong client,but obtain computing power from the”cloud”(server)directly.So the cloud computing has a strong data center (server)and weak clients mostly.The server requires high hardware configuration and high performance networks.That will require a large investment.It is the salne to the wisdom agriculture.Now the clients which have storage capaci【y,data processing,and a network services,will be architected in the cloud.So the cloud will be expanded or contracted dynamically.In fact,a client will provie sdervices for other clientsto reduce data storage,data processingand other pressures ofthe actual cloud center.Part ofthearchitcteure ofthewis— dom agriculture has been applied sablty in Nanjing city and Anhui province.It proved that the architcture ies practica1. Key words:wisdom agriculture;dynamic cloud;cloud center;architecture O 引 言 云计算(Cloud Computing)是用户可以在任何地 方通过连接的设备访问应用程序;应用程序位于大规 式…。该强数据中心(服务端),也就是云平台,要集 中存储处理来自各方面的数据,这就带来了很多问题, 例如要求大数据存储和处理的高配置服务器,要求网 络及网络带宽的高性能等等,也就带来了成本的快速 模伸缩的数据中心,计算资源可在其中动态部署并进 行共享,以便能够实现显著的规模经济。云计算,常用 来描述一个系统平台或者一种类型的应用程序。有了 增长,建设资金投入过大。智慧农业集成了农产品从 生产到运输,到销售,到追溯以及监管的每个环节,大 量数据需要存储、访问。如果将所有数据集中到云中 心处理,那么建设智慧农业的云中心需要一次投入大 量资金,来解决硬件配置和网络配置等问题 。而目 前智慧农业的终端——农业个体老板和农业企业方的 网络出版时间:2014—01—07 云计算之后,用户不再需要部署计算能力很强的客户 端,而是可以直接从“云”里(服务器端)获得计算能 力,并按照使用情况付费。所以云计算的架构大多采 用强数据中心(服务端)、弱终端(客户端)的架构模 收稿日期:2013—05—31 修回日期:2013—09—04 基金项目:江苏省现教研究课题(2011一R一19470) 作者简介:李尤丰(1977一),女,江苏宜兴人,讲师,硕士,研究方向为图像分析和大型软件系统架构、管理。 网络出版地址:http://www.cnki.net/kcms/detai]/61.1450.TP.20140107.1650.034.html 第3期 李尤丰等:基于动态云的智慧农业架构研究 ・191・ 硬件配置较好,能够提供一定的存储能力、处理数据能 力和网络访问能力 。如果智慧农业的客户端资源 能够被智慧农业的云中心加以利用,也就是将客户端 根据需要纳入到云中,扩展云中心,而减轻实际云中心 的存储设备配置、数据处理、网络访问等;或者反之,不 访问或不处理数据时,客户端还是作为普通客户端,并 不在云中,这样动态的变化,来实现智慧农业的架构具 有重大意义,一定程度上将避免浪费。文中提出基于 动态云的智慧农业数据中心平台的架构,即在需要时 将农业客户端纳入云,增强数据处理的实时性,远离网 络带宽时速等;而在不需要时农业客户端作为普 通客户端存在。当然,将客户端纳入云中,对客户端的 运行等会有一定要求,这些可以和客户端签订协议或 者制定相应等,也可以采取虚拟化客户端资源,来 达到数据访问的同时保护数据的安全性等,数据中心 只需做好日志记录、中转链接等工作就可以了。 1云计算使用现状介绍 云计算(Cloud Computing)是分布式计算(Distrib— uted Computing)、并行计算(Parallel Computing)、效用 计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物, 具有资源配置动态化、需求服务自助化、以网络为中心 (云计算的组件和整体构架由网络连接在一起并存在 于网络中,同时通过网络向用户提供服务)、服务可计 量化、资源的池化和透明化(对云服务的提供者而言, 各种底层资源(计算、储存、网络、资源逻辑等)的异构 性(如果存在某种异构性)被屏蔽,边界被打破,所有 的资源可以被统一管理和调度,成为所谓的“资源 池”,从而为用户提供按需服务;对用户而言,这些资 源是透明的,无限大的,用户无须了解内部结构,只关 心自己的需求是否得到满足即可)等特征 。云计算 目前在IT界非常流行,但是建设云计算的服务中心的 资金投人等相当大。例如,目前Google提供云计算服 务的云数据中心的服务器有10多万台,虽然云数据中 心采用廉价的X86服务器,但是在资金上对数据中心 的投入还是巨大的 。例如,IBM公司虽然已经失去 了客户端的计算能力,但是却仍然拥有全球最为强大 的服务器端的计算能力;每天,ⅢM的大型机、服务 器、中间件软件、数据中心为全球数不清的企业客户提 供7x24小时不间断的计算服务。mM落户在江苏无 锡太湖新城科教产业园的“蓝云”,是全球第一家商用 的云计算中心,其24台服务器全部是IBM的System x和System P服务器,mM还计划为自己的System z 大型主机开发云计算环境 。可见云中心的配置都 是一流的高配置。例如,《第一财经Et报》记者程维报 道,重庆拟布局的“国际云计算中心”的发展计划有 100万~300万台服务器,称未来10年整个亚洲地区 的云计算及欧美国家外包给亚洲地区国家的数据处理 服务器大致1 000万台 。该报道引起了业界对这些 服务器用电量的哗然。诸如此类的信息,都可以看出 云计算的流行和力量强大,云计算中心的高配置带来 的超能力。但是高配置自然也带来高成本。如何在智 慧农业的架构中,将云中心的部分压力合理转移,减少 云中心建设的成本,是文中讨论的关键。 2智慧农业简介 智慧农业是目前各种技术的综合应用,包括互联 网、物联网技术、云计算、现代通信技术、智能控制、现 代机械等 ,例如,农民在家通过监测系统,了解到农 作物缺水,此时,按个键就能实现农作物灌溉,还能保 证灌溉量正确、精准等。现代智慧农业包括农产品养 殖种植环节、生产加工环节、仓储运输环节、销售环节、 监管环节等。农产品养殖种植环节,主要有设施 作物、大田作物、水产养殖、兽禽养殖的精细化管理,农 产品养殖种植生长周期各环节记录跟踪,农作物“四 情”检测以及远程专家诊断指导功能等。农产品生产 加工环节,主要以农产品身份信息为基础,对农产品生 产加工流程的关键点进行记录管理等。农产品仓储运 输环节,有农产品的仓库的贮藏参数检测和物流管理, 以及农产品在运输过程中,对运输车辆贮藏参数检测 以及车辆的定位和调度功能等。农产品销售环节,有 农产品的发布展示、交易以及溯源查询等功能。各环 节可能都包含监管部门决策、监管、指导、调度、远程专 家诊断、决策分析等监控跟踪管理以及服务。文中探 讨如何将农产品各流程环节产生的大量数据有效合理 地在客户端实现部分存储和处理,而无需都集中到数 据处理中心处理,从而减轻数据中心的压力,解决对现 有资源充分利用,减少服务端的配置,节约处理中心建 设成本等问题。 3智慧农业动态云架构 智慧农业架构如果是强数据中心、弱客户端的架 构,那么,如图1,最终用户都是和云中心互动,所有数 据都汇集到云中心平台处理。而如果采用动态云架 构,那么,如图2,最终用户似乎都是和云中心互动,实 际是云中心只提供中转,具体数据存储或处理可以到 农业企业终端调取,弱化了云中心存储和处理数据的 能力。对于用户来说,没有感觉到明显变化,因为用户 无需了解云中心的具体架构。在不需要和用户交互 时,该架构可以从图2收缩成图1;需要和用户交互 ・192・ 计算机技术与发展 第24卷 时,又恢复到图2架构,实现动态云架构。 一……… / \、 医鲴…匪鲴 图1 强数据中心、弱客户端的架构 图2动态云架构 智慧农业的动态云架构涉及客户端数据动态存 储、客户端数据动态处理和客户端资源虚拟化三个方 面。 数据动态存储是指将客户端的数据存储能力结合 到云数据中心,在客户端使用的同时,作为服务提供给 其他的客户端用户,包括最终消费者或者其他农业企 业。例如某农业企业某农产品的生产管理数据,作为 企业本身是可以查看的,对于最终消费者,可以通过云 计算中心提供的列表信息,对照消费者手中农产品的 条码,查询该农产品从生产到销售的一系列环节的所 有数据,此时作为客户端的企业的生产数据,作为生产 加工的企业的加工数据,作为仓储物流企业的流通数 据,作为销售企业的管理数据,都可以嵌入云中,似乎 是作为云计算中心的一部分被查询,而实际这些数据 都存储在各企业本地。当然,如何管理企业本地数据, 而不允许随意篡改等,就要借助农业监管部门的 手段和加密、虚拟等技术手段。目前比较多的云计算 架构模式,其所有池和资源都是集中存储管理。数据 都集中存储在云服务中心,造成云中心的软硬件资源 无限占用,企业终端没有自主权,个人数据都存储在云 数据中心,存在网络访问频繁、网络带宽配置高、建设 资金大等问题。目前国内的网络状态,就像现在城市 的交通,建设那么多发达的公路却还是拥堵的,想要达 到理想的网络状态,几乎不可能。将企业终端的存储 能力动态地结合到云服务中心,将数据通过编码、加密 等方式处理后存储在终端用户节点上,在数据中心仅 仅存储访问终端数据的列表链接,无疑减轻了服务端 的压力。 数据动态处理是指将客户端的数据处理能力结合 到云数据中心,在客户端处理的同时,作为服务提供给 其他的客户端用户,包括最终消费者或者其他农业企 业。例如当某消费者购得某农产品,希望查询溯源该 农产品从生产到销售的一系列环节的所有数据,此时 作为客户端的企业的生产数据,作为生产加工的企业 的加工数据,作为仓储物流企业的流通数据,作为销售 企业的管理数据,虽然都存储在各自企业的终端,但是 它们之间按照一定算法协调、通信 ,按照某个流程快 速准确地将消费者所需要的数据调出,并行处理的能 力显现 ,那么数据的动态处理能力就充分显现,远比 在数据中心按照流程一个环节一个环节查询要有效率 的多 。数据的动态处理在动态云架构中就有了 充足的用武之地。 资源虚拟化,是指将作为客户端的机器、设备、软 件、数据等一系列资源虚拟化 。可以考虑将每组类 似的客户端资源,采用抽象、继承、组合或者其他方式, 做成云中心的通用接口,用户访问时都是通过统一接 口,也就无从分辨该资源是在客户端,还是在服务端, 是在这个客户端还是在那个客户端,也就实现了资源 的虚拟化。消费者等在访问该资源时,感觉就是云服 务中心提供的,而感觉不到是客户端的资源。终端设 备的共享和访问也就一体化了。企业本身访问数据, 虽然是从本地提取,但是,企业本身感觉还是从云中心 提取数据的,因为本地数据、资源都被虚拟化了,从而 也保障了数据的安全性。 4实际应用 在南京和安徽的某智慧农业系统中,将智慧农业 系统分成三级。一级是农业企业,二级是地县级农业 部门,三级是省级农业管理部门。 一级农业企业需要存储和处理的数据有农作物养 殖和种植数据、农作物生产加工数据、农作物仓储物流 流通数据、农作物销售管理数据,以及基于这些数据的 监管主题数据、报表中间数据、报表结果数据、应用细 节数据,以及其他数据等。系统处理中对这些数据进 行分类,部分数据进行加密,企业对某些数据的访问、 修改等,通过一定方式,并进行详细的日志记录,让该 企业本身感觉这些数据是存储在服务端的,实现数据 资源的虚拟化。实际云数据中心只存储访问该数据的 链接和要求。也就是说这些数据存储在客户端,当需 要时,这些数据就被按照一定规则查询调用,此时就将 该企业数据纳入云中,实现云的动态扩展。当不需要 访问这些数据时,这些数据被存储在客户端。实际处 理过程中数据分成多类,例如有基础数据、信息档案数 据、过程处理数据、周期性数据、实时数据、文档数据、 第3期 李尤丰等:基于动态云的智慧农业架构研究 ・193. 统计查询数据等,该系统中将部分访问要求高、访问频 繁的数据直接存储在云中心了,而部分访问不频繁、没 有涉密等等的数据存储在客户端。所以系统实现的动 态云数据存储只是部分数据动态,读者可以根据实际 问题,考虑自己的系统架构。 二级地县级农业部门管理的数据有农业“四情” 监管数据,以及对企业级各环节的监管数据、报表数据 分数据是存储在客户端的,只是虚拟成了服务端,那么 由其他终端对数据的访问,无疑延长了访问时间,如何 提高访问的速度和效率也是该系统要考虑的问题。另 外,各农业企业间的资源数据的共享等,可以考虑增加 基于企业的小的数据中心的架构。 参考文献: [1]Liu J F,Liu P.Status and key techniques in cloud computing [C]//Proc of 3rd international conference on advanced 等。系统处理中对这些数据的处理和企业级的数据处 理一样,进行分类,加密,部分存储在云中心,而部分存 储在地县级农业部门本身设备中。对数据的访问按照 computer theory nad engineering.[S.1.]:[S.n.],2010:285 -动态和虚拟化规则,对数据采用通用接口访问,只是地 288. [2]Chen K,Zhen W M.Cloud computing:System instances nad 县级本身管理的数据部分来自农业企业,所以地县级 CO/Tent research[J].Journal of software,2009,20(5):1337- 部门相当于一个小的云计算中心。可以从农业企业访 1348. 问数据,又可以提供数据给省级云计算中心平台。 [3] mM blue cloud[EB/OL].2008—02—02.https://www. 三级省级农业部门作为真正的云数据中心,处理 ibm.com/developerworks/cloud/. 来源于企业级的数据、地县级的数据,以及对这些数据 [4] 杨玲,李仁发,唐卓.基于MapReduce的单源最短路 汇总统计等管理,还要存储和处理例如气象数据、灾情 径算法研究[J].微计算机信息,2011,27(12):97-99. 预测诊断及应急反应、农业资源的评估与管理、作物长 [5] 陈丹伟,黄秀丽,任勋益.云计算及安全分析[J].计算机技 势预测与估产等数据。而由于部分数据存储在一级和 术与发展,2010,20(2):99-102. 二级终端,大大减少了三级云数据中心的软硬件配置 [6]余欣荣.物联网一改变农业、农民、农村的新力量[M].合 和网络配置成本。 肥:安徽科学技术出版社,2012. [7] 张小庆,贺忠堂,李春林,等.云计算系统中数据中心的节 能算法研究[J].计算机应用研究,2013,30(4):961—964. 5结束语 [8] 翟岩龙,罗壮,杨凯,等.基于Hadoop的高性能海量数 运用动态云,将农业企业终端是否纳入云中心,来 据处理平台研究[J].计算机科学,2013,40(3):100-103. 实现云中心的动态扩展和收缩,实现数据的动态存储、 [9] Google app engine[EB/OL].2012一o4—25.http:Nap- 处理和资源虚拟化。通过南京和安徽等地某智慧农业 pengine.google.com. 的部分功能的实际运用,证明该架构能够减少硬件成 [10]曾智斌,许 力.云计算中高能效的虚拟资源分配策略 本,降低网络性能要求,达到数据追溯有效性的目的。 [J].计算机系统应用,2011,20(12):55—59. [11]刘赛,李绪蓉,万麟瑞,等.云环境下资源调度模型研究 但是是否需要将系统中所有终端以及产生的数据都进 [J].计算机工程与科学,2013,35(3):48—51. 行动态云架构,是值得考虑的问题,建议按照需要设 [12]Foster I,Zhao Yong.Cloud computing and grid computing 计。另外系统基于动态云架构,无疑增加了客户端的 360-degree compared[C]//Proc of 2008 grid computing 压力,合理地分配这种压力也是值得考虑的问题。部 environments workshop.Austin,Texas:IEEE,2008. (上接第189页) veirlog hardware description lnaguage[s].IEEE Std 1364, USA:Inte1440 Datasheet Order Number,2001. 1995. [7] 郭晓宇.基于IEEE802.3标准的以太网数据帧格式的封装 [1O]徐欣,于红旗,易 凡.基于FPGA的嵌入式系统设计 实现[D].北京:北京交通大学,2008. [M].北京:机械工业出版社,2005. [8] Single—cllip/Single-port 10/100 fast ether net phyceiver [11]陈春宁,王延杰.基于TMS320DM642 BAYER格式图像色 (with auto crossover)datasheet[M].USA:Realtek Corpor- 彩复原的实现[J].微计算机信息,2007,23(20):145—147. tation,2003. [12]王宇庆.基于梯度复数矩阵的图像质量客观评价方法[J]. [9] IEEE standard hardware description lnaguage based on the 计算机技术与发展,2013,23(1):63—66.