基于中间件技术的分布式数据资源集成处理系统

第２０卷第５期　山　东　科　学　ＳＨＡＮＤ０ＮＧ　ＳＣＩＥＮＣＥ　Ｖｏ１．２０　Ｎｏ．５　０ｃｔ．２００７　２００７年ｌ０月　文章编号：１００２－４０２６｛２１Ｘ）７）０５—００６４－０３　基于中间件技术的分布式数据资源集成处理系统　郑　莹　，李　林２　（１．济南大学人事处，山东济南２５００２２；２．山东省科学院情报研究所，山东济南２５００１４）　摘要：研究开发一个基于中问件技术的分布式数据资源集成处理系统，集多种数据库和多种形式的数据于一　体，发挥数据的整体优势和聚合效益。　关键词：分布式；企业应用集成；中间件　中图分类号：ＴＰ３１１　文献标识码：Ｂ　在同一单位内部往往存在多个应用系统，由于这些系统在建立时间、设计方式、应用层次、数据结构、具　体应用系统特性等多方面存在的异构性，造成了各应用系统呈现各自，系统各自封闭，互通互联能力差；　数据整合和综合分析能力不强，使用人员要查询和处理不同的数据，需要进入不同的应用软件平台，造成重　复登录，增加了使用的复杂程度。尤其是在数据综合处理能力上，各自，互不交叉，不能发挥数据的整体　优势和聚合效益　Ｊ。　针对上述情况，研究开发一个分布式数据资源集成处理系统¨２］，集当前存在的多种数据库内容和多种形　式数据于一体，能够提供对多种形式的综合数据进行数字化采集、存储、检索、处理、发布、管理的服务网络，　提高数据的使用效率。　在国内，对于异构数据源的统一访问问题，还没有很好的解决办法【３］，现在，在银行事务处理中有一定的　应用，他们大多采用的是企业应用集成ＥＡＩ（Ｅｎｔｅｒｐｒｉｓｅ　Ａｐｐｌｉｃａｔｉｏｎ　Ｉｎｔｅｇｒａｔｉｏｎ）技术，它可以通过中间件来连接　企业内外各种业务相关的异构系统、应用和数据源，从而满足Ｅ．Ｃｏｍｍｅｒｃｅ、ＥＲＰ、ＣＲＭ、ＳＣＭ、ＯＡ、数据库、数据　仓库等重要系统之间无缝共享和交换数据的需要。ＥＡＩ涉及技术广泛，实施复杂，核心技术是中问件技术。　１概要模型　１．１用户图形界面（ＧＵＩ）　实现应用用户界面统一的接入与安全机制，利用门户技术进行构建。这个层面是一个面向用户的整合，　强调的是要将来自多个数据源的信息以一种可定制的、个性化的界面展现给用户。同时实现用户管理、用户　角色权限设置等功能，系统实现统一的用户管理。该层面设计的主要技术包括：　（１）门户技术：为系统提供一个统一的用户登录界面和单一的用户访问各种数据资源的入口，系统的用　户都可以通过这个门户获得个性化的信息和服务，该门户平台能够提供信息综合、分类、检索、处理、协作和　个性化等关键功能，同时实现系统的用户管理，提供统一的用户登录界面，实现单点登录，用户只需要进行一　次登录，就可以实现所有的服务，即可获得需访问系统和应用软件的授权服务，在此条件下，管理员无需修改　收稿日期：２００７－０８－０３　维普资讯 http://www.cqvip.com 第５期　郑莹，等：基于中间件技术的分布式数据资源集成处理系统　６５　或干涉用户登录就能方便地实施希望得到的安全控制。保证了　系统能够在分布式计算机环境中，安全和方便的鉴别用户。　（２）集成技术：将传统的主机界面发布到现在流行的Ｗｅｂ　界面。　１．２业务逻辑层　是用户登录后的各种业务操作层，包括用户信息的修改、信　息的检索与查询、模版定制、个性化信息设定、信息发布等功能。　该层的具体实现都是通过统一的数据访问接口操作数据库来实　现的，位于统一数据访问接口之上。　１．３统一数据访问层　实现数据集成，在异构的数据源之间实现数据层的直接整　合。这个层面强调的是将企业内部的信息通过联合、变换和复　制技术将企业内部的信息源集成在一起，集成的数据源将屏蔽　底层数据源的位置、类型等物理特性，会以统一的视图和接口呈　现给用户或者应用程序，呈现给用户的就是一个统一的视图，就　像是一个数据源一样，用户进行的各种业务逻辑操作就像是在　图１系统概要模型图　一个封闭的盒子中进行的，用户看到的是具体功能的实现，而看不到具体操作的是哪一个数据源上的数据，　做到了数据源的彻底屏蔽。　本方案中采用建立基于Ｏｒａｃｌｅ的分布式数据资源索引和分布式数据访问代理两种方式实现统一数据访　问层。　１．４底层数据库　是系统中各种异构的物理数据库，包括Ｏｒａｃｌｅ、Ｓｑｌ　Ｓｅｒｖｅｒ、Ｓｙｂａｓｅ、Ｆｔｐ数据源、局域网中的共享数据等。　２数据统一访问层技术实现　数据统一访问层实现分布式异构数据源的统一访问，在异构的数据源之间实现数据层的直接整合。这　个层面强调的是将企业内部的分布式数据通过联合、变换和复制技术集成在一起，集成的数据源将屏蔽底层　数据源的位置、类型等物理特性，为上层应用提供透明访问支持。　２．１常见的数据访问接口技术　２．１．１　ＯＤＢＣ（开放式数据库连接）　目前，ＯＤＢＣＡＰＩ可能是使用最广的、用于访问关系数据库的编程接口。它能在几乎所有的平台上连接　几乎所有的数据库。ＯＤＢＣ对指针使用很广泛，但它把简单和高级功能混在一块，即使对于简单的查询，其　选项也极为复杂。　２．１．２　ＡＤＯ（ＡｃｔｉｖｅＸ　Ｄａｔａ　Ｏｂｊｅｃｔｓ）　是微软最新的数据访问技术。它被设计用来同新的数据访问层ＯＬＥ　ＤＢ　Ｐｒｏｖｉｄｅｒ一起协同工作，以提供　通用数据访问（Ｕｎｉｖｅｒｓａｌ　Ｄａｔａ　Ａｃｃｅｓｓ）。ＯＬＥ　ＤＢ是一个底层的数据访问接口，用它可以访问各种数据源，包　括传统的关系型数据库，以及电子邮件系统及自定义的商业对象。　２．１．３　ＪＤＯ　ＪＤＯ针对Ｊａｖａ环境中的数据编程提供了一种通用ＡＰＩ，用于访问存储在不同数据源中的数据，如数据　库、文件系统或者事务处理系统。ＪＤＯ保持了Ｊａｖａ对象（图）之间的关系，同时允许对数据的并发访问。ＪＤＯ　用来简化和统一Ｊａｖａ数据编程，以便开发人员能够专注于业务逻辑，而不是底层的技术。ＪＤＯ是一种新技　维普资讯 http://www.cqvip.com ６６　山东科学　２００７年　术还不太成熟。　２．１．４　ＪＤＢＣ　ＪＤＢｃ（Ｊａｖａ　ＤａｔａＢａｓｅ　Ｃｏｎｎｅｃｔｉｖｉｔｙ）是一种用于执行ＳＱＬ语句的Ｊａｖａ　ＡＰＩ，它由一组用Ｊａｖａ编程语言编写的　类和接ＶＩ组成，ＪＤＢＣ为数据库开发人员提供了一个标准的ＡＰＩ，ＪＤＢＣ　ＡＰＩ的作用就是屏蔽不同的数据库驱　动程序之间的差别，使得程序设计人员有一个标准的、纯Ｊａｖａ的数据库程序设计接ＶＩ，为在Ｊａｖａ中访问任意　类型的数据库提供技术支持，使得程序开发人员可以在Ｊａｖａ程序中轻松地操纵各种数据库，而且将Ｊａｖａ和　ＪＤＢＣ结合起来将使程序员只需写一遍程序就可以在任何平台上运行。ＪＤＢＣ现在是一种数据库开发相对成　熟的技术。　此外，还有Ｏｐｅｎ　Ｃｌｉｅｎｔ／Ｏｐｅｎ　Ｓｅｒｖｅｒ和ＯＬＥ　ＤＢ（Ｏｂｊｅｃｔ　Ｌｉｎｋ　ａｎｄ　Ｅｍｂｅｄｄｉｎｇ　ＤａｔａＢａｓｅ）等，在此不再做详细叙　述。　２．２统一数据访问的实现　本方案中采用建立基于分布式数据资源索引和分布式数据访问代理两种方式实现统一数据访问层。前　者是建立在全文索引库的基础上，速度快、效率高，能保证系统的查全率和查准率；后者是采用各数据源自身　的标准的数据访问接口来实现的，直接检索数据源上用大字段来表示的文档，速度慢、效率低，不能保证系统　的性能。　２．２．１分布式数据资源索引　这种方法包括数据网关、建立全文索引库和查看信息原文等三部分组成。　数据网关基本实现数据的统一访问，能够将各数据源上的数据导入到全文索引库中，是实现数据统一访　问的主要部件。其主要功能有：　（１）根据用户指定的网段，可以自动发现该网段上的所有数据源；　（２）用户选定某个数据源后，数据网关能够自动识别该数据源上的数据库的结构，并自动指定做索引的　字段；　（３）可以识别Ｏｒａｃｌｅ（８ｉ以上版本）、ＳＱＬ　Ｓｅｒｖｅｒ（６．５以上版本）、Ｓｙｂａｓｅ（１１．５以上版本）等数据库上的数　据、可以识别Ｆｔｐ、Ｉｎｔｅｍｅｔ上共享网络的数据；　（４）可以将上述数据源上的数据索引到Ｏｒａｃｌｅ数据库中；　（５）扩充新数据源，对新数据源能够进行如上的几种操作；　（６）能够使系统稳定、效率提高；　（７）运行计划要求，指定系统按指定时间运行（如凌晨０：００运行）或指定系统运行的问隔时间（如每隔　３０ｍｉｎ、ｌｈ运行）；　（８）能够将新增加的数据自动导入到索引库中。　查看信息原文就是将检索的结果通过统一数据访问接口在用户指令的操作下将该文档的详细信息及文　档内容展现给用户；　全文索引库的建立将在下一节做详细的介绍。　该部分采用Ｃ／Ｓ方式开发，要求界面友好，对各种数据源全部采用标准的数据接口，程序开发采用ｖｉｓ　ｃ＋＋环境进行开发，运行在服务器端。　２．２．２分布式数据访问代理　分布式数据访问代理是实现统一数据访问的一种最直接、最简单的方法，这里不需要做数据网关，不需　要做全文索引库，就是采用ＯＤＢＣ方法或直接采用各数据源提供的标准数据访问接口直接检索数据库中的　数据。其主要功能有：　（下转第７０页）　维普资讯 http://www.cqvip.com ７０　山东科学　２Ｏ０７年　个系统每年可节约标准煤２６０ｔ　。文中所介绍的支架系统设计方法可为将来该系统设计提供一条新的思　路，所得的匹配参数也可所为实际工程参考数据。　参考文献：　［１］郑瑞澄．民用建筑太阳能热水系统工程技术手册［Ｍ］．北京：化学工业出版社，２００３　［２］方荣生．太阳能应用技术［Ｍ］．北京：中国农机出版社，１９８５．　［３］陈耀宗．建筑给水排水设计手册［Ｍ］．北京：中国建筑工业出版社，１９９２．　［４］张培国．工程力学［Ｍ］．北京：机械工业出版社，２００６．　［５］罗运俊．太阳能热水器原理、制造与施Ｉ［Ｍ］．北京：化学工业出版社，２００５．　（上接第６６页）　（１）开始接收用户的检索请求；　（２）将用户的检索请求，按数据源的个数分成多个请求，然后到各数据源上进行检索操作；　（３）收集检索结果信息，返回到用户。　该部分采用Ｂ／Ｓ方式设计，要求界面友好，支持并发操作，采用基于Ｊ２ＥＥ的分布式计算技术进行系统架　构设计和系统开发，由于不涉及建立全文索引库，检索的都是各数据源上用大字段表示的文档，这样所达到　的效果不如第一种方法好，效率较低，速度较慢。　参考文献：　［１］袁占亭，张秋余，杨洁．基于Ｗｅｂ　ｓｅⅣｉｃｅｓ的企业应用集成解决方案研究［Ｊ］．计算机集成制造系统一ｃＩＭｓ，２ＯＭ，（４）：３９４—　３９８．　［２］许佑骏，王力生．Ｗｅｂ　ｓｅⅣｉｃｅ技术进行企业系统应用集成的研究［Ｊ］．计算机应用与软件，２ＯＭ，（６）：１Ｏｒ７—１０９．　［３］胡春明，怀进鹏，孙海龙．基于Ｗｅｂ服务的网格体系结构及其支撑环境研究［Ｊ］．软件学报，２ＯＭ，（７）：１１７—１２６