维普资讯 http://www.cqvip.com 计算机研究与发展 ＩＳＳＮ １０００．１２３９｜ＣＮ １１—１７７７｜ＴＰ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ４４（８）：１２７３～１２８３，２００７ Ｗｅｂ应用测试技术进展 邓小鹏 邢春晓 蔡莲红 （清华大学计算机科学与技术系 北京 １０００８４） （解放军电子工程学院软件工程中心 合肥 ２３００３７） （ｄｘｐ０４＠ｍａｉｌｓ．ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃｎ） Ｐｒｏｇｒｅｓｓ ｉｎ Ｔｅｓｔｉｎｇ ｆｏｒ Ｗｅｂ Ａｐｐｌｉｃａｔｉｏｎｓ Ｄｅｎｇ Ｘｉａｏｐｅｎｇ ＇－，Ｘｉｎｇ Ｃｈｕｎｘｉａｏ ，ａｎｄ Ｃａｉ Ｌｉａｎｈｏｎｇ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ，ＢｅＯｉｎｇ １０００８４） （Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｅｎｔｅｒ，Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈｅｆｅｉ ２３００３７） Ａｂｓｔｒａｃｔ Ｔｅｓｔｉｎｇ ｆｏｒ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ｈａｓ ｃｈａｌｌｅｎｇｅｓ ｏｎ ｉｔｓ ｓｐｅｃｉａｌ ａｓｐｅｃｔｓ．Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｄｅｓｉｇｎ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ，ｒｅｌａｔｉｖｅｌｙ ｌｉｔｔｌｅ ｗｏｒｋ ｏｎ ｔｅｓｔｉｎｇ ｈａｓ ｂｅｅｎ ｄｏｎｅ ＳＯ ｆａｒ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｔｈｅ ｆａｃｔｏｒｓ ｉｎｆｌｕｅｎｃｉｎｇ ｔｅｓｔｉｎｇ ｆｏｒ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ａｒｅ ａｎａｌｙｚｅｄ ｆｒｏｍ ｓｕｃｈ ｃａｓｅｓ ａｓ ｉｔｓ ａｒｃｈｉｔｅｃｔｕｒｅ，ｔｅｃｈｎｉｑｕｅｓ，ｅｌｅｍｅｎｔｓ ｏｆ ｉｔｓ ｃｏｍｐｏｓｉｔｉｏｎ，ｒｕｎｎｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ，ｒｕｎｎｉｎｇ ｍｅｃｈａｎｉｓｍ，ｄｅｓｉｇｎ ｐｒｏｃｅｓｓ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ ｐｒｏｃｅｓｓ．Ｍａｉｎ ａｓｐｅｃｔｓ ｆｏｒ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ｔｅｓｔｉｎｇ ｉｎ ｄｅｓｉｇｎ，ｄｅｖｅｌｏｐｍｅｎｔ，ｒｕｎｎｉｎｇ ａｎｄ ｅｖｏｌｕｔｉｏｎ ｓｔｅｐｓ ａｒｅ ｓｕｍｍａｒｉｚｅｄ． Ｄｙｎａｍｉｃ ｔｅｓｔｉｎｇ ａｎｄ ｓｔａｔｉｃ ｔｅｓｔｉｎｇ ａｒｅ ｓｕｍｍａｒｉｚｅｄ ａｌｓｏ．Ｃｒｕｃｉａｌ ｒｅｓｅａｒｃｈｅｓ ｆｒｏｍ ｔｈｅｓｅ ａｓｐｅｃｔｓ ｓｕｃｈ ａｓ ｈｙｐｅｒｌｉｎｋ ｔｅｓｔｉｎｇ，ｂｌａｃｋ—ｂｏｘ ｔｅｓｔｉｎｇ ａｎｄ ｗｈｉｔｅ—ｂｏｘ ｔｅｓｔｉｎｇ ｆｏｒ ｃｏｍｐｏｎｅｎｔｓ，Ｗｅｂ ｓｅｒｖｉｃｅｓ ｔｅｓｔｉｎｇ，Ｗｅｂ ｓｅｒｖｉｃｅｓ ｃｏｍｐｏｓｉｔｉｏｎ ｔｅｓｔｉｎｇ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｉｎｇ ａｒｅ ｓｕｒｖｅｙｅｄ．Ｔｈｅｓｅ ｐｒｏｂｌｅｍｓ ｉｎｃｌｕｄｅ ｏｂｊｅｃｔ—ｏｒｉｅｎｔｅｄ ｍｏｄｅｌ ａｎｄ ｕｎｉｆｙ Ｍａｒｋｏｖ ｍｏｄｅｌ ｆｏｒ ｈｙｐｅｒｌｉｎｋ ｔｅｓｔｉｎｇ，ｄａｔａ ｆｌｏｗ ｔｅｓｔｉｎｇ ａｎｄ ｃｏｎｔｒｏｌ ｆｌｏｗ ｔｅｓｔｉｎｇ ｆｏｒ ｗｈｉｔｅ— ｂｏｘ ｔｅｓｔｉｎｇ，ｄａｔａ ｃｏｍｐｏｓｉｔｉｏｎ ｔｅｓｔｉｎｇ ｆｏｒ ｂｌａｃｋ—ｂｏｘ ｔｅｓｔｉｎｇ，ｔｅｓｔｉｎｇ ｆｏｒ Ｗｅｂ ｓｅｒｖｉｃｅｓ，Ｗｅｂ ｓｅｒｖｉｃｅｓ ｇｒｏｕｐ， ｐｒｏｔｏｃｏｌ，Ｗｅｂ ｓｅｒｖｉｃｅｓ ｃｏｍｐｏｓｉｔｉｏｎ，ｗｏｒｋｌｏａｄ ｍｏｄｅｌｉｎｇ ａｎｄ ａｐｐｒｏａｃｈｅｓ ｏｆ ｃｒｅａｔｉｎｇ ｅｆｆｅｃｔｉｖｅ ｕｓｅｒ ｓｅｓｓｉｏｎ ｄａｔａ ｓｅｔｓ ｆｏｒ ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｉｎｇ．Ｌｏｃａｌｉｚａｔｉｏｎｓ ｏｆ ｓｏｍｅ ｍｅｔｈｏｄｓ ａｒｅ ｐｏｉｎｔｅｄ ｏｕｔ．Ｆｒｏｍ ｍｏｄｅｌ—ｄｒｉｖｅｎ ｔｅｓｔｉｎｇ，ａｇｅｎｔ—ｂａｓｅｄ ｔｅｓｔｉｎｇ，Ｗｅｂ ｓｅｒｖｉｃｅｓ ｔｅｓｔｉｎｇ ａｎｄ ｔｅｓｔｉｎｇ ｆｏｒ ｓｅｒｖｉｃｅ—ｏｒｉｅｎｔｅｄ ａｒｃｈｉｔｅｃｔｕｒｅ，ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｉｎｇ，ｔｈｅ ｔｒｅｎｄｓ ｏｆ ｆｕｔｕｒｅ ｒｅｓｅａｒｃｈ ｆｏｒ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ｔｅｓｔｉｎｇ ａｒｅ ａｌｓｏ ｄｉｓｃｕｓｓｅｄ． Ｋｅｙ ｗｏｒｄｓ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｔｅｓｔｉｎｇ；ｈｙｐｅｒｌｉｎｋ ｔｅｓｔｉｎｇ；ｃｏｍｐｏｎｅｎｔｓ ｔｅｓｔｉｎｇ；Ｗｅｂ ｓｅｒｖｉｃｅｓ ａｎｄ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｃｏｍｐｏｓｉｔｉｏｎ ｔｅｓｔｉｎｇ；ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｉｎｇ； ｐｒｏｇｒｅｓｓ 摘要ｗｅｂ应用的特殊性使得其测试具有挑战性，但目前针对其测试的研究同其设计开发的研究相 比相对薄弱．从ｗｅｂ应用的体系结构、实现技术、组成成分、运行机制、运行环境、开发设计等方面分析 了影响测试的因素．归纳了现有ｗｅｂ应用设计阶段、开发阶段、运行阶段、维护阶段所涉及的主要测试 方面及使用的动态、静态测试技术．并从测试的几个关键方面，如链接测试、组件黑盒测试、组件白盒测 试、ＷＳ及ｗＳＣ测试及性能测试等方面综述当前研究热点难点，包括面向对象的建模、统计建模、控制 流测试、数据流测试、数据组合测试、ＷＳ测试、ＷＳ组测试、ｗＳＣ测试、协议测试、性能测试的负载模型 与用户会话数据集的优化等问题．指出了有关研究的局限性．从模型驱动测试、基于Ａｇｅｎｔ测试、ＷＳ及 ＳＯＡ测试、性能测试等方面探讨了ｗｅｂ应用测试未来的研究方向． 关键词Ｗｅｂ应用测试；超级链接测试；组件测试；ＷＳ及ＷＳＣ测试；性能测试；进展 中图法分类号ＴＰ３１１．５ 收稿日期：２００６ １２ ｌｌ；修回日期：２００７—０５—０８ 基金项目：国家自然科学基金项目（６０４７３０７８） 维普资讯 http://www.cqvip.com 汁算机研究与发展２００７，４４（８） 随着Ｉｎｔｅｒｎｅｔ的快速发展，减少Ｗｅｂ应用（软 件或系统）的缺陷，保证和提高Ｗｅｂ应用的质量已 成为软件测试研究的重要内容．Ｗｅｂ应用同传统软 １ Ｗｅｂ应用测试的主要方面及方法 １．１测试的主要方面 如图１所示，现有的ｗｅｂ应用测试贯穿于设 件或系统相比具有特殊性，这使得其测试更为困 难ｌ】 ｊ，这些特殊性主要体现在以下方面： １）从体系结构上看，它是一个多层架构，这种 体系结构在逻辑上可以划分为：表示层、业务逻辑 层、数据层，并且这些层次可能处于不同系统平台 计、开发、运行乃至维护的整个生存周期ｌ ７ｊ．在整个 生存周期的各个阶段，测试的方面有所不同．设计 阶段测试的主要任务是：估算服务器端容量的规划 之上． ２）从实现技术上看，它使用了各种编程技术， 如ＨＴＭＬ，ＸＭＬ，ＶＢＳｃｒｉｐｔ，ＪａｖａＳｃｒｉｐｔ，ｄａｔａｂａｓｅ， ＪＳＰ，ＰＨＰ，ＡＳＰ，ＣＧＩ等，导致系统实现复杂． ３）从组成成分上看，一个典型的Ｗｅｂ应用程 序通常是由一些典型的实体，如：ＨＴＭＬ文档，ＸＭＬ 文档，图片，ＪａｖａＳｃｒｉｐｔ，ＶＢＳｃｒｉｐｔ，ＡＳＰ，Ｆｏｒｍ，ＩＳＡＰＩ 程序，ＣＧＩ程序，ＪＳＰ，ｗｅｂ ｓｅｒｖｉｃｅｓ，ｄａｖａＢｅａｎｓ等构 成的，其组成成分繁多． ４）从运行机制看，具有分布式、并发、动态、实 时交互的特点．在Ｗｅｂ应用中，其典型的运行机制 是：用户代理提出请求，服务器响应并提交结果到客 户端，由用户代理解释执行．这些提交的结果可能 还包括一些客户端脚本如ＪａｖａＳｃｒｉｐｔ，ＶＢＳｃｒｉｐｔ等， 它们的解释执行还具有动态的特征． ５）从运行过程看，具有不确定性特征．由于 ＨＴＴＰ协议的无状态属性，每一个送到服务器端的 用户请求是独立的，相互之间没有联系，使得Ｗｅｂ 应用的运行过程取决于用户意图及行为，由于其用 户数量巨大，用户意图及行为的不一致性直接导致 其运行过程的不一致． ６）从运行环境看，Ｗｅｂ应用性能与环境及负载 有关，如客户端浏览器缓存的设置，网络带宽，服务 器端配置如内存容量大小、ＣＰＵ个数、ｉ／ｏ读写速度 及负载（负载类型与数量）等有关． ７）从设计开发的过程看，具有需求不明确，设 计开发时问短、变化快的特点． Ｗｅｂ应用的这些特殊性，使得其测试内容繁多 （见第１节图１所示）、技术复杂、极具挑战性 ７ Ｊ． 本文总结归纳了现有的ｗｅｂ应用测试主要方面 及主要使用技术；并从Ｗｅｂ应用的超级链接测试、组 件黑盒测试、组件白盒测试、ｗｓ（Ｗｅｂ ｓｅｒｖｉｃｅｓ，ｗｅｂ 服务）组件及ＷＳＣ（ｗｅｂ ｓｅｒｖｉｃｅｓ ｃｏｍｐｏｓｉｔｉｏｎ，ｗｅｂ 服务组合）测试、性能测试等关键方面综述了现有的 研究热点和难点，指出了有关方法的使用局限性；最 后探讨了未来可能的研究方向． 是否合理；系统的安全设计是否合理；数据库设计是 否合理；检查客户端设计的功能是否正确合理；检查 系统的网络拓扑结构、容量设计是否合理．开发阶 段测试的主要任务是：代码测试及组件测试，检查设 计的代码能否满足规格需求．运行阶段测试的主要 任务是：功能测试、性能测试、安全性测试、配置测 试、兼容性测试及易用性测试．维护阶段测试的主 要任务是：按照维护的内容实施开发及运行阶段中 的各个相关方面的测试．所有这些方面的测试实 施，对于保证Ｗｅｂ应用的质量及可靠性至关重要． Ｆｉｇ．１ Ｍａｉｎ ａｓｐｅｃｔｓ ｆｏｒ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ｔｅｓｔｉｎｇ． 囹１ Ｗｅｂ应用测试的主要方面 １．２测试的主要方法 如图２所示ｌ ，分为静态测试和动态测试．静 态测试指不运行程序，通过人工或工具对程序和文 档进行分析检查以发现程序中存在的错误．它包括 代码审查、代码走查、桌面分析、静态分析、技术评审 等．动态测试指通过人工或工具运行程序以发现程 序中存在的错误．它包括基于规约的测试（黑盒测 试）、基于程序的测试（白盒测试）及程序与规约相结 合测试（灰盒测试）．尽管Ｗｅｂ应用测试的主要技术 同传统的软件测试技术大致一样，但由于其特殊性， 维普资讯 http://www.cqvip.com 邓小鹏等：Ｗｅｂ应用测试技术进展 １２７５ 使得这些技术在实际应用时呈现新的特点．例如，对 于代码审查，由于Ｗｅｂ应用的多语言编程特征，使得 其实现更为困难．另外，对于ｗｅｂ应用的一些其他 级链接测试模型主要使用两种建模方法：１）使用面 向对象的方法建模［ ；２）使用统计的方法建模［５－６］． 分别讨论如下： １）面向对象的方法建模．Ｋｕｎｇ等人将面向对 象的软件开发思想引入到Ｗｅｂ应用测试建模之中， 提出了一个面向对象的Ｗｅｂ应用测试模型 １ Ｊ．他们 将Ｗｅｂ应用中的每一个页面及页面内的元素 （ｅｌｅｍｅｎｔｓ）、组件（ｃｏｍｐｏｎｅｎｔｓ）抽象描述为一个个对 的专．用测试方法，如性能基准测试ＳＰＥＣｗｅｂ９９， ＴＰＣ—Ｃ，ＴＰＣ—Ｗ方法，基于日志文件的统计分析方 法，面向对象的方法等，并未在图中表示出来． Ｗｅｂ Ａｐｐｌｉｃａｔｉｏｎ Ｔｅｓｔｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ①Ｃｏｄｅ Ｒｅｖｉｅｗ ②Ｃｏｄｅ Ｗａｌｋｔｈｒｏｕｇｈ ③Ｄｅｓｋ Ｃｈｅｃｋｉｎｇ④Ｓｔａｔｉｃ Ａｎａｌｙｓｉｓ ⑤Ｔｅｃｈｎｉｑｕｅｓ Ｅｖａｌｕａｔｉｏｎ Ｗｈｉｔｅ－ＢｏｘＴｅｓｔｉｎｇ －４－ —①Ｃｏｎｔｒｏｌ Ｆｌｏｗ Ｅｑｕｉｖａｌｅｎｃｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｅｓｔｉｎｇ —②Ｂｏｕｎｄａｒｙ Ｖａｌｕｅ Ａｎａｌｙｓｉｓ ②ＤａｔａＦｌｏｗＴｅｓｉｎｇ ⑨Ｃａｕｓｅ—Ｅｆｆｅｃｔ Ｇｒａｐｈｉｎｇ ④Ｍｕｔａｔｉｏｎ Ｔｅｓｔｉｎｇ （ Ｏｎｈｏｇｏｎａｌ Ｅｘｐｅｒｉｍｅｎｔａｌ 『ｌ （ Ｄｏｍａｉｎ Ｔｅｓｔｉｎｇ Ｄｅｓｉｇｎ ⑨Ｓｙｍｂｏｌ Ｔｅｓｔｉｎｇ ⑤Ｄｅｃｉｓｉｏｎ Ｔａｂｌｅ ⑨Ｚ Ｐａｔｈ Ｃｏｖｅｒａｇｅ ⑨Ｓｔａｔｅ Ｔｒａｎｓｉｔｉｏｎ Ｔｅｓｔｉｎｇ Ｔｅｓｔｉｎｇ ＷｏｒｋｆｌｏｗＴｅｓｔｉｎｇ ⑦ ⑧… Ｆｉｇ．２ Ｍａｉｎ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ｔｅｓｔｉｎｇ 图２ Ｗｅｂ应用测试的主要方法 ２ Ｗｅｂ应用测试研究的若干关键问题 ｗｅｂ应用测试研究包括链接功能测试、组件功 能测试、ＷＳ及ＷＳＣ功能测试、性能测试几个关键 问题． ２．１链接功能测试 链接功能是ｗｅｂ应用的一个主要特征，实现其 测试是Ｗｅｂ应用功能测试的一个重要内容．实现链 接功能的测试一方面需要建立一个合理有效的超级 链接测试模型；另一方面需要借助现有的链接功能 检查工具完成测试．目前已有可供使用的工 具ｌ９Ｊ ，但这些工具还不能实现超级链接测试的自 动建模，因此建立合理有效的超级链接测试模型成 为测试人员重点研究的内容．从本质上看，链接功 能体现了应用程序从一个状态到另一个状态的转 换，它涉及到３个基本的要素即初始状态、状态转换 条件、转换后的状态，而链接则正好与其中状态转换 条件对应．这表明，使用状态转换图来建立超级链 接测试模型是可行的．问题是，对于一个Ｗｅｂ应用 系统而言，通常其超级链接数量巨大，且状态转换条 件复杂，状态转换图能否清晰刻画一个ｗｅｂ应用系 统并实现模型的可测试性．从目前的研究来看，超 象，建立所有这些对象之间的关系，其对象关系图形 成ｗｅｂ应用测试模型，其中每一个页面对象与页面 对象之间的关系图形成ｗｅｂ应用超级链接测试模 型．Ｒｉｃｃａ和Ｔｏｎｅｌｌａ则在此基础上使用ＵＭＬ语言 描述Ｗｅｂ应用测试模型，其中的高级别导航模型可 以指导ｗｅｂ应用中超级链接测试，低级别的控制流 模型可以用于白盒测试［２－３］．这些面向对象的测试 模型清晰地给出了对象、对象之间、对象数据、对象 数据之间的关系，能够较好地指导超级链接测试． 但对于有着大规模链接数量的ｗｅｂ应用系统，则呈 现了一定的局限性，原因在于使用这种方法建立的 模型过于庞大，存在模型爆炸危机．对于一个复杂 的ｗｅｂ应用，其超级链接测试模型如何简化，仍是 一个需要解决的问题． ２）统计的方法建模．由于Ｗｅｂ应用在服务的 过程中会记录大量的日志文件，这使得利用日志文 件分析研究ｗｅｂ应用的链接情况成为可能．在此前 提下，Ｋａｌｌｅｐａｌｌｉ和Ｔｉａｎ提出了一个基于统计使用数 据信息建立统一的马尔可夫模型（ｕｎｉｆｉｅｄ Ｍａｒｋｏｖ ｍｏｄｅ１）方法ｌ５ Ｊ，用于ｗｅｂ应用测试、性能评估及可 靠性分析．其统计数据信息可以来自专家意见、民 意测验、实际使用信息等，但实际使用信息是最重要 的．他们构造模型的方法是：确定模型中组件（指 ｗｅｂ页）及模型结构；确定模型中的转移概率；模型 中组件及模型结构的确定依据设计需求文件、源代 码、标准等信息利用现有的一些工具可以实现（现有 一些工具可以直接利用ＨＴＭＬ文件提取ｗｅｂ应用 导航结构）；转移概率的确定则通过统计的方法分析 提取ｗｅｂ应用日志文件中的访问信息、故障信息来 确定；模型建立后，依据确定的测试覆盖率（在这里 测试覆盖率实际就是超级链接覆盖率）确定需要进 行测试的路径的转移概率门限值，然后确定测试用 例，这样就可以降低测试用例的数量．这种方法的 贡献之处在于使用Ｍａｒｋｏｖ链来刻画应用程序的状 态转换，一个Ｍａｒｋｏｖ链代表了一个Ｗｅｂ应用中的 某个实时交互过程，所有Ｍａｒｋｏｖ链的集合则构成 维普资讯 http://www.cqvip.com １２７６ 计算机研究与发展２００７，４４（８） 了各种实际使用模式的组合．通过这种方法，尽管 建立测试模型可能很庞大，但由于链路中的转移概 ２．２．１组件功能白盒测试 白盒测试又称为基于程序的测试或结构测试， 其使用控制流、数据流的测试方法，以实现不同要求 的覆盖率，如：语句覆盖率、分支覆盖率、条件覆盖 率、分支／条件覆盖率、条件组合覆盖率、函数覆盖 率、函数簇覆盖率、对象覆盖率、对象簇覆盖率 等［ 一 ． 率的确定来自于用户实际使用情况的统计，这就使 得测试人员可以依据转移概率的大小进行有针对性 的测试，在不可能对所有链接全部测试的情况下，则 按照“访问频率高的链接多测试，而访问频率低或不 访问的链接少测试或不测试”的原则进行．这在一 定程度上降低了测试人员的劳动强度，提高了测试 Ｌｉｕ等人将传统软件测试中的数据流测试思想 效率．这种方法的缺陷在于：①必须有足够的用户 使用信息；②准确性取决于Ｅｔ志文件收集信息的准 确性，而日志文件并不能记录全部的错误信息，例如 Ｗｅｂ页面中的错误；③模型结构中包含了一些循环 的回路；④状态扩张同样面临挑战，通常，一个ｗｅｂ 应用可能存在成百上千的页面，如果每个页面表示 一个状态，则可能会导致一个巨大的模型，无法实现 计算及分析．Ｗａｎｇ等人在文献［５］基础上，提出了 面向用户行为的ＵＭＭ方法¨６ ，以进一步实现上述 模型的简化．其简化模型的思想在于：在建模的范 围上，将建模的ｗｅｂ应用限制在一个企业内部完全 受控的ｗｅｂ应用之内，这样就可以将大量的用户访 问行为分为来自内部的访问与来自外部的访问（利 用访问日志中的提交信息以区分内部与外部访问）． 由于来自内部的访问大多具有动态交互的行为，因 此在模型化用户行为方面则只使用这种动态交互行 为来建模；另外，再通过对日志文件的访问信息的统 计，确定最大数量的独立路径，排除小概率的用户重 复导航链接．通过以上两点措施，可以使链接测试 模型大为简化．文献［６］方法贡献之处在于其对 ＵＭＭ模型的简化，这对于降低测试强度，提高效率 颇为有效，但其缺陷仍然局限于文献［５］所存在问题 的①②方面． 建立超级链接测试模型对于Ｗｅｂ应用的链接 测试至关重要，它可以指导设计乃至直接生成超级 链接测试用例．但由于其模型的简化不仅依赖设计 规格，而且与经验使用数据有关，而经验使用数据的 有无和选择均具有主观性，再加上可能缺乏准确性， 使得这一工作具有复杂性． ２．２组件功能测试 组件是ｗｅｂ应用系统中的一个重要组成部分， 本文将ＨＴＭＬ文档中的表单（ｆｏｒｍｓ），ＪａｖａＳｃｒｉｐｔ脚 本，ＶＢＳｃｒｉｐｔ脚本，ＡＳＰ，ＪＳＰ，ＰＨＰ等服务器端脚 本，ＩＳＡＰＩ程序，ＣＧＩ程序，ＷＳ及ＪａｖａＢｅａｎｓ等均称 为组件．对它们目前采取两种测试技术：静态测试 和动态测试．本文只讨论动态测试． 应用到ｗｅｂ应用测试中来，提出了面向对象的ｗｅｂ 应用测试方法ｌ４ Ｊ．其做法是：将ＨＴＭＬ文档中的客 户页、服务器页等组件抽象为对象，形成一个对象关 系图ＯＲＤ（ｏｂｊｅｃｔ—ｒｅｌａｔｉｏｎ—ｄｉａｇｒａｍ），在此基础上，将 每一个页面中的组件作为对象，将其中的元素作为 结构变量，按照结构变量的用途不同，定义了５种类 型的结构链，从而导出５个级别的数据流图用于不 同层次的结构测试．这５个层次是：函数级（ｆｕｎｃｔｉｏｎ ｌｅｖｅ１）、函数簇级（ｆｕｎｃｔｉｏｎ ｃｌｕｓｔｅｒ ｌｅｖｅ１），对象级 （ｏｂｊｅｃｔ ｌｅｖｅ１）、对象簇级（ｏｂｊｅｃｔ ｃｌｕｓｔｅｒ ｌｅｖｅ１）以及应 用级（ａｐｐｌｉｃａｔｉｏｎ ｌｅｖｅ１）．利用这５个层次的数据流 图，依次构造相应层次的结构测试用例．这几个层 次依次覆盖了一个对象的函数内部、相关函数之问、 对象内部所有函数之间、对象之间和一个应用的所 有对象问的结构．文献［２］的低级别控制流、数据流 测试模型也实现了这儿个层次的结构覆盖测试． 由于在结构测试中仍存在一些有待解决的问 题，例如，面向路径的测试数据自动生成问题，符号 测试中的分支问题、二义性问题、大程序问题等，这 些问题的存在对于当前情况下提高ｗｅｂ应用测试 效率和质量无疑是一个障碍． ２．２．２组件功能黑盒测试 黑盒测试又称为基于规约的测试．由于不能得 到Ｗｅｂ应用系统中测试组件的代码，为了实现对组 件的功能测试，所以在设计测试用例时必须依据组 件的设计规约，设计测试用例中的输人信息，测试组 件能否按照规约输出相应信息或按照规约执行相应 的事务或状态转移．基于规约的测试在设计测试用 例中的使用数据时采用等价类划分、边界值分析、因 果图、判定表、正交实验设计等方法，在设计测试用 例的流程时采用状态测试或事务流测试． 使用黑盒测试的关键问题是设计具有测试充分 性的测试用例数据集．Ｗｅｙｕｋｅｒ曾经提出了１１条 基于程序的测试数据集充分性公理＿１ ．其不可分解 性公理认为一个程序经过充分的测试，并不表示其 中的成分都得到了充分的测试；其非复合性公理认 维普资讯 http://www.cqvip.com 邓小鹏等：Ｗｅｂ应用测试技术进展 １２７７ 为一个测试数据集对于程序中的各程序单元而言是 充分的，并不表示它对整个程序是充分的．对于 Ｗｅｂ应用系统中的组件而言，其可能是原子组件， ＷＳ可以认为是基于网络的、分布式、模块化的 组件，它执行特定的任务，遵守具体的技术规范，可以 与其他兼容的组件进行互操作．它使用ｗｅｂ服务描 述语言（Ｗｅｂ ｓｅｒｖｉｃｅｓ ｄｅｓｃｒｉｐｔｉｏｎ ｌａｎｇｕａｇｅ，ＷＳＤＬ）、统 一也可能是复合组件（原子组件指不再包含其他组件 的组件，如表单；而复合组件则是多个组件组合后的 组件，如一个Ｗｅｂ页面）．这表明，对复合组件测试 充分的数据集，未必就是它所包含的原子组件测试 描述发现和集成（ｕｎｉｖｅｒｓａｌ ｄｅｓｃｒｉｐｔｉｏｎ，ｄｉｓｃｏｖｅｒｙ ａｎｄ ｉｎｔｅｇｒａｔｉｏｎ，ＵＤＤＩ）和简单对象访问协议（ｓｉｍｐｌｅ ｏｂｊｅｃｔ ａｃｃｅｓｓ ｐｒｏｔｏｃｏｌ，ＳＯＡＰ）标准协议［ ］，实现其 充分的数据集，反之亦然． 通常情况下，组件黑盒测试是对组件接口参数 采用边界值分析、等价类划分等方法选取一些典型 数据，然后对这些数据组合从而产生测试数据集，不 过这些方法存在主观性ｎ 。 ．文献［１５—１６］等则针 对这种方法存在的缺陷，提出了一种基于组合设计 的测试数据启发式生成方法，所产生的测试数据可 以根据测试要求实现对组件参数的两两组合覆盖或 者多个参数的组合覆盖．文献［１７］在上述研究的基 础上提出了一种基于对接口参数进行组合覆盖的黑 箱测试用例自动生成算法模型，据此可以生成一个 对所有接口参数进行两两组合覆盖的测试用例表， 以实现测试用例的优化．文献［１７］同文献［１５—１６］的 改进之处在于，它实现了测试用例的优化．这些方 法都不同程度地优化了测试用例，在一定程度上降 低了测试强度，但它们产生的测试数据集的充分性 仍有待进一步的实验检验与评估． 尽管组合参数覆盖方法是针对传统软件测试提 出的，但对ｗｅｂ应用组件测试同样适用．例如，对于 一个动态的服务器端脚本（假定脚本名为Ｓｅａｒｃｈ． ｐｈｐ），如把它作为一个组件，其输入数据可来自客户 页中的表单组件提交的数据，若这个表单组件有多 个数据属性，不同的数据输入组合的提交可以得到 Ｓｅａｒｃｈ．ｐｈｐ的不同响应输出．要测试这样的组件 （Ｓｅａｒｃｈ．ｐｈｐ脚本），就面临着测试数据的组合覆盖 问题，如何自动产生具有测试充分性的测试数据集， 降低测试强度，就成为一个需要研究的问题．另外，一 个Ｗｅｂ应用软件可以由多个组件组合而成，例如面 向服务的架构Ｓ０Ａ（ｓｅｒｖｉｃｅ—ｏｒｉｅｎｔｅｄ ａｒｃｈｉｔｅｃｔｕｒｅ）， 其由多个服务组件组合而成，对其中每一个组件的 测试均包含了多个输入参数的组合覆盖问题．由此 可见，参数组合覆盖测试同样存在于Ｗｅｂ应用测试 之中． ２．３ ＷＳ组件及ＷＳＣ应用功能黑盒测试 ＷＳ的出现越来越受到人们的关注，对它及其 组合而成的Ｗｅｂ应用软件系统测试正成为当前 Ｗｅｂ应用测试领域研究的一个热点Ｉ ． 互操作的描述、发布以及调用．ＷＳ分为两种：不组 合其他ＷＳ的原子ＷＳ及组合其他多个ＷＳ的复合 ＷＳ（本文中约定：ＷＳ指原子ＷＳ）．图３ｌ３０ｊ描述了 ＷＳ应用体系结构（面向ＷＳ的体系结构）： Ｆｉｇ．３ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ＷＳ ａｐｐｌｉｃａｔｉｏｎｓ 图３ ＷＳ应用体系结构 从图３中可以看出，一个ＷＳ应用由若干ＷＳ 组合而成，ＷＳ为ＷＳ应用的基本组成实体．服务提 供者（ｓｅｒｖｉｃｅ ｐｒｏｖｉｄｅｒ）通过服务经纪商（ｓｅｒｖｉｃｅ ｂｒｏｋｅｒ）注册、发布其开发的ＷＳ，并对服务请求进行 响应，其ＷＳＤＬ文档描述了ＷＳ的服务规格；服务 经纪商，也称服务注册中心，负责所有ＷＳ的注册管 理等工作；服务使用者（ｓｅｒｖｉｃｅ ｕｓｅｒ）通过注册中心 查找所需的ＷＳ，使用ＳＯＡＰ协议，从服务提供者处 调用所需的ＷＳ． 目前，ＷＳ及ＷＳＣ测试研究尚处于起步阶段， 主要开展了以下几个方面的研究：①ＷＳ测试；② ＷＳ组（ＷＳ ｇｒｏｕｐ）测试；③ＷＳＣ测试；④协议验证 测试． ２．３．１ ＷＳ黑盒测试 ＷＳ测试属于黑盒测试，其规格描述基于 ＷＳＤＬ文档，一个标准的ＷＳＤＬ文档包含如下信 息：输入输出变量的个数及类型；给定输入的顺序， 输出被返回以及ＷＳ如何被调用．因此对其测试也 称为基于规约的或基于ＷＳＤＬ的测试．目前的测试 研究均围绕ＷＳＤＬ文档展开，文献［２４—２６］开展了 一些有代表性的初步研究工作．文献［２４］对一个标 准的ＷＳＤＬ文档的４个方面进行了扩展，以提高单 个ＷＳ的易测试性．文献［２５］使用变异技术实现单 个ＷＳ测试，其针对ＷＳＤＬ文档中的３种元素：类 维普资讯 http://www.cqvip.com １２７８ 计算机研究与发展２００７，４４（８） 型（ｔｙｐｅｓ）、消息（ｍｅｓｓａｇｅ）及端口类型（ｐｏｒｔ ｔｙｐｅ）， 定义了９种变异操作，利用变异后的ＷＳＤＬ文档， 等，目前的研究还很少看到． ２．３．４协议验证 实现对ＷＳ所定义的接口测试，同时可以发现部分 ＷＳ逻辑错误．文献［２６］依据ＷＳＤＬ文档的定义， 在协议验证方面，目前的研究还较少，Ｌｏｏｋｅｒ 等人进行了初步的研究，他们采用错误植入技术验 证ＳＯＡＰ协议的可信性ｌ３ ． ２．４性能测试 随机生成ＷＳ测试数据，然后使用合约变异技术实 现测试数据的选择，生成一组达到一定变异充分度 的有效测试数据，可以提高ｗｓ的测试质量和效率． 以上这些研究覆盖了３个方面的内容：１）完善 Ｗｅｂ应用的性能被认为是用户通过用户代理 提出用户请求到请求得到服务器响应之间的时 ＷＳＤＬ文档以便于测试；２）发现ＷＳＤＬ文档中的错 误；３）利用ＷＳＤＬ文档产生测试所需的数据．其中 完善ＷＳＤＬ文档以便于测试是所有测试的关键所 在．由于目前的ＷＳＤＬ文档还不能完全保证测试的 充分性，因此在这方面的研究还需进一步的展开． 对于复合ＷＳ，情形同样如此． ２．３．２ ＷＳ组测试 ＷＳ组，就是所有等价（实现相同或相近功能） ＷＳ的一个集合．ＷＳ组测试（ＷＳ ｇｒｏｕｐ ｔｅｓｔｉｎｇ）指， 通过测试从ＷＳ组中挑选出满足需要的ＷＳ．Ｔｓａｉ 等人在这方面做出了有代表性的研究．他们提出 ＷＳＧＴ思想：测试分为训练阶段及测试阶段：训练 阶段使用测试用例对训练样本（待测试ＷＳ组中的 一个子集）的测试，通过多数表决机制，生成每一个 测试用例的测试预言，实现训练样本的排序（按照其 优选度）、确定测试用例可信级别、对测试用例排序 （按照其故障检测能力）；测试阶段通过对剩余样本 的依次测试，不断更新测试预言、测试样本的排序、 测试用例可信级别、测试用例排序等结果ｌ３卜 ．他 们还进一步提出将ＷＳＧＴ方法扩展到ＷＳ组合测 试上ｌ３ ．这些方法的提出对ＷＳ组测试产生较大的 影响． ２．３．３ ＷＳＣ测试 ＷＳＣ测试，目前还处于起步阶段．ＷＳＣ分为两 种组合：１）基于工作流的组合；２）基于语义的组合． 其有代表性的研究为文献［３４—３５］．文献［３４］使用 ｗＳＦＬ（ｗｅｂ ｓｅｒｖｉｃｅｓ ｆｌｏｗ ｌａｎｇｕａｇｅ） 语言描述ＷＳ 的工作流，并使用ＳＰＩＮ模型检测器实现对ＷＳ工 作流的验证．而文献［３５］讨论了使用ＢＰＥＬ４ＷＳ （ｂｕｓｉｎｅｓｓ ｐｒｏｃｅｓｓ ｅｘｅｃｕｔｉｏｎ ｌａｎｇｕａｇｅ ｆｏｒ Ｗｅｂ ｓｅｒｖｉｃｅｓ）［３７ 描述ＷＳ的工作流的验证方法，它使用 有限状态机ＦＳＰ（ｆｉｎｉｔｅ ｓｔａｔｅ ｐｒｏｃｅｓｓ）描述ＷＳ的工 作流，并将ＢＰＥＩ ４ＷＳ规格转换为ＦＳＰ规格，从而 实现ＷＳ组合工作流的验证．目前，对于ＷＳ组合验 证还仅局限在功能规格方面的验证，对于其他属性 的测试，如ＷＳ组合中输入输出数据自动生成、验证 间［３９］． 由于ｗｅｂ应用是一个多层的架构，因此其性能 受到以下几个因素的影响：１）客户端配置（如浏览器 缓存大小配置）；２）服务器端配置（如ＲＡＭ，ＣＰＵ个 数、磁盘读写速度）；３）网络通信容量；４）工作负载的 类型及数量（如读取ｗｅｂ服务器上的不同类型的文 件或实现服务器上数据库中的数据读写操作）．针 对以上几个因素的影响，人们分别开展了以下两个 方面的研究．１）系统运行平台性能测试（实际对应 于前３个方面影响的研究）；２）ｗｅｂ应用运行性能 测试（对应于第４方面影响的研究）． 在进行Ｗｅｂ应用性能测试时，以下方面成为影 响性能测试的瓶颈ｌ４ｍ ：①真实环境与测试环境差 异较大．ｗｅｂ应用的性能与运行环境有关，不同的 环境配置可能导致不同的测试结果，而测试往往在 一个局域网内或一个企业的Ｉｎｔｒａｎｅｔ内模拟进行， 这与真实的环境差异较大．②负载的不确定性。由 于网络上并发的用户访问数随时发生着变化，同时 每一个用户的行为又各不相同，例如表单（ｆｏｒｍ）提 交行为、页面切换行为等的不同，直接导致负载种类 及数量的不同．③模拟真实环境困难．模拟真实环 境包括设备、配置、分布等模拟，实现起来难度很大． ④模拟真实用户行为困难．模拟用户行为主要体现 在模拟用户的数量及行为，而这两方面均有主观性、 随机性及不充分性． 为了实现系统运行平台性能测试，人们借助于 支撑平台上执行某种标准的应用来测试评价支撑平 台的性能指标．目前几种主要的Ｗｅｂ应用基准测试 可以用于这方面的测试研究．如ＳＰＥＣｗｅｂ９９Ｍ ， ＴＰＣ—ｗｌ ，ＴＰＣ—ＣＩ ，ＳＰＥＣＭａｉｌ２０００等标准应用 Ｂｅｎｃｈｍａｒｋ基准测试．此外，许多厂商还定制了运行 本公司软件产品的基准测试指标，这些测试指标对 于考察各种计算机系统的性能指标，从而选择决策 可提供重要的依据，如Ｏｒａｃｌｅ，Ｉｎｆｏｒｍｉｘ，Ｓｙｂａｓｅ和 ＩＢＭ ＤＢ２等的基准测试指标．文献［４３］使用 ＳＰＥＣｗｅｂ９９基准测试对一个实验的支撑平台进行 维普资讯 http://www.cqvip.com 邓小鹏等：Ｗｅｂ应用测试技术进展 了性能测试，实验支撑平台由一个服务器、６个客户 机及相关网络设备组成的局域网组成．其进行了６ 个有关的实验，其中２个是针对服务器端的，４个是 针对客户端的．服务器端实验研究了在服务器端配 置不同的ＲＡＭ及ＣＰＵ数量下，响应时间、吞吐量、 连接速度与并发用户连接数之间的关系；客户端实 验研究了确认的负载连接数与许可的传输速度之间 的关系、客户端内存的大小与响应时间之间的关系、 客户端数量与响应时间之间的关系、工作负载的类 型（静态负载及动态负载）与吞吐量之间的关系、响 应时间与工作负载之间的关系．文献［４４］则使用 ＳＰＥＣＷｅｂ９９，ＴＰＣ—Ｃ，ＴＰＣ—Ｗ三个基准测试对一个 模拟的试验支撑平台进行了测试，使用不同的测试 基准组合，从不同角度测试支撑平台的性能方面，从 而实现对支撑平台的配置优化．文献［４５—４８］等均进 行了类似方面的研究． 使用这些基准测试指标可以对支撑平台的性能 做一个大致评估，可以发现系统中的不合理配置，找 到系统的性能瓶颈，这对于优化支撑平台的配置起 着十分重要的作用．但在选择测试基准时必须考虑 以下因素：①实际应用软件系统支撑平台与选择的 测试基准支撑平台大致相符；②单个的测试基准可 能只能发现部分的性能缺陷，多个测试基准的组合 才可以发现更多的性能缺陷．由于产生基准测试指 标的支撑平台不可能同待测的支撑平台完全一致． 因此尽管使用了基准测试，人们仍不能对待测的支 撑平台得到一个绝对准确的性能评价，而只能形成 一个大致的性能评价． 为了实现Ｗｅｂ应用运行性能的测试，Ｗｅｂ应用 负载的研究成为关键问题．有关的研究表明：Ｗｅｂ 应用性能测试的好坏取决于Ｗｅｂ应用的负载被准 确理解并真实模拟的程度＿４ ．目前，这方面研究重 点集中在如何真实地刻画Ｗｅｂ应用软件系统的负 载特性，从而形成合理的测试负载模型． 早期的刻画负载特性方法是通过一些技术指标 如每秒点击数（Ｏｎｈｉｔｓ／ｓ）、每秒访问页面数（ｐａｇｅ ｖｉｅｗｓ／ｓ）或每秒访问数（ｖｉｓｉｔｓ／ｓ）等来刻画，这样做并 不能准确地刻画真实的负载特性，原因是：①不同类 型用户在单位时间内点击数不一样，如熟练的用户 及陌生用户，体现在思考时间不一样；②用户访问不 同的页面或表单的提交等行为可能导致不同的通信 数据流量，这必然导致每秒访问页面数的变化；③网 络上并发用户数随时间的变化呈现出一定的规律， 不同的并发访问数可能导致不同的每秒点击数或每 １２７９ 秒访问页面数的变化．这些原因表明：仅仅使用每 秒点击数及每秒访问页面数这两个指标并不能准确 地刻画实际的负载特性． 目前的负载特性刻画方法主要采用模拟用户行 为的方法［ ．模拟用户行为的方法分为３种方 法：①基于捕捉用户行为的方法（ｃａｐｔｕｒｅ—ｂａｓｅｄ ｕｓｅｒ ｂｅｈａｖｉｏｒ ａｐｐｒｏａｃｈ）．这种方法通过记录用户实际操 作行为，并对这些行为中的实际数据进行一系列的 修改，并以此作为负载的设计依据，设计实际使用的 测试负载，使得测试的负载更符合真实情况，如利用 工具ＬｏａｄＲｕｎｎｅｒ，ＯｐｅｎＳｔａ，ｈｔｔｐｅｒｆ，ＷｅｂＡｐｐＬｏａｄｅｒ， Ｓ—Ｃｌｉｅｎｔ及Ｇｅｉｓｔ等进行的性能测试均为这种方法． ②基于文件系列的方法（ｆｉｌｅ－ｌｉｓｔ—ｂａｓｅｄ ａｐｐｒｏａｃｈ）．使用 这种方法的测试工具提供了一系列的Ｗｅｂ文件对象 以及它们的访问频率数，在测试负载产生时，按照访 问频率数的大小，依次选择测试文件系列作为测试工 作负载，如ＳｐｅｃＷｅｂ９９，ＷｅｂＳｔｏｎｅ，Ｗｅｂｂｅｎｃｈ，ＴＰＣ－Ｗ 等．③基于数学分布模型的方法．使用这种方法的 测试工具，负载模型的产生依据某种数学分布模型， 如Ｓｕｒｇｅ．上述３种方法产生的负载模型存在以下 缺点：①主观性；②随机性；③不充分性，主要表现为 在数据量小或没有数据的情况下不能给出有效的负 载模拟． 为了更好地刻画负载特性，以形成更合理的负 载模型，文献［５３—５６］研究了基于统计分析Ｗｅｂ应 用服务器的日志文件以得到负载模型的方法，这种 方法称为用户行为模型图的方法（ｃｕｓｔｏｍｅｒ ｂｅｈａｖｉｏｒ ｍｏｄｅｌ ｇｒａｐｈ ａｐｐｒｏａｃｈ，ＣＢＭＧＡ）．在这种方法中，以 用户会话（ｕｓｅｒ ｓｅｓｓｉｏｎ）模式作为负载特性刻画的主 要手段，一个会话模式主要由３个特征分量组成：会 话长度（以页面数度量）、会话持续时间（以分钟和 秒度量）、会话期间访问的页面类型等．其根本任务 就是会话的特征提取、分类及利用分类后的会话统 计、合成形成合理的负载模型等．这种方法的局限 性在于必须有充分日志数据．在已有充分的日志数 据情况下，文献［５７］研究了如何对用户会话数据集 精简，以降低测试代价的问题．而在没有充分的日 志数据情况下，文献［５８］研究了在经验数据不足的 前提下如何实现有效的负载模型的策略，但这些策 略（采用多种方法收集、产生经验数据）对于测试者 而言仍具有较大的主观性及难以操作．由于精确刻 画负载模型的复杂性，这方面的研究仍将是一个困 难的课题 ． 维普资讯 http://www.cqvip.com
１２８０ 计算机研究与发展２００７，４４（８） 试，面向服务体系结构的发布、查找和绑定能力的测 ３ Ｗｅｂ应用测试的发展趋势 ｗｅｂ应用测试研究主要表现出以下发展趋势： １）Ｗｅｂ应用的模型驱动测试技术ＭＤＴ（ｍｏｄｅｌ— ｄｒｉｖｅｎ ｔｅｓｔｉｎｇ）．近几年来，随着ＭＤＡ（ｍｏｄｅｌ—ｄｒｉｖｅｎ 试，ＷＳ的集成能力测试，ＷＳ的服务质量测试，ＷＳ 的性能与负载测试以及ＷＳ的安全性测试等，并指 出这些问题能否解决将成为ＷＳ应用成功与否的 关键． ３）基于Ａｇｅｎｔ的测试技术．在最近的几年里， ａｒｃｈｉｔｅｃｔｕｒｅ）软件开发技术的应用，ＭＤＴ技术随之 产生，并可能成为实现Ｗｅｂ应用测试自动化、提高 面向Ａｇｅｎｔ的软件工程技术正作为一个新的学科出 现ｌ６ ．基于Ａｇｅｎｔ的测试技术也同样受到了人们的 测试效率的最有前途的技术．ＯＭＧ（ｏｂｊｅｃｔ ｍａｎａｇｅｍｅｎｔ ｇｒｏｕｐ）组织推荐使用这一技术 ． ＭＤＴ的一个重要思想就是使测试人员重点关注测 试设计，而不是测试实现，其核心在于模型设计．基 于ＭＤＴ的系统一般由测试用例模型、测试行为模 型（包括测试配置模型、测试控制模型）、测试结果分 析及生成模型、测试执行引擎等组成ｌ５ ．ＭＤＴ模 型的描述可以使用Ｕ２ＴＰ（ＵＭＬ ２．０ ｔｅｓｔｉｎｇ ｐｒｏｆｉｌｅ） 建模语言，ＯＭＧ建议使用这一语言．Ｕ２ＴＰ是基于 ＵＭＬ２．０（ｕｎｉｆｉｅｄ ｍｏｄｅｌｉｎｇ ｌａｎｇｕａｇｅ）的测试建模语 言，可以用于Ｗｅｂ应用各个级别（单元测试、集成测 试及系统测试）的测试建模．在理想情况下，利用 ＭＤＴ测试技术，测试人员只需依据需求建立测试模 型，一旦模型测试建立完成，所有的工作测试将由测 试工具自动完成，由于其高效性，这一技术正成为 当前软件工程学术界研究的一个重要方向 ５ ．现在 已有部分可供使用的工具包，如Ｅｃｌｉｐｓｅ的ＴＰＴＰ （ｅｃｌｉｐｓｅ ｔｅｓｔ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｔｏｏｌｓ ｐｌａｔｆｏｒｍ），ＩＢＭ 开发的ＭＤＴ包等． ２）ＷＳ及ＳＯＡ软件测试技术．ＷＳ的出现越来 越受到人们的关注，ＳＯＡ软件的开发已经成为软件 开发的一种新途径，对其测试正成为当前Ｗｅｂ应用 测试领域研究的一个重要方向． 对于ＷＳ及ＳＯＡ测试，目前的研究主要体现在 以下几个方面：①ＷＳ测试［２４ ２６ ；②ＷＳ组（ＷＳ ｇｒｏｕｐ）测试［。 ０ ；③ＷＳＣ测试［。 ；④协议验证测 试Ｉ３ ．其核心是ＷＳＣ测试．由于ＷＳＣ是动态构 建，即ＷＳ及ＷＳＣ的发布、发现与绑定是动态的，这 就使得ｗＳＣ测试中所包含的ＷＳ测试、ＷＳ组（ＷＳ ｇｒｏｕｐ）测试必须是动态进行的，ＷＳＣ的测试也必须 是动态的，传统的需要大量人工干预的测试方法已 不再适用，这也增加了测试的困难．目前，ＷＳＣ测试 还只停留在静态测试或模拟验证阶段，缺乏实时的 动态测试手段．因此并不能完全保证测试是可信 的［ ．文献［６０］给出了目前ＷＳ应用测试急需解决 的诸多问题，如ＷＳ的基本功能测试，ＷＳ协议的测 重视．文献［６１—６３］等开展了这方面的研究工作，提 出了基于Ａｇｅｎｔ的测试框架．基于Ａｇｅｎｔ的测试技 术把Ｗｅｂ应用中的测试任务进行分解，利用不同的 测试代理实现测试的分工协作，它不仅可用于功能 测试ｌ６ ，还能用于性能测试【６３ Ｊ．由于测试代理的 高度自治及代理间的分工协作，使得测试的自动化 程度较高．因此，基于Ａｇｅｎｔ的测试工具无疑可以 降低测试成本，提高测试效率．但由于目前在面向 Ａｇｅｎｔ的软件工程领域中，面向工程实践的形式化 规约、验证和模型检验等方面的研究不多且缺乏实 用性ｌ６ ，因此，可以预见，开展基于Ａｇｅｎｔ的Ｗｅｂ 应用测试研究仍将深入进行． ４）性能测试负载模型的有效刻画．Ｗｅｂ应用的 性能测试对于ｗｅｂ应用的成功与否至关重要，而性 能测试的核心问题是负载模型的刻画问题．由于 Ｗｅｂ应用性能测试的好坏取决于Ｗｅｂ应用的负载 被准确理解并真实模拟的程度，而Ｗｅｂ应用类型是 多种多样的，这将导致其性能测试负载的多样性． 一方面，对于不同类型的Ｗｅｂ应用，其负载可能不 同；另一方面，对于同一类型的Ｗｅｂ应用，其负载也 有可能不同．这就要求测试人员必须针对不同的应 用，设计不同的负载模型，目前还不存在一个普遍适 用的负载模型．对于某一应用而言，负载模型精确 刻画主要依赖于本应用的用户会话数据集，而用户 会话数据集可能存在过大、过小或没有等情况 针对 这几种情况，必须采取相应的算法和策略对用户会 话数据集进行适当的精简或添加，从而产生合理的 用户会话数据集［５７－５８］；同时还必须考虑其应用系统 未来的扩张等情况，只有这样才可能设计合理、有效 的负载模型，实现应用系统性能的有效测试． ４ 结束语 Ｗｅｂ应用的特殊性使得其功能、性能测试具有 挑战性．从目前的现状来看，研究主要集中在链接 测试、组件黑盒测试、组件白盒测试、ＷＳ及ＷＳＣ应 维普资讯 http://www.cqvip.com 邓小鹏等：Ｗｅｂ应用测试技术进展 用测试、性能测试等方面．其中有许多问题有待进 一步研究，如对ＷＳＣ测试存在的诸多问题 ，性能 测试时负载模型精确刻画等，对这些问题的充分研 究及解决必将有助于Ｗｅｂ应用测试技术的进一步 发展． 参 考 文 献 ［１］ Ｄ Ｃ Ｋｕｎｇ，Ｃ Ｈ Ｌｉｕ，Ｐ Ｈｓｉａ．Ａｎ ｏｂｊｅｃｔ—ｏｒｉｅｎｔｅｄ Ｗｅｂ ｔｅｓｔ ｍｏｄｅｌ ｆｏｒ ｔｅｓｔｉｎｇ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］．ＩＥＥＥ ２４ｔｈ Ａｎｎｕａｌ Ｉｎｔ’ｌ Ｃｏｍｐｕｔｅｒ Ｓｏｆｔｗａｒｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆ（ＣＯＭＰＳＡＣ’ ００），Ｔａｉｐｅｉ，２０００ ［２］ Ｆ Ｒｉｃｃａ，Ｐ Ｔｏｎｅｌｌａ．Ａｎａｌｙｓｉｓ ａｎｄ ｔｅｓｔｉｎｇ ｏｆ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ２００１ Ｉｎｔ’ｌ Ｃｏｎｆ ｏｎ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ （ＩＣＳ’０１）．Ｌｏｓ Ａｌａｍｉｔｏｓ ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ２００１．２５－３４ ［３］ Ｐ Ｔｏｎｅｌｌａ，Ｆ Ｒｉｃｃａ．Ａ ２－ｌａｙｅｒ ｍｏｄｅｌ ｆｏｒ ｔｈｅ ｗｈｉｔｅ—ｂｏｘ ｔｅｓｔｉｎｇ ｏｆ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］．Ｔｈｅ ２００４ Ｉｎｔ’ｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｗｅｂ Ｓｉｔｅ Ｅｖｏｌｕｔｉｏｎ（ＷＳＥ’０４），Ｃｈｉｃａｇｏ，Ｉｌｌｉｎｏｉｓ，２００４ ［４］ Ｌｉｕ ＣｈｉｅｎＨｕｎｇ，Ｄ Ｃ Ｋｕｎｇ，Ｐｅｉ Ｈｓｉａ，ｅｌ ａ１．Ｓｔｒｕｃｔｕｒａｌ ｔｅｓｔｉｎｇ ｏｆ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］．Ｔｈｅ １ｌｔｈ Ｉｎｔ’ｌ Ｓｙｍｐ ｏｎ Ｓｏｆｔｗａｒｅ Ｒｅｌｉａｂｉｌｉｔｙ Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＳＳＲＥ’Ｏ０），Ｓａｎ Ｊｏｓｅ，２０００ ［５］ Ｃ Ｋａｌｌｅｐａｌｌｉ，Ｊ Ｔｉａｎ．Ｍｅａｓｕｒｉｎｇ ａｎｄ ｍｏｄｅｌｉｎｇ ｕｓａｇｅ ａｎｄ ｒｅｌｉａｂｉｌｉｔｙ ｆｏｒ ｓｔａｔｉｓｔｉｃａｌ Ｗｅｂ ｔｅｓｔｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ ｏＳｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｇｎ，２００１，２７（１１）：１０２３—１０３６ ［６］ ＷｅｎＬｉ Ｗａｎｇ，ＭｅｉＨｕｅｉ Ｔａｎｇ．Ｕｓｅｒ－ｏｒｉｅｎｔｅｄ ｒｅｌｉａｂｉｌｉｔｙ ｍｏｄｅｌｉｎｇ ｆｏｒ ａ Ｗｅｂ ｓｙｓｔｅｍ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ １４ｔｈ Ｉｎｔ’ｌ Ｓｙｍｐ ｏｎ ｏＳｆｔｗａｒｅ Ｒｅｌｉａｂｉｌｉｔｙ Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＳＳＲＥ’２００３）．Ｌｏｓ Ａｌａｍｉｔｏｓ ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００３．２９３—３０４ ［７］ Ｌｉｕ Ｃｈｕｎｌｕ，ｅｌ ａ１．Ｔｈｅ Ｃｏｕｒｓｅ ｏｆ Ｓｏｆｔｗａｒｅ Ｔｅｓｔｉｎｇ ａｎｄ Ｅｖａｌｕａｔｉｎｇ ｔｏ Ｅｎｇｉｎｅｅｒｓ［Ｍ］．Ｂｅｉｊｉｎｇ：Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，２００５（ｉｎ Ｃｈｉｎｅｓｅ） （柳纯录，等．软件测评师教程［Ｍ］．北京：清华大学出版社， ２００５） 【８］ Ｓｈａｎ Ｊｉｎｈｕｉ，Ｊｉａｎｇ Ｙｉｎｇ，Ｓｕｎ Ｐｉｎｇ．Ｐｒｏｇｒｅｓｓ ｉｎ，ｓｏｆｔｗａｒｅ ｔｅｓｔｉｇｎ ｒｅｓｅａｒｃｈ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｐｅｋｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅｓ）， ２００５，４１（１３）：１３４—１４３（ｉｎ Ｃｈｉｎｅｓｅ） （单锦辉，姜瑛，孙萍．软件测试研究进展［Ｊ］．北京大学学报 （自然科学版），２００５，４１（１）：１３４－１４３） ［９］ Ｄｏｃｔｏｒ ＨＴＭＬ［ＯＬ］．ｈｔｔｐ：／／ｗｗｗ２．ｉｍａｇｉｗａｒｅ．ｅｏｍ／Ｒｘｈｔｍｌ／， ２００６ ［１０］ Ｗ３Ｃ ＨＴＭＬ Ｖａｌｉｄａｔｉｏｎ Ｓｅｒｖｉｃｅ［ＯＬ］．ｈｔｔｐ：／／ｖａｌｉｄａｔｏｒ．ｗ３． ｏｒｇ，２００６ ［１１］ Ｅ Ｍｉｌｌｅｒ．Ｗｅｂｓｉｔｅ Ｔｅｓｔｉｎｇ［ＯＬ］．ｈｔｔｐ：／／ｗｗｗ．，ｏｓｆｔ．ｃｏｒｎ／ Ｐｒｏｄｕｅｔｓ／Ｗｅｂ／Ｔｅｅｈｎｏｌｏｇｙ／Ｗｅｂｓｉｔｅ．ｔｅｓｔｉｎｇ ｈｔｍｌ，２００６ ［１２］ Ｍｅｒｃｕｒｙ Ｓｏｆｔｗａｒｅ［ＯＬ］．ｈｔｔｐ：／ｗｗｗ．ｍｅｒｅ—ｉｎｔ．ｃｏｒｎ／，２００６ 【ｌ３］ Ｒａｔｉｏｎａｌ Ｓｏｆｔｗａｒｅ【ＯＬ］．ｈｔｔｐ：／／ｗｗｗ．ｗｉｌｓｏｎｍａｒ．ｃｏｒｎ／，２００６ ［１４］ Ｊｉｎ Ｌｉｎｇｚｉ．Ｐｒｏｇｒｅｓｓ ｉｎ ｔｅｓｔｉｎｇ ｏｂｊｅｃｔ．ｏｒｉｅｎｔｅｄ，ｏｓｆｔｗａｒｅ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ，１９９８，３５（１）： ６—１３（ｉｎ Ｃｈｉｎｅｓｅ） １２８１ （金凌紫．向对象软件测试技术进展［Ｊ］．计算机研究与发展， １９９８，３５（１）：６—１３） ［１５］Ｄ Ｍ Ｃｏｈｅｎ，ｅｌ ａ１．Ｔｈｅ ｃｏｍｂｉｎａｔｏｒｉａｌ ｄｅｓｉｇｎ ａｐｐｒｏａｃｈ ｔｏ ａｕｔｏｍａｔｉｃ ｔｅｓｔ ｇｅｎｅｒａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｓｏｆｔｗａｒｅ，１９９６，１３（５）： ８３－８８ ［１６］Ｄ Ｍ Ｃｏｈｅｎ，ｅｌ ａ１．Ｔｈｅ ＡＥＴＧ ｓｙｓｔｅｍ：Ａｎ ａｐｐｒｏａｃｈ ｔｏ ｔｅｓｔｉｎｇ ｂａｓｅｄ ｏｎ ｃｏｍｂｉａｎｔｏｒｉａｌ ｄｅｓｉｇｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ，１９９７，２３（７）：４３７—４４４ ［１７］Ｎｉｅ Ｃｈａｎｇｈａｉ，Ｘｕ Ｂａｏｗｅｎ．Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ａｕｔｏｍａｔｉｃａｌｌｙ ｇｅｎｅｒａｔｉｎｇ ｂｌａｃｋ．ｂｏｘ ｔｅｓｔ ｃａｓｅｓ ｂａｓｅｄ ｉｎｔｅｒｆａｃｅ ｐａｒａｍｅｔｅｒｓ［Ｊ］． Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒｓ，２００４，２７（３）：３８２—３８８（ｉｎ Ｃｈｉｎｅｓｅ） （聂长海，徐宝文．基于接Ｅｌ参数的黑箱测试用例自动生成算 法［Ｊ］．计算机学报，２００４，２７（３）：３８２—３８８） ［１８］Ｊ Ｃｌｕｎｅ，Ｌ Ｃｈｅｎ．Ｔｅｓｔｉｎｇ Ｗｅｂ ｓｅｒｖｉｃｅｓ：Ｍｅｔｈｏｄｓ ｆｏｒ ｅｎｓｕｒｉｇｎ ｓｅｒｖｅｒ ａｎｄ ｃｌｉｅｎｔ ｒｅｌｉａｂｉｌｉｔｙ［ＯＬ］．ｈｔｔｐ：／ｗｗｗ．ｓｙｓｃｏｎ．ｃｏｒｎ／ ｗｅｂｓｐｈｅｒｅ／’２００６ ［１９］Ｎ Ｄａｖｉｄｓｏｎ．Ｔｅｓｔｉｎｇ Ｗｅｂ ｓｅｒｖｉｃｅｓ［ＯＬ］．ｈｔｔｐ：／ｗｗｗ． ｗｅｂｓｅｒｖｉｃｅｓ．ｏｒｇ／，２００２—１０ ［２０］ Ｗ Ｔ Ｔｓａｉ，ｅｌ ａ１．Ｃｏｙｏｔｅ：Ａｎ ＸＭＬ—ｂａｓｅｄ ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｔｅｓｔｉｎｇ［Ｃ］．Ｔｈｅ ７ｔｈ Ｉｎｔ’ｌ Ｓｙｍｐ ｏｎ Ｈｉｇｈ Ａｓｓｕｒａｎｃｅ Ｓｙｓｔｅｍｓ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｔｏｋｙｏ，２００２ ［２１］ｗ Ｔ Ｔｓａｉ，Ｘ Ｗｅｉ，Ｙ Ｃｈｅｎ，ｅｌ ａ１．Ｄｅｖｅｌｏｐｉｇｎ ａｎｄ ａｓｓｕｒｉｎｇ ｔｒｕｓｔｗｏｒｔｈｙ Ｗｅｂ ｓｅｒｖｉｃｅｓ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ Ａｕｔｏｎｏｍｏｕｓ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｓｙｓｔｅｍｓ（ＩＳＡＤＳ’０５）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ ｏＣｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００５．４３—５０ ［２２］ Ａ Ｂｅｒｔｏｌｉｎｏ，Ａ Ｐｏｌｉｎｉ．Ｔｈｅ ａｕｄｉｔｉｏｎ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｔｅｓｔｉｎｇ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ［Ｃ］． Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ３１ｓｔ ＥＵＲＯＭＩＣＲＯ Ｃｏｎｆ ｏｎ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｇｎ ａｎｄ Ａｄｖａｎｃｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００５．１３４—１４２ ［２３］ｗ Ｔ Ｔｓａｉ，Ｘ Ｗｅｉ，Ｙ Ｃｈｅｎ，ｅｌ ａ１．Ａ ｒｏｂｕｓｔ ｔｅｓｔｉｎｇ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｖｅｒｉｆｙｉｎｇ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｂｙ ｃｏｍｐｌｅｔｅｎｅｓｓ ａｎｄ ｃｏｎｓｉｓｔｅｎｃｙ ａｎａｌｙｓｉｓ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ２００５ ＩＥＥＥ Ｉｎｔ’ｌ Ｗｏｒｋｓｈｏｐ ｏｎ ＳｅｒｖｉｅｅＯｒｉｅｎｔｅｄ Ｓｙｓｔｅｍ Ｅｎｇｉｎｅｅｒｉｎｇ（ＳＯＳＥ’０５）．Ｌｏｓ ＡＩａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ ｏＣｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００５．１５１—１５８ ［２４］Ｗ Ｔ Ｔｓａｉ，Ｐａｕｌ Ｒ，Ｙ Ｗａｎｇ，ｅｌ ａ１．Ｅｘｔｅｎｄｉｎｇ ＷＳＤＬ ｔｏ ｆａｃｉｌｉｔａｔｅ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｔｅｓｔｉｎｇ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ＩＥＥＥ ＨＡＳＥ’ ０２．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００２． １７１－１７２ ［２５］Ｒ Ｓｉｂｌｉｎｉ，Ｎ Ｍａｎｓｏｕｒ．Ｔｅｓｔｉｎｇ Ｗｅｂ ｓｅｒｖｉｃｅｓ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ３ｒｄ ＡＣＳ／ＩＥＥＥ Ｉｎｔ’ｌ Ｃｏｎｆ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ．２００５．１３５—１４２ ［２６］Ｊｉａｎｇ Ｙｉｎｇ，Ｘｉｎ Ｇｕｏｍａｏ，Ｓｈａｎ Ｊｉｎｈｕｉ，ｅｌ ａ１．Ａ ｍｅｔｈｏｄ ｏｆ ａｕｔｏｍａｔｅｄ ｔｅｓｔ ｄａｔａ ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｗｅｂ ｓｅｒｖｉｃｅ［Ｊ］．Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒｓ，２００５，２８（４）：５６８—５７７（ｉｎ Ｃｈｉｎｅｓｅ） （姜瑛，辛国茂，单锦辉，等．一种Ｗｅｂ服务的测试数据自动 生成方法［Ｊ］．计算机学报，２００５，２８（４）：５６８—５７７） ［２７］Ｗｅｂ Ｓｅｒｖｉｃｅｓ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ（ＷＳＤＬ １．１）［ＯＬ］．Ｗ３Ｃ Ｎｏｔｅ．ｈｔｔｐ：／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｗ￣ｌ／，２００１．０３ 维普资讯 http://www.cqvip.com ｌ２８２ ［２８］Ｕｎｉｖｅｒｓａｌ Ｄｅｓｃｒｉｐｔｉｏｎ，Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｉｎｔｅｇｒａｔｉｏｎ（ＵＤＤＩ） ［ＯＬ］，ｈｔｔｐ：／／ｗｗｗ ｏａｓｉｓ—ｏｐｅｎ ｏｒｇ／ｃｏｍｍｉｔｔｅｅｓ／ｕｄｄｉ—ｓｐｅｃ／， ２００２—１０—０８ 计算机研究与发展２００７，４４（８） ［４４］ Ｓｒｉｈａｒｉ Ｍａｋｉｎｅｎｉ，Ｒａｖｉ Ｉｙｅｒ．Ｐｅｒｆｏｒｍａｎｃｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ＴＣＰ／ＩＰ ｐａｃｋｅｔ ｐｒｏｃｅｓｓｉｎｇ ｉｎ ｃｏｍｍｅｒｃｉａｌ ｓｅｒｖｅｒ ｗｏｒｋｌｏａｄｓ［Ｃ］． Ｉｎ：Ｐｒｏｃ ｏｆ ２００３ ＩＥＥＥ Ｉｎｔ’ｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｗｏｒｋｌｏａｄ ［２９］Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ（ＳＯＡＰ １．１）［ＯＬ］．Ｗ３Ｃ Ｎｏｔｅ， ｈｔｔｐ：／／ｗｗｗ ｗ３，ｏｒｇ／ＴＲ／．￣ａｐ／，２０００—０５ ０８ ＣｈａｒａｃｔｅｒＩｚａｔｉｏｎ（ＷＷＣ一６） ．Ｌｏｓ Ａｌａｍｉｔｏｓ， ＣＡ： ＩＥＥＥ Ｃｘｗｎｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００３．３３ ４１ ［３０］Ｗｅｂ Ｓｅｒｖｉｃｅｓ Ａｒｃｈｉｔｅｃｔｕｒｅ［ＯＬ］，Ｗ３Ｃ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ．ｈｔｔｐ／／ ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｗｓ ａｒｃｈ／．２００２一ｌｌ ［４５］Ｒ Ｅｉｇｅｎｍａｎｎ．Ｐｅｒｆｏｒｍａｎｃｅ Ｅｖａｌｕａｔｉｏｎ ａｎｄ Ｂｅｎｃｈｍａｋｉｎｇ ｗｉｔｈ Ｒｅａｌｉｓｔｉｃ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｍ］Ｃａｍｂｒｉｄｇｅ，ＭＡ：ＭＩ＇Ｉ、Ｐｒｅｓｓ，２００１ ［３１］ｗ Ｔ Ｔｓａｉ，Ｙ Ｃｈｅｎ，Ｚ Ｃａｏ，ｅｔ ａ１．Ｔｅｓｔｉｎｇ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｕｓｉｎｇ ｐｒｏｇｒｅｓｓｉｖｅ ｇｒｏｕｐ ｔｅｓｔｉｎｇ［Ｃ］．Ｔｈｅ Ａｄｖａｎｃｅｄ Ｗｏｒｋｓｈｏｐ ｏｎ ［４６］ Ｋ Ｋａｎｔ，Ｙ Ｗｏｎ．Ｐｅｒｆｏｒｍａｎｃｅ ｉｍｐａｃｔ ｏｆ ｕｎｃａｃｈｅｄ ｆｉｌｅ ａｃｃｅｓｓｅｓ ｉｎ ＳＰＥＣ Ｗｅｂ９９『Ｇ １．Ｉｎ：Ｗｏｒｋｌｏａｄ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｆｏｒ Ｃｏｎｔｅｎｔ Ｃｏｍｐｕｔｉｎｇ，Ｚｈｅｎｊｉａｎｇ，２００４ ｆ３２］Ｗ Ｔ Ｔｓａｉ，Ｙｉｎｏｎｇ（；ｈｅｎ，Ｒａｙ Ｐａｕｌ，ｅｔ ｎ，．Ａｄａｐｔｉｖｅ ｔｅｓｔｉｎｇ， Ｏｒａｃｌｅ ｇｅｎｅｒａｔｉｏｎ，ａｎｄ ｔｅｓｔ ｃａｓｅ ｒａｎｋｉｎｇ ｆｏｒ Ｗｅｂ ｓｅｒｖｉｃｅｓ［Ｃ］． Ｔｈｅ ２９ｔｈ Ａｎｎｕａｌ Ｉｎｔ’１ Ｃｃｗｎｐｕｔｅｒ Ｓｏｆｔｗａｒｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆ（ＣＯＭＰＳＡＣ’０５），Ｅｄｉｎｂｕｒｇｈ，２００５ ［３３ ｊ ｗ Ｔ Ｔｓａｉ，ｅｔ ａ１．Ｃｏｏｐｅｒａｔｉｖｅ ｇｒｏｕｐ ｔｅｓｔｉｎｇ ｉｎ ｖｅｒｉｆｉｃａｔｉｏｎ ｏｆ ｄｙｎａｍｉｃ ｃｏｍｐｏｓｉｔｉｏｎ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｌＣ］．Ｗｏｒｋｓｈｏｐ ｏｎ Ｑｕａｌｉｔｙ Ａｓｓｕｒａｎｃｅ ａｎｄ Ｔｅｓｔｉｎｇ ｏｆ Ｗｅｂ—Ｂａｓｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｈｏｎｇ Ｋｏｎｇ， ２００４ ［３４］Ｓ Ｎａｋａｊｉｍａ．Ｖｅｒｉｆｉｃａｔｉｏｎ ｏｆ Ｗｅｂ ｓｅｒｖｉｃｅ ｆｌｏｗｓ ｗｉｔｈ ｎ１ｏｄｅｌ— ｃｈｅｃｋｉｎｇ ｔｅｃｈｎｉｑｕｅｓ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ １ｓｔ Ｉｎｔ’１ Ｓｙｒｕｐ ｏｎ Ｃｙｂｅｒ Ｗｏｒｌｄｓ（ＣＷ’０２）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００２．３７８—３８５ ［３５］Ｈｏｗａｒｄ Ｆｏｓｔｅｒ，Ｓｅｂａｓｔｉａｎ Ｕｃｈｉｔｅｌ，Ｊｅｆｆ Ｍａｇｅｅ， 口，．Ｍｏｄｅｌ— ｂａｓｅｄ ｖｅｒｉｆｉｃａｔｉｏｎ ｏｆ Ｗｅｂ ｓｅｒｖｉｃｅ ｃｏｍｐｏｓｉｔｉｏｎｓ ｌ Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ １ ８ｔｈ Ｉｎｔ’１ Ｃｏｎｆ ｏｎ Ａｕｔｏｍａｔｅｄ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ（ＡＳＥ’ ０３）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００３． １５２一ｌ６ｌ ［３６］Ｗｅｂ Ｓｅｒｖｉｃｅｓ Ｆｌｏｗ Ｌａｎｇｕａｇｅ（ＷＳＦＬ １．０）［Ｓ］．ＩＢＭ Ｓｏｆｔｗａｒｅ Ｇｒｏｕｐ，２００１ ［３７］Ｂｕｓｉｎｅｓｓ Ｐｒｏｃｅｓｓ Ｅｘｅｃｕｔｉｏｎ Ｌａｎｇｕａｇｅ ｆｏｒ Ｗｅｂ Ｓｅｒｖｉｃｅｓ （ＢＰＥＬ４ＷＳ １．０）ｆＳ］．ＩＢＭ Ｃｏｒｐｏｒａｔｉｏｎ，２００２ ［３８］Ｎ Ｌｏｏｋｅｒ，ｅｔ“，．Ａｓｓｅｓｓｉｎｇ ｔｈｅ ｄｅｐｅｎｄａｂｉｌｉｔｙ ｏｆ ＳＯＡＰ ＲＰＣ ｂａｓｅｄ Ｗｅｂ ｓｅｒｖｉｃｅｓ ｂｙ ｆａｕｌｔ ｉｎｊｅｃｔｉｏｎ［（ ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ９ｔｈ ＩＥＥＥ Ｉｎｔ’Ｉ Ｗｏｒｋｓｈｏｐ ｏｎ Ｏｂｊｅｃｔ—Ｏｒｉｅｎｔｅｄ Ｒｅａ１．Ｔｉｍｅ Ｄｅｐｅｎｄａｂｌｅ Ｓｙｓｔｅｍｓ（ＷＯＲＤＳ’０３）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ；ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００３．１６３—１７０ ［３９］Ｇ Ｒｕｆｆｏ，Ｒ Ｓｅｈｉｆａｎｅｌｌａ，Ｍ Ｓｅｒｅｎｏ，ｅｔ ａ１．ＷＡＬＴｙ：Ａ ｕｓｅｒ ｂｅｈａｖｉｏｒ ｔａｉｌｏｒｅｄ ｔｏｏｌ ｆｏｒ ｅｖａｌｕａｔｉｎｇ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ３ｒｄ ＩＥＥＥ Ｉｎｔ’１ Ｓｙｒｕｐ ｏｎ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（ＮＣＡ’０４）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ．２００４．７７—８６ ［４０］ＳＰＥＣｗｅｂ９９ Ｄｅｓｉｇｎ Ｄｏｃｕｍｅｎｔ［ＯＬ］．ｈｔｔｐ：／／ｗｗｗ ｓｐｅｃｂｅｎｃｂ （）ｒｇ／ｄｏｃｓ／ｗｈｉｔｅｐａｐｅｆ．ｈｔｍｌ，２００６ ［４１］Ｔｐ（７一Ｗ Ｄｅｓｉｇｎ Ｄｏｃｕｍｅｎｔ［ＯＬ］．ｈｔｔｐ：／／ｗｗｗ ｔｐｃ．ｏｒｇ／ｔｐｃｗ／＇ ２００６ ［４２］ＴＰＣＣ Ｄｅｓｉｇｎ Ｉ）ｏｃｕｍｅｎｔ［ＯＬ］．ｈｔｔｐ：／／ｗｗｗ ｔｐｃ ｏｒｇ／ｔｐｃｄ／＇ ２００６ ［４３］Ａｓｈｉｓｈ Ｇｏｄｂｏｌｅ，Ｓｅｕｎｇｙｕｎ Ｋｉｍ，Ｒ Ｇｕｚｍａｎ，ｅｔ ａ１． Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｓｔｕｄｉｅｓ ｏｆ ｃｌｉｅｎｔ ｓｅｒｖｅｒ ｍｏｄｅｌｓ ｕｓｉｎｇ ＳＰＥＣ Ｗｅｂ９９ Ｂｅｎｃｈｍａｒｋｓ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ２００３ ＩＥＥＥ Ｉｎｔ’ｌ Ｃｏｎｆ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｕｓｅ ａｎｄ Ｉｎｔｅｇｒａｔｉｏｎ．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ￣）ｃｉｅｔｙ Ｐｒｅｘｓ，２００３．４０６～４１ ４ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｄｅｓｉｇｎ．Ａｍｓｔｅｒｄａｍ，Ｎｅｔｈｅｒｌａｎｄｓ：Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，２０００ ［４７］Ｔ Ｗ Ｋｅｌｌｅｒ，Ｋ Ｓａｎｋａｒａｌｉｎｇａｍ，Ｈ Ｐ Ｈｏｆｓｔｅｅ，Ｔｏｗａｒｄｓ ａｎ ｏｐｔｉｍａｌ ｆｉｌｅ ａｌｌｏｃａｔｉｏｎ ｓｔｒａｔｅｇｙ ｆｏｒ ＳＰＥＣＷｅｂ９９［Ｇ］．Ｉｎ： Ｗｏｒｋｌｏａｄ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ Ｅｍｅｒｇｉｎｇ Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ． Ａｍｓｔｅｒｄａｍ，Ｎｅｔｈｅｒｌａｎｄｓ：Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，２００１ ［４８］Ｄ Ａ Ｍｅｎａｓｃｅ．Ｔｐｃ—ｗ：Ａ ｂｅｎｃｈｍａｒｋ ｆ。ｒ ｅ—ｃｏｍｍｅｒｃｅ［Ｊ］．ＩＥＥＥ Ｉｎｔｅｒｎｅｔ Ｃｏｍｐｕｔｉｎｇ，２００２，６（３）：８３ ８７ ［４９］Ｊ Ｅ Ｐｉｔｋｏｗ．Ｓｕｍｍａｒｙ ｏｆ ｗｗｗ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎｓ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ｎｅｔｗｏｒｋｓ ａｎｄ ＩＳＤＮ Ｓｙｓｔｅｍｓ，１９９８，３０（１—７）：５５ｌ ５５８ ［５０］ Ｋ Ｗｏｌｔｅｒ，Ｋ Ｋａｓｐｒｏｗｉｃｚ．ＷｅｂＡｐｐＬｏａｄｅｒ：Ａ ｓｉｍｕｌａｔｉｏｎ ｔｏｌ ｓｅｔ ｆｏｒ ｅｖａｌｕａｔｉｎｇ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ［（ ］．ＴＯＯＬＳ ２００３，Ｕｒｂａｎａ，ＩＨｉｎｏｉｓ，２００３ ［５１］Ｄ Ｍｏｓｂｅｒｇｅｒ，Ｔ Ｊｉｎ．ｈｔｔｐｅｒｆ：Ａ ｔｏｏｌ ｆｏｒ ｍｅａｓｕｒｉｎｇ Ｗｅｂ ｓｅｒｖｅｒ ｐｅｒｆｏｒｍａｎｃｅ［ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｌ ９９８ １ｓｔ Ｗｏｒｋｓｈｏｐ ｏｎ Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｅｒ Ｐｅｒｆｏｒｍａｎｃｅ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ Ｐｒｅｓｓ．１ ９９８．５９ ６７ ［５２］Ｄ Ａ Ｍｅｎａｓｃｅ．Ｌｏａｄ ｔｅｓｔｉｎｇ ｏｆ Ｗｅｂ ｓｉｔｅｓ［Ｊ］．ＩＥＥＥ Ｉｎｔｅｒｎｅｔ Ｃｏｍｐｕｔｉｎｇ，２００２，６（４）：７０～７４ ［５３］ＺａｏＢｉｎ（Ｊａｎ，ＤｅｎｇＷｅｎ Ｗｅｉ，Ｖ Ｖａｒａｄｈａｒａｊａｎ．Ｅｖａｌｕａｔｉｎｇ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｓｃａｌａｂｉｌｉｔｙ ｏｆ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｓｙｓｔｅｍｓ［Ｃ］．Ｉｎ： Ｐｒｅ）ｃ ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔ’ｌ Ｃｏｎｆ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（ＩＣＩＴＡ’０５）．Ｌｏｓ Ａｌａｍｉｔｏｓ．ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ．２００５．１１ ｌ ｌｌ４ ［５４］Ｋ Ｇｏｓｅｖａ Ｐｏｐｓｔｏｊａｎｏｖａ， “，．Ｅｍｐｉｒｉｃａｌ ｓｔｕｄｙ ｏｆ ｓｅｓｓｉｏｎ—ｂａｓｅｄ ｗｏｒｋｌｏａｄ ａｎｄ ｒｅｌｉａｂｉｌｉｔｙ ｆｏｒ Ｗｅ１）ｓｅｒｖｅｒｓ．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ｌ５ｔｈ Ｉｎｔ’ｌ Ｓｙｍｐ ｏｎ Ｓｏｆｔｗａｒｅ Ｒｅｌｉａｂｉｌｉｔｙ Ｅｎｇｉｎｅｅｒｉｎｇ（ＩＳＳＲＥ’０４）． Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ（Ｓａｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００４．４０３ ４ｌ４ ［５５］Ｇ Ｂａｌｌｏｃｃａ，Ｐ Ｐｏｌｉｔｉ，（ Ｒｕｆｆｏ． ｎ ．Ｂｅｎｃｈｍａｒｋｉｎｇ ａ ｓｉｔｅ ｗｉｔｈ ｒｅａｌｉｓｔｉｃ ｗｏｒｋｌｏａｄ．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ５ ｔｈ ＩＦＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｗｏｒｋｌｏａｄ Ｃｈａｒａｃｔｅｒｉｚａｔ１ｏｎ（ＷＷＣ一５）．Ｌｏｓ Ａｌａｍｉｔｏｓ。 ＣＡ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ．２００２．１ ４ ２２ ［５６］（ Ｒｕｆｆｏ，Ｒ Ｓｃｈｉｆａｎｅｌｌａ，Ｍ Ｓｅｒｅｎｏ，ｅｔ ａ１．ＷＡＬ Ｆｙ：Ａ ｔｏｏ［ｆｏｒ ｅｖａｌｕａｔｉｎｇ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ｌ ｓｔ ｌｎｔ’Ｉ Ｃｏｎｆ ｏｎ ｔｈｅ Ｑｕａｎｔｉｔａｔｉｖｅ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｓｙｓｔｅｍｓ（ＱＥＳＴ’ ０４）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ￣）ｃｉｅｔｙ Ｐｒｅｓｓ，２００４． ３３２—３３３ ５７］（；Ａ Ｄｉ Ｌｕｃｃａ，Ａ Ｒ Ｆａｓｏｌｉｎｏ，Ｐ Ｔｒａｍｏｎｔａｎａ．Ａ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｒｅｄｕｃｉｎｇ ｕｓｅｒ ｓｅ＆ｓｉｏｎ ｄａｔａ ｓｅｔｓ ｉｎ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｔｅｓｔｉｎｇ［Ｃ］． Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ８ｔｈ ＩＥＥＥ Ｉｎｔ’ｌ Ｓｙｍｐ ｏｎ Ｗｅｂ Ｓｉｔｅ Ｅｗ）ｌｕｔｉｏｎ （ＷＳＥ’０６）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ２００６．７一ｌ３ 维普资讯 http://www.cqvip.com 邓小鹏等：Ｗｅｂ应用测试技术进展 １２８３ ［５８］ Ｓ Ｂａｒｂｅｒ．Ｃｒｅａｔｉｎｇ ｅｆｆｅｃｔｉｖｅ ｌｏａｄ ｍｏｄｅｌｓ ｆｏｒ ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｉｎｇ ｗｉｔｈ ｉｎｃｏｍｐｌｅｔｅ ｅｍｐｉｒｉｃａｌ ｄａｔａ［ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ６ｔｈ ＩＥＥＥ Ｉｎｔ’１ Ｗｏｒｋｓｈｏｐ ｏｎ Ｗｅｂ Ｓｉｔｅ Ｅｖｏｌｕｔｉｏｎ（ＷＳＥ’０４）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ．２００４．５１—５９ ［５９ Ｊ ＮＵＯ Ｌｉ，Ｑｉｎｑｉｎ Ｍａ，Ｊｉ Ｗｕ，ｅｔ ａ１．Ａ ｆｒａｍｅｗｏｒｋ ｏｆ ｍｏｄｅｌ— ｄｒｉｖｅｎ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｔｅｓｔｉｎｇ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ＣＯＭＰＳＡＣ’ ０６．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００６． １５７－１６２ ［６０］Ｄｅ Ｂ．Ｗｅｂ Ｓｅｒｖｉｃｅｓ－－Ｃｈａｌｌｅｎｇｅｓ ａｎｄ Ｓｏｌｕｔｉｏｎ［ＯＬ］．ｈｔｔｐ：／／ ｗｗｗ ｗｉｐｒｏ ｃｏｍ．２００３ ［６１］Ｄａｖｉｄ Ｋｕｎｇ．Ａｎ ａｇｅｎｔ—ｂａｓｅｄ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｔｅｓｔｉｎｇ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ［ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ＣＯＭＰＳＡＣ’０４．Ｌｏｓ Ａｌａｍｉｔｏｓ， ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ ｏＳｃｉｅｔｙ Ｐｒｅｓｓ，２００４．１７４—１７７ ［６２］ Ｙｕ Ｑｉ，Ｄａｖｉｄ Ｋｕｎｇ，Ｅｒｉｃ Ｗｏｎｇ．Ａｎ ａｇｅｎｔ—ｂａｓｅｄ ｔｅｓｔｉｎｇ ａｐｐｒｏａｃｈ ｆｏｒ ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］．Ｉｎ：Ｐｒｏｃ ｏｆ ＣＯＭＰＳＡＣ’ ０５．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ．２００５． ４５－５０ ［６３］Ｈｕｉｍｉｎｇ Ｙｕ，Ｊｉｎ Ｚｈａｎｇ，Ｊｉｎｓｈｅｎｇ Ｘｕ．Ｍｕｌｔｉ—ａｇｅｎｔ ｔｅｓｔｉｎｇ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｍｏｎｉｔｏｒｉｎｇ ａｎｄ ａｎａｌｙｚｉｎｇ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ［ｃ Ｊ．Ｉｎ：Ｐｒｏｃ ｏｆ ｔｈｅ ５ｔｈ ＩＥＥＥ／ＡＣＩＳ Ｉｎｔ’１ Ｃｏｎｆ ｏｎ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ（ＩＣＩＳ—ＣＯＭＳＡＲ’ ０６）．Ｌｏｓ Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，２００６． １１５－１２０ ［６４］Ｍａｏ Ｘｉｎｊｕｎ，Ｃｈａｎｇ Ｚｈｉｍｉｎｇ，Ｗａｎｇ ｊｉ．ｅｔ ａ１．Ａｇｅｎｔ—ｏｒｉｅｎｔｅｄ 蔡莲红，１９４５年生，教授，博士生导师，主要研究方向为模式 ｓｏｆｔｗａｒｅ ｅｎｇｉｎｅｅｒｉｎｇ：Ｓｔａｔｕｓ ａｎｄ ｃｈａｌｌｅｎｇｅｓ［Ｊ］．Ｊｏｕｍａｌ ｏｆ 识别、生物特征识别、中文语音处理及合成及识别． Ｃｏｍｐｕｔｅｒ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ，２００６，４３（１０）：１７８２— １７８９（ｉｎ Ｃｈｉｎｅｓｅ） （毛新军，常志明，王戟，等．面向Ａｇｅｎｔ的软件工程：现状与 挑战［Ｊ］．计算机研究与发展，２００６，４３（１０）：１７８２—１７８９） Ｒｅｓｅａｒｃｈ Ｂａｃｋｇｒｏｕｎｄ Ｔｅｓｔｉｎｇ ｆｏｒ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎｓ ｈａｓ ｃｈａｌｌｅｎｇｅｓ ｏｎ ｉｔｓ ｓｐｅｃｉａｌ ａｓｐｅｃｔｓ．Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｄｅｓｉｇｎ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ，ｒｅｌａｔｉｖｅｌｙ ｌｉｔｔｌｅ ｗｏｒｋ ｏｎ ｔｅｓｔｉｎｇ ｈａｓ ｂｅｅｎ ｄｏｎｅ ＳＯ ｆａｒ．Ａｓｓｕｒｉｎｇ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｓｙｓｔｅｍ ｑｕａｌｉｔｙ ａｎｄ ｒｅｄｕｃｉｎｇ ｉｔｓ ｄｅｆａｕｌｔｓ ｈａｖｅ ｂｅｃｏｍｅ ｉｍｐｏｒｔａｎｔ ｔａｓｋｓ ｆｏｒ ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｅｒｓ ａｎｄ ｔｅｓｔｉｎｇ ｅｎｇｉｎｅｅｒｓ．Ｋｎｏｗｉｎｇ ｔｈｅｓｅ ｃｒｕｃｉａｌ ｒｅｓｅａｒｃｈｅｓ，ｗｈｉｃｈ ｃｏｍｅ ｆｒｏｍ ｔｈｅｓｅ ａｓｐｅｃｔｓ ｓｕｃｈ ａｓ ｈｙｐｅｒｌｉｎｋ ｔｅｓｔｉｎｇ，ｂｌａｃｋ—ｂｏｘ ｔｅｓｔｉｎｇ ａｎｄ ｗｈｉｔｅ—ｂｏｘ ｔｅｓｔｉｎｇ ｆｏｒ ｃｏｍｐｏｎｅｎｔｓ，Ｗｅｂ ｓｅｒｖｉｃｅｓ ｔｅｓｔｉｎｇ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｔｅｓｔｉｎｇ ｗｉｌｌ ｂｅ ｈｅｌｐｆｕｌ ｔｏ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｗｅｂ ａｐｐｌｉｃａｔｉｏｎ ｔｅｓｔｉｎｇ．Ｔｈｉｓ ｗｏｒｋ ｉｓ ｓｕｐｐｏｒｔｅｄ ｂｙ ｔｈｅ Ｎａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃｈｉｎａ ｕｎｄｅｒ ｇｒａｎｔ Ｎｏ． ６０４７３０７８．
