SCMLife.com

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 4061|回复: 2

[推荐] 在不牺牲测试环境覆盖率的情况下实现自动化测试

[复制链接]
发表于 2013-1-24 16:52:50 | 显示全部楼层 |阅读模式
本帖最后由 技术狂人 于 2013-1-24 17:00 编辑
) @! m% R7 ~, |6 r# u$ z
8 |& u, k, k& F. T5 }/ c简介. B: @  M0 F0 p8 N+ Q
软件测试是软件开发生命周期中的重要组成部分,因为它可以保证该软件中的软件开发人员和拥有者按预期完成工作。由于当今的软件及软件环境越来越复杂,仅使用手动方法管理测试工作变得很艰难。许多组织都在寻求自动化测试工作的解决方案,以降低最终产品遗留回归缺陷的风险。
5 w, p. l( ?( f/ A: E幸运的是,现在有很多自动化工具可用于实现自动化测试,其中包括 IBM® Rational® Functional Tester 和 Rational® Performance Tester。最初的问题是与如何自动化测试以及如何随着应用程序的更改维护测试有关。然而,在创建了一套非常成熟的自动化测试套件后,从长远来看,非常实用。5 K) A8 B9 B2 J' q
实现测试自动化后,在所有支持的平台(包括 Microsoft Windows 2008 Server、Android、Firefox 10、IBM® WebSphere® Application Server、Oracle、IBM® DB2 等)上运行自动化测试时,出现了另一个挑战。每年由于版本更改、对新平台的支持以及其他因素,都将导致受支持的平台列表发生变化。
7 u, Y( |; ~. X6 y( g2 \取最近一个例子,自版本 3.0 以来,Mozilla 公司又发布了多个版本的 Firefox 浏览器。这意味着重要的不是运行此测试,在所有支持的测试环境上运行所有测试也一样重要。本文解释了您如何确保您的自动化测试自动涵盖了您测试计划中的所有平台,从而确保在发布软件前最大限度地执行了测试范围和缺陷检测。
/ C2 i# C! K9 H. u$ w0 T( b$ [
/ _$ g( \& l( `( r: O0 ~图 1. 手动脚本
& I5 u* r! R! V; r" m
) i4 C' @$ _* z3 J; i3 D

3 J- L7 U5 {5 J# e) x
: B, S$ z  u3 b% |) n3 C% [/ q使用 Rational Quality Manager 实现自动化测试8 G* [8 ?3 e0 r8 s; C
IBM® Rational® Quality Manager 是一款基于 Web 的测试管理工具。它集成了大多数领先的自动化工具,包括 Rational Functional Tester、Rational Performance Tester、Rational® Robot、HP Quick Test Professional 等。Rational Quality Manager 公开了 RESTful web API,使其很容易与其他工具相集成。
; t' a. S% o1 O, t7 V本质上 Rational Quality Manager 提供两类脚本:' U8 p, _3 L1 |. D1 |
  • 使用各种自然语言步骤的本机手动脚本,如上面图 1 所示
  • 远程脚本,表示外部自动化脚本,如下面图 2 所示
    1 I/ G) P$ B' B" E9 F$ L/ z1 Y

1 o( p! D  t8 y6 B: A- v! a/ u8 P图 2. 远程功能测试脚本
4 u- B7 v6 \) _2 p7 E7 b9 ?, {1 d% @- g. J
手动脚本会捕获自然语言语句中的各个手动步骤(如图 1 所示),因此在手动测试中很实用。另一方面,远程脚本则表示实际外部自动脚本的占位符,这些脚本可通过特定的外部自动化工具运行,如上面图 2 所示。每个远程脚本都有一个类型,该类型是建立在自动化工具的类型基础上。Rational Quality Manager 无法运行远程脚本;它只能协调执行工作:将远程脚本委托给可实际运行该脚本的自动化工具。
9 E1 W4 J/ L( Y& t+ ?4 O通常会在实验室机器上运行自动化测试,其机器的所测试的应用程序 (Application Under Test, AUT) 和自动化工具均设置为运行自动化测试。要想与 Rational Quality Manager 集成,每个自动化工具需要拥有一个称为执行适配器的轻量实用工具,来填补 Rational Quality Manager 与自动化工具之间的差距。每个 Rational 自动化工具都拥有一个特定于 Rational Quality Manager 的适配器,可将二者连接起来。+ ]2 m% U' ]' w; E8 u( r
规划的自动测试的执行/ O: P; O! Z! V1 a
Rational Quality Manager 提供的测试案例可以与手动脚本或远程脚本相关联起来,从而执行该测试用案。规划的结果是创建多个测试案例执行记录。这些记录内容通常涵盖要执行的测试用例、执行时间、执行人,以及使用的测试环境类型(本文最相关)。单个测试用例通常拥有多个执行记录,每个执行记录涵盖一个惟一的测试环境。
, G+ J% U1 D) d8 U8 U$ y注册一个执行适配器
0 P; S2 i% q" ]' ?启动某个特定于自动化工具的适配器时,它会注册到 Rational Quality Manager,从而以供自动化测试执行工作使用。该注册的结果是 Rational Quality Manager 创建两种资源:适配器和实验室资源(测试机器)。适配器表示已注册的适配器,并且链接到实验室资源,后者捕获正在运行该适配器的机器的各种细节。在默认情况下,适配器仅捕获机器名称、IP 地址、域名等信息。5 u  a, h$ y) F; u  q( U
要想自动提供完整的机器细节,可以将 Rational Quality Manager 同 IBM® Tivoli® Provisioning Manager、Tivoli Application Dependency Discovery Manager 和开源 StAX (Streaming API for XML) 或软件测试自动框架 (Software Testing Automation Framework, STAF) 相集成。Rational Quality Manager 在线帮助中的 “集成” 一节中提供了更多的相关信息(参阅 参考资料 获取链接)。另外,您可以在 Rational Quality Manager 中手动编辑实验室资源,以提供有关正在运行适配器的机器的详细信息。" b* j, q" N: S5 \
Rational Quality Manager 还提供了命令行适配器 (CLA)(参见 参考资料 的链接,获得各种相关的详细资料)。任何可以在命令行中运行的脚本均可以在 CLA 中执行。它可以像 ping 命令一样简单,也可以像包含一个复杂的脚本的 .bat 文件路径一样复杂。安装自动化工具时,通常也包括了特定于该自动化工具的适配器。
- f! T* }# w6 F$ S0 ~. a, h遵循下面的步骤向 Rational Quality Manager 服务器注册命令行适配器:
; c4 o1 z/ s% Q0 i3 b
  • 将命令行适配器 .zip 文件从 Rational Quality Manager 安装目录复制到测试机器:- |* d- P+ T* m5 k1 j6 I
    ...JazzTeamServerserverconfqmadapters RQMCommandLineAdapter.zip
  • 将文件提取到某个文件夹中。
  • 确保测试机器上已安装了 Java Runtime Environment (JRE) 1.5 或更高版本
  • 打开命令窗口,并更入您提取和保存该文件内容所在的目录。
  • 在命令窗口中运行以下命令(斜体字表示变量,要换为您的信息):& h; ?3 V* ~; A8 r& |  W8 `2 T
    start.bat -repository https://rqmservername:9443/qm -user user ID -password password -adapter uniqueAdapter ID -adapterName your adapter -projectArea name of the Rational Quality Manager project area
    : o/ K2 W. \! z" {0 M3 y8 T
成功注册后,适配器控制台中会显示一条确认消息,如图 3 所示。2 s5 z; E3 n: K) \- s7 u, r% c! _
  I2 F5 B$ q# k1 X# ~0 H
图 3. 注册命令行适配器
8 f2 O& ~' ?( _" s- }% E: k" K
" T& c3 _1 ~8 X" ^+ c% d在适配器控制台中查看已注册的执行适配器
  D3 e' Z% I: r: X; b在本节中,您将了解如何查看从不同机器向 Rational Quality Manager 服务器注册的所有执行适配器。' a7 [7 p0 d2 ?
  • 打开 Web 浏览器,并输入 Rational Quality Manager URL,例如:8 R& ~8 G& U& N* x& H$ V  {
    https://server:9443/qm/web/console
  • 提供有效的登录信息,登录该项目区域
  • 单击 Execution > Adapter Console 以打开控制台
  • 确认已列出了您从测试机器上连接时使用的适配器,如图 4 所示,并且该适配器的 Health 列显示一个绿色的图标(红色图标意味着适配器注册后很长时间都未激活。). J6 {1 U6 H$ C

. Z% g7 {0 f2 [' Y+ O图 4. 查看适配器控制台( u! l) `" V( P1 Q7 C3 c6 V
2 b1 C5 _- J/ r! C
$ X9 c# N  C4 {( `- u' @
更新测试环境信息
/ M$ `- z1 F/ J# ^. H; D  P/ Q注册适配器后,Rational Quality Manager 会相应地为运行该适配器的各个机器创建一个实验室资源。通过使用此实验室资源,Rational Quality Manager 可以确定运行适配器的测试环境。如前所述,将适配器注册到 Rational Quality Manager 仅提供极少量有关机器的信息,如主机名和 IP 地址。这些信息远远不够。您可以使用两种方法更新测试环境信息。一种是用 Tivoli 的配给工具来自动更新 Rational Quality Manager(参阅 参考资料 部分中的
' Z4 G- p# p# Z$ {! i  A* \$ U"Rational Quality Manager and Tivoli" 链接)。, w, Q( n. x+ B' B2 B! z5 y* z
本文仅介绍如何手动为实验室资源更新测试环境信息:7 g  J( p' T4 W# _+ ^: b" R
  • 执行 前一节中的步骤,以打开适配器控制台。
  • 单击 Machine Name 链接,以打开与该适配器相关联的实验室资源。
  • 单击 Operating System 部分。更新其操作系统信息。
  • 单击 Hardware 部分,并提供有关机器的所有细节。
  • 单击 Software 部分,并添加您可更新的所有软件,如 Browser、Database、Application Server 等。
  • 单击 Save 以保存测试环境信息。  ?8 @- `* M6 Y+ a
为每个已注册的适配器重复执行这些步骤。
* v4 i: q7 [% F1 E$ a  y5 S6 B导入外部自动化脚本您可以将由外部 Rational 软件创建的自动化测试导入到 Rational Quality Manager 中。按照 “引用自动化测试脚本” 和相关小节(参阅 参考资料 中的相关链接)中的说明进行操作。通过为每个自动化测试创建一个代理脚本,您应该能够将外部自动化测试导入到 Rational Quality Manager 中。
' _: Y8 X. R! q- G' [; s
: T& y% q6 q& s0 z0 U配置自定义测试环境的范围3 s5 N) g7 s5 s7 ^4 T3 y
本节提供的详细指南可确保,Rational Quality Manager 在选择或提议某个执行适配器时,运行该适配器的机器能够符合为测试用案执行记录所指定的测试环境要求。% S7 E7 z0 E) Z' N; M# c
  • 以项目管理员 (Project Administrator) 的身份登录 Rational Quality Manager。
  • 单击 Application Administration > Manage Project Properties(参见图 5)。+ q. C1 x; `% m5 d

! C' S. Z, _6 G! _/ b) U  f: K4 g2 O图 5. 管理项目属性
0 t, }7 k" d  \  `7 L
% E9 Z# w; o' v# ?- G9 I. Y
  • 在 Manage Project Properties 视图中的 Properties 部分,单击 Execution Preference,如图 6 所示。( I, Y6 l) ?* v$ C4 k  f
2 f; J5 V! m: e. j6 l, {
图 6. Execution preference2 {3 T1 J9 s" c% V. {" b8 U

% ], w$ ]! h3 ?+ h4 Q2 G2 W! l  f2 H2 c6 b  Y# n
  • 在默认情况下,Rational Quality Manager 在执行自动化测试时不会尝试匹配任何测试环境。要改变此行为,选择 Custom Search 单选按钮,然后选中测试环境(操作系统和浏览器等)类型的复选框,表明在搜索适配器时希望匹配这些环境元素。如果想匹配具体的测试环境,请选择 Environment 单选按钮。
  • 单击 Save 以更新执行首选项。( V: U% H" V5 a/ O: h1 l  T- ?" }- ~
通过执行这些步骤后,您已将 Rational Quality Manager 配置为在正确的机器上运行自动化测试。这意味着如果您创建了一个执行记录以在安装了 Firefox 浏览器的 Windows XP 上执行,则 Rational Quality Manager 将验证所选的机器是否符合测试环境的要求。7 n; E# A5 \- M9 y6 m( i% o, n8 {
使用测试单元实现稳固的测试平台! T- G1 r- v5 i/ C5 j- x
通常都是多个团队同时参与单个项目。每个团队都有其自己与 Rational Quality Manager 项目相连的一组执行适配器。当然,您可不希望您的测试会干扰他人的测试环境。通过使用测试单元 (test cell),您可以限制将要执行自动化测试的机器范围。( K( {7 m5 k) r. p2 r$ i8 H* {# \4 q
要创建测试单元,请执行以下操作:9 l, }0 e& Q. \
  • 单击 Lab Management > Create > Test Cell。
  • 提供测试单元的逻辑名称。
  • 单击 Lab Resource 部分下面的绿色加号图标(参见图 7)。
  • 添加您希望运行测试的所有机器。
  • 单击 Save 按钮保存该测试单元。* m  |4 e- K% k/ ~
, z! L7 p3 v3 J2 B
图 7. 测试单元
0 |7 H6 C/ B: ^6 s1 C- t6 {: W( C% E3 ]! U: M; W$ l

# ^" ]7 K7 R, W5 o6 T3 _8 W6 P运行一个自动化测试1 q5 K" \- ~% G/ S* [
生成测试用例执行记录后,您可以手动运行每个记录,方法是单击 Browse Test Case Execution Records 视图中的 Run 按钮。当您希望根据需要运行单个自动化测试时,这种方法很有用。
; g6 |* d1 p! l通常,您可能希望创建一个自动化测试套件,并运行整个套件,以节省时间。在某些情况下,您可能想要根据某种日程安排定期运行自动化测试。您也可能想在任何时候创建新版本时,运行自动化测试,以确保在版本中不会出现回归问题,并且在整个测试团队开展测试工作之前就找出问题。在本节中,您将学习如何为自动化测试手动运行测试套件,以及更高级的选项,设计一个可按计划运行多次自动化测试的工作流程。: |/ ?* A9 `5 V6 e
使用测试套件运行自动化测试
( M- I! i4 V4 R% c
  • 按照信息中心给出的说明创建一个测试套件(参阅 参考资料)。将所有的自动化测试用例添加到其中,并确保为每个测用例指定了测试环境。
  • 要指定测试环境,请执行以下操作:
    7 `4 G8 Q3 Y% y: n! G6 w. p
    • 查看所需的行,然后单击 Change Execution Properties
    • 选择测试环境。
    • 单击 OK,然后保存该测试套件。/ Q2 E3 J- N8 \& q5 r6 _
  • 在测试套件编辑器中单击 Run
  • 在默认情况下,Rational Quality Manager 会为每个测试选择一个适配器。要更改默认适配器,请单击 Edit Adapter。您也可选择测试单元,让 Rational Quality Manager 在运行时分发各个测试。这样,可允许指定测试单元中的软件在运行时根据适配器的可用性来完成适配器的选择工作。
  • 选择 Run in parallel(以防各个测试之间没有依赖关系),以最大限度减少套件执行的总体时间。
  • 单击 OK
    ) h1 `1 v1 F2 S9 b+ V+ ^! K" c
自动化测试的日程按排/ }* t# ^1 G+ G' H
  • 单击 Execution > Create Execution Schedule。
  • 提供测试安排表的名称。
  • 选择可用的测试计划安排选项(参见图 8):
    9 ?% o! O  p3 x+ y" Y  A
    • 安排在指定的时间执行一次
    • 安排在每天指定的时间执行
    • 安排在每周指定的日期执行
    • 根据版本可用性来制定日程安排4 R: b! L2 W% c! ]0 ^3 {! `
注意:
; L8 y  \6 I6 \. b; [$ Y前三个选项都是根据时间来安排执行情况。当您想在每次创建新版本时运行测试,那么最后一个选项更加实用。
! d% q, p* {( p8 k; b, v
* N' U  z0 Z  L6 x图 8. 日程安排的类型
! A  ?( q9 o: I+ _3 w: Z0 k( e6 ]8 C* S6 {
  g2 U' W( [$ Q6 z- Q
  • 在 Steps 部分中,单击 + (加号)按钮添加一个测试套件执行记录,如图 9 所示。通过过滤找寻所需的记录,然后将其添加到 Steps 部分中。您可根据需要随意添加执行记录。
    3 W0 M! i; ]( R. x7 l* w4 c
! B9 y) c- S7 ~, ]% _
图 9. 添加一个日程安排步骤* c' l% j8 j; o! w- _% }

" `3 |5 A& ^4 Z- W3 A- U( d  c8 h4 I" r  R" j% @* }
  • Rational Quality Manager 会自动为执行工作选择可用的适配器。但是,为了在运行时更好地使用可用适配器,请选择工具栏中的 Choose machines at run time。选中的适配器将被设置为 "Search runtime",如图 10 所示。
    # ]4 ]4 @9 j# N9 r9 G$ z  W

1 ]7 B5 t' g; M* j! E4 i5 E$ [- K图 10. 在运行时搜索适配器
2 w6 |! G4 D! Q5 K5 ^" Q9 K: b( t$ D/ |. D
4 s% c# M7 D# Y$ F7 v
  • 如果想隔离 Rational Quality Manager 机器(其中的 Rational Quality Manager 应该可以搜索可用的适配器并且不干扰其他的测试环境),则可将测试单元与执行日程安排相关联。
  • 单击保存) V# T' u0 u6 f% ~* h. m
当触发某个日程安排时,已添加到该执行日程安排中的所有步骤将依次执行。/ F1 G, o4 k4 n% l
提示:
' R, r2 y6 g! S* T% j; h: C要管理已安排好的作业,可选择 Next scheduled time。要取消某个日程安排,可单击 Execution > Browse > Scheduled Jobs% K% J1 ^! z/ |

$ `6 R# E5 Q2 i9 e+ p6 r$ a1 p
0 k# g2 f/ w9 B1 ]
结束语
& Q& z+ D6 @* a- M在本文中,您了解了如何使用 Rational Quality Manager 针对各种类型的测试自动化工具(包括命令行脚本)运行并安排自动化测试。本文解释了如何配置 Rational Quality Manager,以使自动化测试根据测试计划在测试环境中运行,并确保已正确覆盖所有支持的平台。您还了解了如何使用测试单元更好地管理自动化测试。% N8 w# [! K5 a( L6 O. O& E

) T  _) @7 `) j

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
 楼主| 发表于 2013-1-24 17:03:33 | 显示全部楼层
测试单元的样例代码:

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复 支持 反对

使用道具 举报

 楼主| 发表于 2013-1-24 17:03:49 | 显示全部楼层
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

SCMLife推荐上一条 /4 下一条

QQ|小黑屋|手机版|无图版|SCMLife.com ( 京ICP备06056490号-1 )

GMT+8, 2018-12-12 23:27 , Processed in 0.071811 second(s), 7 queries , Gzip On, MemCache On.

Powered by SCMLife X3.4 Licensed

© 2001-2017 JoyShare.

快速回复 返回顶部 返回列表