译​者 | 李睿

审校 | 孙淑娟

微小的变化可能会产生巨大的后果。由于客户和市场的需求和选择是动态的，因此预计软件将与变化的趋势同步发展。在少数情况下，后端的更改甚至轻微修改通常会导致偏离预期的用途和功能。为了避免软件中出现此类异常，质量保证（QA）专家团队在回归测试工具的帮助下执行回归测试。

测试人员团队应该确保新代码不会与旧代码冲突，并且未更改的代码继续按预期运行。软件产品一经设计，就会经常更改，以确保正确结合复杂和独特的功能。测试需要确保应用程序的早期功能仍然有效，并且其最新的更改没有引入新的错误。  

什么是回归测试？  

回归测试是一种应用程序测试，用于检测软件在当前代码被修改或更改之后是否仍然可以运行。它是软件开发和测试生命周期的重要组成部分，允许开发人员不断改进软件而不会对其功能产生不利影响。执行这种形式的测试是为了确保不会通过错误修复引入最新的问题。  

例如，假设开发人员在某处修改了一些代码，而现在早期的工作特征不再起作用。以下是其背后的原因：  

（1）开发的代码包含导致行为变化的缺陷。

（2）无意中让代码中的两个不同区域以从前没有的方式相互依赖。

（3）修改的代码依赖于另一个“特征”的一部分，该部分也被破坏（这就是检查工作很重要的原因）。  

回归测试的最终目标是揭示可能影响软件功能的任何更改所导致的问题。  

为什么需要回归测试？  

回归测试保证了这些改动不会在当前功能中引入新的错误，这些功能以前运行得很好。在很多时候，当前特征本身的必要性会发生修改，这可能会影响其他应用程序的功能。在这种情况下，会针对其他功能执行此类测试。由于旧库被弃用而升级或更改底层技术的情况下，也需要进行回归测试。为了确保这不会对功能产生任何影响，软件测试人员将执行端到端的回归测试。  

简而言之，回归测测试是在以下几种情况下进行的：  

（1）新增最新功能.  

（2）修改当前功能的必要性。  

（3）性能修复。  

（4）代码优化。  

（5）错误修复。  

（6）技术升级/变革。  

例如，如果修复或修改了一些导致用户配置文件出现问题的代码，则可能是以前运行良好网站的另一部分，现在无法正常运行，因为修复反而造成破坏。回归测试可以帮助避免这种情况。  

回归测试的意义

回归测试对于在新添加特征、变更、更改或与新软件集成之后检查整个软件功能非常重要。这种软件测试在将软件交付给最终用户之前验证软件是否按预期执行，它有助于增强用户体验并获得用户信任。  

它既可以自动执行，也可以人工执行。自动化测试用例有助于最大限度地减少整个项目的时间、费用和资源。回归测试还有助于减少项目在将来的测试用例。通过自动化回归测试，团队可以专注于软件开发的其他部分，从而按时发布产品。简而言之，这种形式的测试提供了敏捷方法中工作流的稳定性和完美的连续性。它有助于在每个阶段及早发现错误或缺陷，从而管理时间和费用。  

回归测试的挑战是什么？  

尽管这种类型的测试带来了巨大的好处，但也存在一些挑战：  

• 复杂性——由于其极端的重复行为，当产品从初级阶段构建到下一个阶段时，测试用例变得非常复杂。它需要一直测试旧的测试用例和新的测试用例。  
• 时间——回归测试是重复的，因此冗长且耗时。这就使得在交付期限之前执行和交付产品成为一项巨大挑战的原因。  
• 选择合适的工具——为了成功进行这种形式的测试，选择最合适的工具至关重要。否则，将导致花费费用、时间和资源。  

为什么自动化回归测试在敏捷软件开发方法中至关重要？  

敏捷方法专注于构建优质产品，从而最大限度地减少与开发相关的威胁。由于敏捷方法包括反复发生的变化，因此拥有一个回归自动化测试程序是至关重要的。  

应该在回归测试工具中寻找哪些关键特性？  

以下列出了良好的测试工具必须具备的一些关键特性。  

• 无故障的脚本生成和维护  

无需额外努力就相对容易地构建测试自动化脚本，尤其是在实践要求高速度的敏捷交付实践时。在每个sprint中，都需要新的回归测试；但是，如果没有完美的回归测试工具提供支持，那么随着被测应用程序的更新，将会浪费大量时间来升级其测试。开发人员将不得不快速执行自动化测试，并且其测试需要适应较小的修改，这样就不必花费额外的时间来修改其自动化回归测试。  

• 可扩展性和可重用性  

如果代码修改影响了正在测试的应用程序，则必须毫不费力地处理每个受影响的测试，而无需重写每个测试脚本。而首选的功能测试工具应该允许将测试实现模块化。此外，应该构建可重用的测试片段或脚本库，以便可以快速生成新的测试。此外，必须使用数据驱动的测试策略，允许在无限数量的场景中使用单个测试。  

• 每次构建后运行回归测试  

测试软件必须与持续集成/持续交付的管道集成，以使功能回归测试成为构建过程的一部分。选择的回归测试工具必须毫不费力地插入首选的持续集成（CI）/持续交付（CD）中，并且足够活跃以支持智能管道，根据测试结果触发活动。  

• 描述性和快速报告  

丰富的错误消息（在“通过/失败”之前）对于帮助识别出现错误的原因非常重要，在理想情况下，这必须包括诊断信息和屏幕截图。报告必须包含有关先前进行的测试的关键信息，以便在正在测试的用户故事附近发现重要的回归，例如网络和性能问题，以及视觉回归。首选的功能回归测试工具必须帮助识别需要额外测试覆盖的地方，以便能够更加主动。  

• 无限并行执行  

凭借当前交付实践的敏捷性，测试必须快速执行并快速给出结果。当针对不同的浏览器版本、场景和屏幕尺寸运行如此多的测试用例时，需要的资源数量会呈指数级增长。完美的回归测试工具将无限制地按需提供这些资源，因此可以在完成一个测试所消耗的时间内执行完整的测试套件。  

• 并行执行  

回归自动化测试工具必须能够计划和安排自动化测试，以便在各种环境中并行执行任意多次，从而节省在实施过程中的时间。使用其他数据集识别对不同执行环境敏感的变量至关重要，这些数据集在每个阶段（例如开发、分段、测试和生产）的不同执行环境中都会发生变化。  

• 可扩展性和可重用性  

如果代码修改影响了正在测试的应用程序，必须能够毫不费力地处理所有受影响的测试，而无需重写每个测试脚本。首选的回归测试工具应该能够使测试实现模块化。必须足够活跃以生成脚本库或可重用的测试片段，以便可以快速构建最新的测试。开发人员应该明智地采用数据驱动的测试策略，这样就可以在无限的场景中使用单个测试。  

• 合作  

对于从开发人员到质量保证（QA）的各种团队成员来说，访问测试和测试结果必须没有问题，以便可以尽快解决和缓解任何公认的回归问题。无论在哪里进行团队合作，还是在Jira、Slack还是仪表板中，都必须能够访问所报告的附带日志的并发情况。  

2022年智能回归测试工具  

回归测试如果执行得当，可以让软件开发团队相信他们的完整应用程序在代码修改后可以有效和智能地运行。但是，人工执行回归测试成本高、耗时长，并且难以扩展。随着一些应用程序变得越来越复杂，各个团队最终不得不在回归测试中加入额外的资源，雇佣更多的质量保证（QA）专家，并选择能够在每个发布周期完成测试的有效工具。

然而，选择合适的回归测试工具是很棘手的。本文将分享一些智能回归测试工具来解决这些问题：  

• Rainforest QA——这是一种无代码自动化用户界面（UI）测试工具，用于生成模拟用户与应用程序或站点的最终可视层交互方式的回归测试。  
• Selenium——Selenium是自动化浏览器的最智能和最古老的平台之一。集成开发环境是记录和回放功能。Selenium HQ允许开发人员使用其希望使用的任何语言创建自定义函数，例如.NET、Java、Python、Java等，可以将其与Selenium合并并编写。  
• Appium——由于Selenium只将桌面浏览器实现自动化，另一方面，Appium改变Selenium以测试移动设备上的浏览器。一般来说，Appium和Selenium有类似的限制。  
• Watir——Ruby中的Web应用程序测试(Watir)是一个基于Ruby（链接到SeleniumWeb Driver的库）的免费平台，但用户界面比Selenium更友好。就像Appium这样的一些工具一样，Watir也遇到了与Selenium类似的几个缺点。  
• Micro Focus UFT One——UFT停止自动化是一项巨大的功能。对于新手和非技术人员来说，它使用起来很简单。
• IBM Rational Functional Tester——它是一种在Linux和Windows OS（操作系统）上运行的记录和回放工具。如果以前使用的是IBM公司的其他几种业务解决方案之一，那么将其服务保存在一个地方可能会有所帮助。
• TestComplete——SmartBear出品的这款令人难以置信的工具提供了记录和回放以及对象识别特征，用于在Python、JavaScript和VBScript中编写测试脚本。它们支持在多个Web、桌面和移动平台（包括Android和iOS操作系统）上进行测试。  
• RanorexStudio——它结合了记录的活动以及来自预设列表或存储库的拖放操作来形成测试。  
• Subject7——Subject7是一个基于云的“真正的无代码”自动化测试解决方案，它将各种测试集成在一个平台上，使任何人都可以成为自动化专家。易于使用的软件允许简单、快速、复杂的回归测试创作，而无需编写单个代码和执行数千个夜间测试的大规模执行。  
• SoapUI Pro——这种类型的工具，用户友好且简单。SoapUI Pro在应用程序编程接口设计和编排方面是一个很棒的工具。此外，它对于性能和功能测试至关重要。  
• SahiPro——这是另一种基于代码的工具，经过完美设计，可使较少或没有编码经验的质量保证初学者更容易获得编码。
• Eggplant's——这是一个人工智能驱动的自动化测试，通过最小化测试维护和测试用例的优先级来简化回归测试。  
• QA Madness——它是测试自动化工具和人工测试服务之一，这意味着它们会接管全部或部分测试。  
• SilkTest——SilkTest是一个很好的自动化测试工具，支持SAP功能测试。基脚本非常有价值，可以轻松记录，然后进入并更改它生成的脚本。它有几个生成脚本。  
• Qualibrate——利用解决方案的测试计划和测试执行调度特征，它们非常重要和容易使用。利用SAP解决方案管理器以及它的Qualibrate功能，允许处理每个测试，直接从Solution Manager将其带入Qualibrate。
• PerformanceLab——这种形式的工具专门用于性能测试，尽管它们也采用著名的工具和编程语言——即Selenium、TestComplete、SoapUI、Appium、RFT、SAPTAO、UIAutomator和QTP/UFT，并开发工具来使它们使用起来毫无问题。  
• Telerik Test Studio——Telerik Test Studio是一个用于桌面、Web和响应式应用程序的测试自动化平台，支持功能性用户界面、负载和RESTful API测试。它可以帮助团队消除回归，并确保他们的应用程序仍然按照他们在引入任何修改之前的方式运行。它带有独立的集成开发环境和Visual Studio集成。  
• Katalon Studio——它使用Selenium Web Driver编写测试，但旨在支持非开发人员和开发人员之间的协作。  
• Avo Assure——Avo Assure是一种与技术无关的无代码自动化测试解决方案，它可以帮助开发人员通过单击一些按钮来测试全面的业务程序，这使得回归测试更快、更直接。

以上总结了一些顶级的自动化和人工回归测试工具表。选择可靠且高效的回归测试工具可能会让人望而生畏。由于市场上存在多种选择，人们很容易对工具的服务、功能和便利性感到困惑和不知所措。建议始终根据团队的舒适度、打算用于测试的软件产品、正在使用的框架和编程语言、其预算等选择正确的回归测试工具。  

敏捷环境中回归测试的最佳实践  

• 不要追求100%自动化

无论测试基础设施有多先进，都不可能实现100%的自动化。至少需要编写测试脚本，并且测试人员必须验证结果。在最好的情况下，可以实现70%～90%的自动化，因为一定数量的测试用例会导致假阴性/阳性，因此不适合回归测试。  

• 关注软件最脆弱的领域  

大多数质量保证（QA）测试人员和开发人员对他们的软件足够熟悉，可以发现最容易受到每个sprint修改影响的功能/区域的特性。此外，必须经常测试面向用户的功能和重要的后端问题。如上所述，敏捷开发中回归测试的协作方法有助于实现这一点，因为包括开发人员。  

• 选择自动化  

自动化是加速敏捷sprint回归测试的必要条件。从回归自动化回归测试脚本开始，然后使用每个新功能对其进行更改。因此，质量保证（QA）应该专注于在每个sprint中进行增量修改，而不是运行测试。  

• 了解测试人员的要求  

需要记住的是，质量保证（QA）专家将不得不在早期阶段投入一些人工测试工作——研究用户界面（UI）更改、软件逻辑、产品流程等。一旦设计了软件并且已经执行了一些重要的更改，最好引入自动回归测试。回归测试必须穿插人工验证，以检查假阴性或阳性。  

注：根据对银行业的一项案例研究，回归控制了高达60%的错误修复时间（这将被回归测试捕获）和40%的费用。  

回归测试的优点  

回归测试不仅可以提高软件质量，还可以降低缓解缺陷的成本和时间。还包括以下优点：  

• 增强用户体验，而不会引入意外的不利影响。  
• 在重大更新期间提前暴露和发现缺陷/错误有助于减少对用户和客户的影响。  
• 允许软件开发人员专注于最新的功能，而不是重新处理原有的错误。  
• 更少的意外威胁。回归测试可以成为风险缓解策略的有效组成部分，可以帮助企业和开发人员在问题和变化成为主要问题之前掌握它们。  
• 更好的整体系统性能  

总体而言，回归测试是任何软件开发生命周期（SDLC）中的关键步骤。回归测试无疑具有重要意义，主要是在引入最新特征或对软件代码进行修改之后。它保证了最少的停机时间，并保持低成本。回归测试套件提供应用程序的新增强代码或功能不会对应用程序的现有质量造成意外损失。它可以通过运行代码更改并尝试破坏某些应用程序来人工完成，如果需要进行大量代码修改，这可能会延长操作时间。但是，它也可以有效地发现测试自动化可能无法捕获的问题。  

即使是回归自动化测试也有一系列好处，因为它允许轻松和快速的测试，并具有各种好处——包括能够快速找到错误/缺陷而无需人工完成大量工作。然而，由于在虚拟机上使用不同的浏览器代替本地机器或其他开发人员的机器，因此存在一些缺点，例如具有复杂的测试代码或发现假阴性。简而言之，功能回归测试的主要目标是识别新旧代码之间的差异，并确保执行的修改是否按预期工作。

原文标题：​​Regression Testing: Significance, Challenges, Best Practices and Tools​​​，作者：Niranjan Limbachiya​