12 月 19 日，主题为“测思未来”的tica 2019阿里巴巴质量创新大会于杭州举办，作为云测试领域的开创者及下一代测试的引领者，testin云测公司受邀出席会议，cto陈冠诚做《ai在自动化测试领域的应用——ai引领下一代测试新航向》主题分享，介绍ai技术与自动化测试的结合方式，以及如何借助融合自然语言处理、文本识别、图标识别等技术的下一代ai测试产品itestin，提升测试的易用性和工作效率。
此次会议通过智能化、无线、稳定性、iot以及线下智能5大会场，24 精彩议题，以及涵盖google、腾讯、testin云测等国内外领先互联网公司，平安银行、新奥集团、工商银行等知名传统企业，北大、新加坡国立大学等国内外知名学府的35 国内外顶尖测试专家的豪华讲师阵容，与700位与会嘉宾共话测试的未来，为业界提供了一个前瞻而领先的学术、技术与工业碰撞的分享舞台。
ai渗透了技术领域，它是一种能够理解，感知和学习的技术，通过使用计算机来解决通常需要人类智能和理解的问题。根据forrester的调研显示：全球有53％的数据和分析决策者表示，他们已经实施、正在实施、正在扩展或者升级某种形式的人工智能。在过去的一年中，全球有29％的开发人员（经理或者更高级别）开发了人工智能或机器学习软件。forrester预计，到2020年所谓的“技术精英”会提升自身的人工智能能力，将以人为本的设计能力，与人工智能开发能力相结合将是关键。
ai加持测试自动化：更智能，更简单，更易用
通过自动化测试来补充现有的手动测试过程，是cicd和devops的重要组成部分，大多数团队正在遵循这些，使其软件开发生命周期流程更加精简和有效。ai正在以各种方式影响测试自动化，从而在设计和执行测试中节省大量时间，更快地发布软件以满足客户需求。
测试智能化是未来几年测试行业最大的技术趋势之一，测试界对该趋势有很积极的反馈，一方面，我们已看到实际的落地案例，另一方面，该方向还会不断涌现新的技术进展。陈冠诚指出，“ai技术可以解决自动化测试学习成本高、维护成本高、hybird识别差、跨应用能力差，以及不支持跨平台等方面的问题。目前，ai技术主要从三个方面助力自动化测试，分别是测试用例的智能生成，测试的智能执行，以及测试结果的智能分析。”
itestin推出业界首款基于自然语言的脚本录制功能，支持用自然语言的交互方式，完成测试自动化操作，全面提升测试产品的易用性和自动化效率，通过人工智能技术，大大降低脚本调试和脚本维护成本。
具体来说：
1. 自然语言录入文字即可生成自动化脚本
通过itestin，想实现向下滑动app，就可以写“向下滑动”，如果想实现app登录，就可以写“点击登录”，不像以前需要设置各种参数才能完成这些操作，降低操作门槛。
2. 不依赖控件信息，进行控件定位识别
为了支撑自然语言撰写的自动化测试脚本语言的稳定与高效执行，需要高精度、高效率的ai算法提供可靠的识别效果。为了解决识别精度的挑战，testin云测打造了业界最大规模的app截图的字符识别数据集，并通过算法自动生成上千万条数据用于字符识别模型的构建。
陈冠诚说道，“现实世界的数据和传统方法就像深度模型的老师，我们可以从这些数据和方法中提取智能。通过图像处理技术，模型各种变换，使数据变得更全面，帮助模型达到更好的泛化能力。”
为了提升ocr深度学习的效率，testin云测与英特尔联合进行了探索，并重点从基础设施平台配以工具套件来构建和记娱乐怡情博娱的解决方案，用软件加速以及硬件支撑两个角度对ocr方案进行优化。借此，将ai测试中的ocr识别时间从2秒降低到0.3秒左右，实现了6倍的性能提升，且不影响测试的效果和结果。
3.以图找图和图标识别
testin云测的自动化测试中主要从图像的角度来识别和定位控件元素。目前大部分应用采用简约设计的线条形图标，这样导致原本可靠的模板匹配和特征点匹配技术都失效了。在实际测试中，现有最好的图标识别技术，正样本的准确率只有66.87%，负样本准确率为91.16%，单个图标识别耗时为1532ms。
testin云测对简约设计的线条图标的识别，进行了集中攻关，并且专门设计了图标相似度判别算法，大大提高了图标识别的准确率和对正负样本的分辨能力，最终的正样本准确率通过率为97.34%，负样本的准确率为97.16%，单个图标识别平均耗时为319ms，达到了业界领先水平。
结语
未来几年中，我们将看到人工智能与新兴的计算机视觉、自然语言处理和手势用户界面嵌入到各种类型的产品和设备中。ai和机器学习技术不断成熟和发展，它们正在越来越多地应对软件测试中的挑战。testin云测为应用、软件、网站、小程序等提供全方位测试服务，致力于将领先技术落地于测试行业，提升跨终端执行通过率，通过ai深度学习算法使自动化脚本越来越“聪明”，采用智能的、自适应的测试自动化方案让自动化变得更加“智能”。