在QQ音樂,輸入“點擊搜索”,操作機器自動執(zhí)行進入到搜索界面,點擊搜索音樂到輸入框,輸入“周杰倫”,點擊“說好不哭”
Testin云測總裁徐琨在NCTS中國云測試峰會上用自然語言在iTestin上現(xiàn)場演示AI+測試的真正能力,只需在界面中輸入點擊、等待、檢查、長按、輸入等自然語言的文字描述,后臺的AI就能準確實時的在真機上進行完整無誤的操作和相關(guān)指令。
2. OCR文字識別:實現(xiàn)跨平臺腳本能力,降低腳本維護成本
目前大部分應(yīng)用為了Android端和iOS端的體驗一致,會傾向在兩個端上采用相同的UI設(shè)計,即相同的UI界面和操作體驗。企業(yè)希望減少對腳本維護的人力投入,同時在后續(xù)新增腳本時,逐步將Android端和iOS端的腳本統(tǒng)一為一套腳本,這樣進一步減少腳本維護的投入。Testin云測通過只依賴UI界面截圖的OCR和圖標識別技術(shù),使得Android端和iOS端使用同一套UI自動化測試腳本成為可能,實現(xiàn)跨平臺腳本能力,大大降低腳本維護成本。
在對OCR的檢測和識別模型進行訓(xùn)練時,數(shù)據(jù)是最關(guān)鍵的輸入,而且數(shù)據(jù)的精準度和多樣性,對模型的精準度和泛能力起到?jīng)Q定性作用。Testin云測擁有自身多年積累的應(yīng)用測試數(shù)據(jù),OCR訓(xùn)練數(shù)據(jù)量達1600萬,并且具有專業(yè)的AI數(shù)據(jù)采集與標注團隊對數(shù)據(jù)進行處理。
3.圖標識別技術(shù):進一步提升用戶體驗和自動化測試穩(wěn)定性
在應(yīng)用的UI自動化測試中,除了文字,圖標是另外一個與用戶交互最多的元素。在傳統(tǒng)的自動化測試中,圖標的識別主要靠控件ID和其他的控件信息,如class,xpath等,但這些信息在自動化測試實踐中被證明存在較大的不可靠性。因此,Testin云測的自動化測試主要從圖像的角度來識別和定位控件元素。
圖標識別技術(shù)是除OCR以外,另外一項支撐Testin云測自動化測試的關(guān)鍵技術(shù)。目前大部分應(yīng)用采用簡約設(shè)計的線條形圖標,導(dǎo)致原本可靠的模板匹配和特征點匹配技術(shù)失效。在實際測試中,現(xiàn)有最好的圖標識別技術(shù),正樣本的準確率只有66.87%,負樣本準確率為91.16%,單個圖標識別耗時為1532ms。Testin云測對簡約設(shè)計的線條圖標的識別,專門設(shè)計了圖標相似度判別算法,大大提高了圖標識別的準確率和對正負樣本的分辨能力,最終的正負樣本準確率在測試數(shù)據(jù)集上都超過了97%,單個圖標識別平均耗時為319ms,實現(xiàn)了業(yè)界領(lǐng)先的識別精度和性能。
此外,Testin云測利用自身的數(shù)據(jù)積累的優(yōu)勢,對應(yīng)用上的常用圖標利用深度學(xué)習(xí)目標檢測技術(shù)實現(xiàn)自動識別和定位,進一步提升了用戶體驗和自動化測試的穩(wěn)定性。
結(jié)語
從信息化、數(shù)字化到智能化,互聯(lián)網(wǎng)作為IT能力的載體,很大程度上正在改變IT技術(shù)的研發(fā)趨勢和應(yīng)用模式,重構(gòu)整個人類社會的商業(yè)體系。新技術(shù)和新商業(yè)模式的涌現(xiàn)顛覆了傳統(tǒng)商業(yè)生態(tài),也改變了人們的社會習(xí)慣。企業(yè)正在經(jīng)歷一場深重的大變革,而隨著互聯(lián)網(wǎng)及傳統(tǒng)行業(yè)的公司逐漸轉(zhuǎn)向數(shù)據(jù)驅(qū)動的運營方式,測試也被賦予了更多的含義。測試正變得越來越智能,機器學(xué)習(xí)正在帶來革命性的變化,讓我們拭目以待。
