Mac下的UI自动化测试 （三）

使用sikuli进行UI自动化测试固然是方便很多，不用一切都使用AppleScript那烦人的语法，只要界面的UI没有变化，结构的变化不会影响到基于sikuli的自动化，但是基于AppleScript的就会受到影响。

而且使用图像识别进行自动化，会比使用脚本实现的自动化更接近于真实的手动测试，毕竟人就是通过人眼来识别控件的，所以控件在UI上的变化都会影响到sikuli自动化，而对于BVT级别的自动化，重点还是关注与基本功能是否正常，对控件在UI上的变化还是不那么敏感为好。

在我实现一个产品的BVT自动化的时候，需要操作某些视频的缩略图进行上传到云端，和从云端下载下来的测试，其中大量依赖于其测试素材缩略图的识别，而产品在测试过程中发现了一个缩略图不能正常产生的bug，而这个bug势必会影响到我们其他BVT功能的测试。为了不使得这个bug block我们其他基本功能的验证，我采用的是使用AppleScript获取其测试素材在library中的坐标，然后使用一个工具cliclick来对获取到的坐标进行鼠标左右键的单击和双击等操作。

下面是官网上对这个模拟鼠标和键盘操作的小工具的介绍：

“Cliclick” is short for “Command-Line Interface Click”. It is a a tiny shell/Terminal application that will emulate mouse clicks or series of mouse clicks (including doubleclicks and control-clicks) at arbitrary screen coordinates. Moreover, it lets you move the mouse, get the current mouse coordinates, press modifier keys etc.

首先，使用AppleScript获取这个素材的坐标，（由于一个缩略图的操作焦点应该是其正中央的位置，所以在下面的脚本中要进行一次计算，将中间点的坐标输出）：

on run argv
set clip_name to item 1 of argv
tell application "RealTimes"
activate
end tell

tell application "System Events"
tell process "RealTimes"
tell UI element 0 of scroll area 0 of group 0 of splitter group 0 of splitter group 0 of window 0
tell (1st image whose title is clip_name)
set p to position
set s to size

set x to ((item 1 of p) + (item 1 of s) / 2)
set y to ((item 2 of p) + (item 2 of s) / 2)

set output to ("" & x & "," & y)
do shell script "echo " & quoted form of output
end tell
end tell
end tell
end tell
end run

在python中，先调用上面的脚本获取坐标，再根据需要的操作使用cliclick的不同参数实现：

def click_item_by_cliclick(name):
command = cliclick_path + " c:{0}"
_run_for_cliclick(name, command)

def double_click_item_by_cliclick(name):
command = cliclick_path + " dc:{0}"
_run_for_cliclick(name, command)

def right_click_item_by_cliclick(name):
command = cliclick_path + " kd:ctrl c:{0} ku:ctrl"
_run_for_cliclick(name, command)

def check_exist_by_cliclick(name):
try:
run_apple_script("get_clip_position_in_library.applescript", name)
except Exception:
return False
return True

def _run_for_cliclick(name, command):
co = run_apple_script("get_clip_position_in_library.applescript", name).strip().rstrip('\n')
time.sleep(1)
command = command.format(co)
ret = exec_command(command)
if ret[0] != 0:
raise Exception(ret[1])

def multiple_select_by_cliclick(names):
command = " kd:cmd"
for name in names:
command += " c:" + run_apple_script("get_clip_position_in_library.applescript", name).strip().rstrip('\n')
command += " ku:cmd"
command = cliclick_path + command
ret = exec_command(command)
if ret[0] != 0:
return False
return True

在这里，python充当的就是一个胶水的作用，将AppleScript的输出用在工具cliclick上，并返回结果。