Mac下的UI自动化测试 （三）

使用sikuli进行UI自动化测试固然是方便很多，不用一切都使用AppleScript那烦人的语法，只要界面的UI没有变化，结构的变化不会影响到基于sikuli的自动化，但是基于AppleScript的就会受到影响。

而且使用图像识别进行自动化，会比使用脚本实现的自动化更接近于真实的手动测试，毕竟人就是通过人眼来识别控件的，所以控件在UI上的变化都会影响到sikuli自动化，而对于BVT级别的自动化，重点还是关注与基本功能是否正常，对控件在UI上的变化还是不那么敏感为好。

在我实现一个产品的BVT自动化的时候，需要操作某些视频的缩略图进行上传到云端，和从云端下载下来的测试，其中大量依赖于其测试素材缩略图的识别，而产品在测试过程中发现了一个缩略图不能正常产生的bug，而这个bug势必会影响到我们其他BVT功能的测试。为了不使得这个bug block我们其他基本功能的验证，我采用的是使用AppleScript获取其测试素材在library中的坐标，然后使用一个工具cliclick来对获取到的坐标进行鼠标左右键的单击和双击等操作。

下面是官网上对这个模拟鼠标和键盘操作的小工具的介绍：

“Cliclick” is short for “Command-Line Interface Click”. It is a a tiny shell/Terminal application that will emulate mouse clicks or series of mouse clicks (including doubleclicks and control-clicks) at arbitrary screen coordinates. Moreover, it lets you move the mouse, get the current mouse coordinates, press modifier keys etc.

首先，使用AppleScript获取这个素材的坐标，（由于一个缩略图的操作焦点应该是其正中央的位置，所以在下面的脚本中要进行一次计算，将中间点的坐标输出）：

on run argv
    set clip_name to item 1 of argv
    tell application "RealTimes"
        activate
    end tell

    tell application "System Events"
        tell process "RealTimes"
            tell UI element 0 of scroll area 0 of group 0 of splitter group 0 of splitter group 0 of window 0
                tell (1st image whose title is clip_name)
                    set p to position
                    set s to size
                    
                    set x to ((item 1 of p) + (item 1 of s) / 2)
                    set y to ((item 2 of p) + (item 2 of s) / 2)
                    
                    set output to ("" & x & "," & y)
                    do shell script "echo " & quoted form of output
                end tell
            end tell
        end tell
    end tell
end run

在python中，先调用上面的脚本获取坐标，再根据需要的操作使用cliclick的不同参数实现：

def click_item_by_cliclick(name):
    command = cliclick_path + " c:{0}"
    _run_for_cliclick(name, command)


def double_click_item_by_cliclick(name):
    command = cliclick_path + " dc:{0}"
    _run_for_cliclick(name, command)


def right_click_item_by_cliclick(name):
    command = cliclick_path + " kd:ctrl c:{0} ku:ctrl"
    _run_for_cliclick(name, command)


def check_exist_by_cliclick(name):
    try:
        run_apple_script("get_clip_position_in_library.applescript", name)
    except Exception:
        return False
    return True


def _run_for_cliclick(name, command):
    co = run_apple_script("get_clip_position_in_library.applescript", name).strip().rstrip('
')
    time.sleep(1)
    command = command.format(co)
    ret = exec_command(command)
    if ret[0] != 0:
        raise Exception(ret[1])


def multiple_select_by_cliclick(names):
    command = " kd:cmd"
    for name in names:
        command += " c:" + run_apple_script("get_clip_position_in_library.applescript", name).strip().rstrip('
')
    command += " ku:cmd"
    command = cliclick_path + command
    ret = exec_command(command)
    if ret[0] != 0:
        return False
    return True

在这里，python充当的就是一个胶水的作用，将AppleScript的输出用在工具cliclick上，并返回结果。