原文：http://www.woniuxy.com/note/625
以QQMusic为例，选择歌手后会出现歌曲列表。但是，通过UISpy根本找不到唯一的属性，如图。
从上图可以看出，第一首歌只提供一个processId的属性，但是该属性在QQmusic里几乎所有元素都一样，所以不能用来定位。该问题提供一种解决方案，拖动UIAutomation界面的Properties下拉滚动条，可以看到出现元素的坐标，那么是否可以用过坐标来定位呢？如图所示。
在UIAutomation里面提供一个click(x,y,waittime)的方法。我们可以尝试坐标定位。代码如下：
|
import subprocess import uiautomation import time #打开QQMusic subprocess.Popen('C:Program Files (x86)TencentQQMusicQQMusic.exe') time.sleep(2) #定位主界面 musicwindow = uiautomation.WindowControl(searchDepth=1, ProcessId='6092 (QQMusic)') #定位输入框 edit = uiautomation.EditControl(searchFromControl = musicwindow, foundIndex = 1,ProcessId='7148 (QQMusic)') #将光标定位到输入框中 edit.Click() #输入歌手，{ENTER}是模拟键盘回车 edit.SendKeys('樊凡{ENTER}') time.sleep(2) #点击指定坐标 uiautomation.Click(435,330) |
结果发现，并不能播放。在歌曲中有个播放按钮，需要定位播放按钮的位置，提供一个简单获取位置坐标的方法，可以通过截图整个屏幕的方式保存图片。然后使用画图的方式打开。这样就可以在左下方获取播放按钮的坐标，如图所示。
修改Click()中坐标，重新运行程序，就可以实现播放。
当然，程序本身提供全部播放，也可以将代码改为点击全部播放按钮，可以通过UISpy获取元素识别特征，然后调用。代码如下:
|
… edit.SendKeys('樊凡{ENTER}') time.sleep(2) musicwindow.ButtonControl(Name='播放全部').Click() |
当然，坐标定位不是最好的解决问题的方式，想要解决上面这种问题，可以尝试多级父子节点关系的查找定位，但这种方式肯定会非常复杂！
-
UIAutomation代码实例
下述代码演示了如何利用UIAutomation库完成对Windows 10自带的计算器和记事本的自动化操作。并用过程中还使用了PyUserInput库。需要下载安装pyHook和pyUserInput库即可。
|
import uiautomation, time, subprocess, os from pykeyboard import PyKeyboard class PyUIAuto(): def calc_test(self): # 或者直接使用Python运行一个计算器 # 启动之前先运行一条命令强制关闭所有计算器 os.system("taskkill /f /IM Calculator.exe") # os.system("start /b calc.exe") subprocess.Popen("calc.exe") # 首先找到应用程序的顶层窗口 calc_window = uiautomation.WindowControl(searchDepth=1, Name="计算器", ClassName="ApplicationFrameWindow") # 运行之前，如果程序已经启动，则将其放置于窗口上方 calc_window.SetFocus() calc_window.SetTopmost(isTopmost=True) # 找到对应的该应用程序的对象进行操作 button_3 = calc_window.ButtonControl(AutomationId="num3Button") button_3.Click() calc_window.ButtonControl(Name="加").Click() calc_window.ButtonControl(AutomationId="num5Button").Click() calc_window.ButtonControl(Name="等于").Click() # 得到实际运算结果并进行断言 result = calc_window.TextControl(AutomationId="CalculatorResults").Name if result.split(" ")[1] == "8": print("测试成功.") else: print("测试失败.") os.system("taskkill /f /IM Calculator.exe") # 执行其他应用程序 # os.system(r'"C:Program Filesinternet exploreriexplore.exe" http://www.woniuxy.com') def notepad_test(self): os.system("start /b C:/Windows/notepad.exe") time.sleep(2) notepad = uiautomation.WindowControl(searchDepth=1, ClassName="Notepad") document = notepad.EditControl(AutomationId="15", Name="文本编辑器") document.SendKeys("这是一个文本编辑工具") # 或使用SetValue notepad.MenuItemControl(Name="文件(F)").Click() # 按三次下箭头，再一次回车，打开文件保存对话框 uiautomation.SendKey(uiautomation.Keys.VK_DOWN) uiautomation.SendKey(uiautomation.Keys.VK_DOWN) uiautomation.SendKey(uiautomation.Keys.VK_DOWN) uiautomation.SendKey(uiautomation.Keys.VK_ENTER) # 组合按键 # uiautomation.Win32API.PressKey() # uiautomation.Win32API.ReleaseKey() uiautomation.SendKeys("D:\uiauto_test4.txt") time.sleep(2) notepad.ButtonControl(Name="保存(S)").Click() time.sleep(2) notepad.ButtonControl(Name="关闭").Click() # os.system("taskkill /f /IM notepad.exe") if __name__ == '__main__': # PyUIAuto().notepad_test() time.sleep(2) uiautomation.MoveTo(500, 600) pos = uiautomation.Win32API.GetCursorPos() print(pos) |
总之，UIAutomation是一个功能非常强大的专门用于Windows操作系统的测试库，除了测试Windows应用程序外，也可以作为Web系统GUI自动化测试的辅助。