際際滷

永霞粥顎岳看赫雨鴛吉永霞岳鞄看稼ライブラリによる徭強晒屶址
2016/7/24 テスト徭�啝�仂浸� 並箭�鷂�
小配剴�x
‐アウトライン／
Part.1 PyAutoGUI & PyUnitによるGUIベ�`スのテスト徭�啝�
�おまけ�Part.2 PyAutoGUI & PyUnit +弼？なPythonライブラリ試喘
�おまけ�Part.3 OpenCVによる�F�g腎�gのテスト徭�啝�

傚��
? U30テスト�O�コンテスト�30�r參和のテスコン� �_岸します�
? チュ�`トリアル�_岸嶄。勅鹿は栖埖嚠協
? ��卜�T�Lを毅輝しています
? http://aster.or.jp/business/contest/rulebooku30.html

Part.1
PyAutoGUI & PyUnitによる
GUIベ�`スのテスト徭�啝�

PyAutoGUIとは
? マウス荷恬、キ�`ボ�`ド荷恬、スクリ�`ンショット荷恬を徭�啝�垢�Python
�けライブラリ
? https://pyautogui.readthedocs.io/
? コンセプト
? 辛嬬な�りシンプルかつ岷湖議に聞える
? どんな�h廠�e.g. win or mac or linux)でも揖じように�咾�
? テスト徭�啝�挑`ルというわけではないですが、お返�Xに徭�啝�挑`ルを
�Mめるため書指�B初

PyAutoGuiの箭�APIの箭
import pyautogui
pyautogui.moveTo(100, 200) #恙��100、200にマウスを卞�咾気擦�
pyautogui.click() #マウスをクリックする
pyautogui.typewrite('Hello world!') #猟忖を嬉つ
pyautogui.keyDown('shift') #シフトキ�`を兀しっぱなしにする
position = pyautogui.locateCenterOnScreen('target.png') #target.pngと匯崑
する��銈琳佩弔臨�砲鯣ゝ辰垢�
峠叟な1ステ�`トメントでGUI荷恬を�峰

PyAutoGuiの箭��なパラメ�`タ峺協の箭
#鮫中貧でhoge.pngとマッチする恙�砲鯣ゝ�
pyautogui.locateOnScreen(｀hoge.png¨)
#グレ�`スケ�`ルでマッチングして恙�砲鯣ゝ�
pyautogui.locateOnScreen(｀hoge.png¨, grayscale=True)
#峺協の�I囃から恙�砲鯣ゝ�
pyautogui.locateOnScreen(｀hoge.png¨, region=(0,0, 300, 400))
#�I尖�g佩のインタ�`バルを�筝�
pyautogui.PAUSE = 0.2
デフォルトはシンプルに、駅勣に鬉犬瀞��に

PyUnit
? ライブラリ兆unittest。Python�け��xUnitフレ�`ムワ�`ク
? シンプルで��弛圓�澆�
? ツ�`ルチェ�`ンも徭喇に��Bできる
? Jenkis�けXML伏撹、テスト�Y惚鹿�などテスト喘�C嬬を返�Xに旋喘できる

PyAutoGUI & PyUnit
? PyUnitでテストフレ�`ムワ�`ク��B
�g佩、�Y惚�u��PyAutoGuiで�g廾
? PyUnitの�C嬬を聞いながら、GUIベ�`スのテスト徭�啝��g�F
? 喘余を�gればSikuli殻業のツ�`ルは��gに�Mめる

PyAutoGUIデモ�タッチパッド荷恬テスト徭�啝�
? 峺協のタッチバッド荷恬でMac OS秤�鷸㍍罎魃輅召任④襪海箸鰈�咼謄好�

PyAutoGUIデモ�タッチパッド荷恬テスト徭�啝�
#macアイコンをクリック
position = pyautogui.locateCenterOnScreen('mac_icon.png')
pyautogui.click(position)
#秤�鷄輅哨瓮縫紿`をクリック
position = pyautogui.locateCenterOnScreen('about.png')
pyautogui.click(position)
#燕幣を棋つ
time.sleep(1)
#燕幣�_�J
position = pyautogui.locateOnScreen('os_info.png')
self.assertNotEqual(position, None)

PyAutoGuiの��}泣
? GUI�キャプチャ鮫�荷恬しばり
? 鮫�のマッチングで�`餓の�S否��譴鰆原┐任④覆�
? 邑�^�森獷��{�I尖�唹、フェ�`ド�I尖など�に樋い
? �I尖が�Wい

Part.2
PyAutoGUI & PyUnit
+弼？なPythonライブラリ試喘

弼？なPythonライブラリの試喘
? Pythonはテスト徭�啝�濃醵辰任④襯薀ぅ屮薀蠅�猜��_されてる
? GUI荷恬(pyautogui吉)、ブラウザ荷恬(selenium.webdriver吉)、Excel荷恬(openpyxl)、
鮫��I尖(opencv吉)、猟忖�R�e(tesseract吉)、�C亠僥�(TensorFlow、scikit-learn吉)、
その麿�T？??
? Pythonベ�`スでテスト徭�啝�侫讒`ムワ�`クを�Mむと、それらライブラリの
試喘が辛嬬になる

matplotlib
? MATLABを歌深にしたライブラリ。
MATLABのような互�C嬬グラフを��gに竃薦できる。
? ☆テスト徭�啝�値召任呂覆い��MATLABでシミュ�`レションや�編^を佩っ
ている繁なら、徭�啝�h廠の�a廁チェックとしてスム�`ズに��襪任④�

matplotlibデモ
? プログレスバ�`のテスト徭�啝��PyAutoGUIで荷恬を徭�啝��
? 徭�啣掀�乃辰蕕譴織禰`タを朕��_�Jできるようにグラフ晒
プログレスバ�`鮫中
テスト��ソフトウェア
PyUnit
PyAutoGUI
1.徭�咼織奪船僖奪媛掀�
2. �B�A鮫中キャプチャ 3. プログレスバ�`の�r�g
�U�^に��する容卞
4. �r�g～�M�辰離哀薀�
matplotlib

statsmodels(+pandas, numpy)
? �B�A狼のモデルやデ�`タの蛍裂ライブラリ
? statsmodels.formula
? Rを歌深にしたAPIを聞える
? モデルの塀を猟忖双で�峰できる

statsmodels.formula
? モデル塀
? 仝log(OutputData) = �S方a～log(InputData)��S方b々
? Pythonでの�峰(�侘指｢蛍裂)
? 仝sm.ols(formula=＾np.log(OutputData) ~ np.log(InputData)￣, data=datalist)々
(1) OutputDataとInputDataを峺協する

statsmodels.formula
(2)�侘指｢蛍裂でモデルの光�S方や、モデルとデ�`タの餓�を蛍裂
�待�
R-squared: 0.779
�待�
coef std err t P>|t| [95.0% Conf. Int.]
---------------------------------------------------------------------------
Intercept 2.4606 0.325 7.578 0.000 1.794 3.127
np.log(Ouput Data) 0.9564 0.098 9.766 0.000 0.755 1.157
log(Output Data) = �S方a～log(Input Data)��S方b
モデルとの栽崑來パラメ�`タを�}方竃薦

statsmodels.formulaデモ�プログレスバ�`の徭�咼謄好�
? PyAutoGUIで徭�啣掀��廛蹈哀譽好乂`�M�辰鰡B�Aキャプチャで函誼
? プログレスバ�`の�M�値寅討髻⊂�侘指｢蛍裂でモデル晒。モデルの�S方
で、プログレスバ�`の�M�辰��輙┐蠅��咼謄好箸垢�
プログレスバ�`�C嬬
テスト��ソフトウェア
PyUnitPyAutoGUI
1.徭�咼織奪船僖奪媛掀�
2. �B�A鮫中キャプチャ
3. プログレスバ�`の�r�g
�U�^に��する容卞
statsmodels
4. プログレスバ�`�M�辰�
除貌モデルのパラメ�`タ
5. 栽倦�Y惚

#プログレスバ�`の�M�辰了��嵶�Y惚を函誼
def analysis_trend(time, data):
trend_data = pd.DataFrame([time, data]).T
trend_data.columns = ["time", "progress"]
result = sm.ols(formula = "progress ~ np.log(time)", data=trend_data).fit()
return result.params
class TestProgressBar(unittest.TestCase):
def test_progress_bar(self):
#�I尖互堀晒のため、GUI荷恬��の�I囃を蒙協してそこだけ荷恬するようにする
target_area = pyautogui.locateOnScreen('target_area.png')
target_region = location_to_region(target_area)
#プログレスバ�`の�_兵と�K阻の恙�砲�茲嚔Lさを函誼��M�辰糧ゝ辰里燭瓧�
start_position = pyautogui.locateOnScreen('progress_start.png', grayscale=True, region=target_region)
end_position = pyautogui.locateOnScreen('progress_end.png', region=target_region)
length = end_position[0] - start_position[0]
#プログレスバ�` �_兵荷恬
position = pyautogui.locateCenterOnScreen('start_button.png', region=target_region)
pyautogui.click(transform_coord(position))
��Aく�

��Aき�
#プログレスバ�`�M�暖ゝ�
progress_pos = []
progress_time = []
start_time = time.time()
time.sleep(1)
while True:
position = pyautogui.locateCenterOnScreen('progress_current.png', region=target_region)
if position == None:
break
progress_pos.append((position[0] - start_position[0]) * 100 / length)
progress_time.append(time.time() - start_time)
#モデルとの栽崑來�_�J
result = analysis_trend(progress_time, progress_pos)
self.assertTrue(result[0] < 20)
self.assertTrue(result[1] > 50 and result[1] < 100)
書指のモデル�progress_pos= result[1]～log(progress_time)�result[0]

Part.3
OpenCVによる
�F�g腎�gのテスト徭�啝�

OpenCV
? オ�`プンソ�`スのコンピュ�`タビジョンのライブラリ
? 児云議な鮫��I尖畠違に��鬄�修遼犾√h鮫?キャプチャ?カメラ崙囮、
キ�`ボ�`ド荷恬などを�Qえる
? ロボットの卞�嗽酉銈�LED燕幣吉、�F�g腎�gのテストの徭�啝��g鏡でサ
ポ�`トできる

OpenCVデモ�クレ�`ンロボットのテスト徭�啝�
? Macbook Proのカメラで�啝⑳蚌亜�OpenCVでクレ�`ン了崔を盾裂
? テスト徭�啝�h廠の塘崔チェックと、クレ�`ン崙囮�C嬬テスト�クレ�`ン了
崔が峺幣宥りである並をテスト�を徭�啝�
クレ�`ンロボット
1.�嘛�己祥��
2.�啝⑳蚌�
PC
PyUnit
OpenCV
3.ロボット了崔秤��
�クレ�`ンの�hさと
恙�卜志達�
4.テスト�Y惚
宥佚崙囮
☆��笋�gに栽わなかった
ので書指は繁�gで旗喘

OpenCV噫�
? 除定のPythonでは、コンピュ�`タビジョンやデ�`タ蛍裂のライブラリが割�g
? �lでも返�Xにコンピュ�`タビジョンベ�`スの徭�咼謄好箸��Bできるようになった
? テストオラクルやシミュレ�`ションのモデル恬撹も兼肖が和がった
互娼業を箔めなければ�C亠僥�のアプロ�`チでモデルを��Bできるようになった
? Pythonは�Mみ�zみエンジニアにとって嶷勣な児�A縮�B

際際滷

永霞粥顎岳看赫雨鴛吉永霞岳鞄看稼ライブラリによる徭強晒屶址

More Related Content

永霞粥顎岳看赫雨鴛吉永霞岳鞄看稼ライブラリによる徭強晒屶址