![1. テスト実行時検索方式
-テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行](https://image.slidesharecdn.com/jasst20170623-170703125418/85/UI-AI-AI-18-320.jpg)
![1. テスト実行時検索方式
-テストを実行する-
⑤実行時に再度画像解析
⑥対応するAppium要素を取得
UIATextField[1]
⑦Appiumで実行
「名前」入力エリア UIATextField[1]
の対応はキャッシュし、
2回目からは高速に動作](https://image.slidesharecdn.com/jasst20170623-170703125418/85/UI-AI-AI-19-320.jpg)
「UI自動テストツールとAI」〜AIを使った自動テストの「今」と「未来」〜
- 2. About Me p 伊藤 望 p 株式会社TRIDENT 代表取締役 n テスト自動化の支援を行うベンチャー p コミュニティ運営 n 日本Seleniumユーザーコミュニティ p 執筆
- 3. 今日のお話 1. AI技術を使った自動テストサービス 「Magic Pod」 2. Magic Podの仕組み 3. Magic Pod自身のAIエンジンのテスト 4. AI自動テストの今後の可能性
- 5. 定型的な作業は、 どんどん置き換えられていく 今、様々な仕事が AIに置き換えられつつある p 運転 p 翻訳 p 倉庫作業 p 記事執筆
- 9. Magic Pod p AIを活用した自動テストWebサービス n ディープラーニングなどの機械学習技術などを活用 n 現在はモバイルアプリ向けのみ p 旧「Magic Pot」から改名
- 10. コンセプト動画 https://www.youtube.com/watch?v=f6SO9pZANas
- 13. 2. Magic Podの仕組み
- 14. p 2通りの方式がある 1. テスト実行時検索方式 n 画面キャプチャだけでテストを作成 2. テスト作成時検索方式 n もう少しシステム情報を活用した方式 n 画像解析が間違っていたら手直しできる n 実運用ではこちらをメインに使ってもらっている テスト作成・実行エンジンの仕組み
- 15. 1. テスト実行時検索方式
- 20. 2. テスト作成時検索方式
- 26. 1. 人間のように賢そうなプログラムをAIと呼ぶケース 2. 機械学習を使ったプログラムを指すケース n データを学習させる作業が発生 n 学習データによって挙動が変わる AIって何?
- 27. p 学習データの一部をテストデータとして使い、正答率で エンジンの性能を測る (交差検証) p 機械学習エンジニアは、大抵このテストをしている 機械学習エンジンのテスト テストデータ ①学習させる エンジン 学習データ ②テストする ③正答率が低いとNG
- 28. p 正答率の数字だけでは気づかないこともある p 例： 1. 学習データを増やした 2. その結果、正答率が96% => 98%にアップ 3. だが、これまで「ボタン」と認識できていた画像が認識できな くなった 機械学習エンジンのテスト
- 29. p どう学習されたかは、人間にはブラックボックス n 意図せぬ結果が時々起きる p 学習ロジックの中に、ランダム処理がある(ことが多い) n 例：確率的勾配降下法：学習データの偏りをなくすため、毎回 データをランダムに選んで学習 n 「データもロジックも変えてないのに、学習し直したら結果が 変わった！」みたいなことが.. 原因
- 30. p 正答率を見る + きちんと動作して欲しい基本テストケー スを自動テスト化 p 開発中もこまめにテスト Magic Pod開発ではどうしているか
- 31. p 失敗することはあるか n わかりやすいアイコン等の識別は、通常失敗しない n 人間も判断に困るような際どいデータの判定は、学習ごとに 結果が変わりがち p 失敗した時の対策 n 対策1：間違えたデータを学習データに加える n 対策2：とりあえず再学習 n 対策3：諦める n 対策4：機械学習ロジック自体の改良 基本テストケースが失敗したら
- 32. p 現状世の中で機械学習が使われているところ 1. 不安定さを許容できる処理 n 投稿写真のタグ付け n チャットボット n 商品のレコメンド 2. 人間より精度が良い処理 n 工場の不良品検出 n 病気の原因診断 そんな不安定で大丈夫か?
- 33. p Magic Podは? n 不安定さを許容できる部分に機械学習を使っている n 画像解析結果は、間違えてもユーザーが直せる n テスト実行には、現状機械学習エンジンを使っていない p 自動運転は? n 画像認識の精度はすでに人間と同レベル? n センサーなど、非機械学習技術と併用? そんな不安定で大丈夫か?
- 38. Magic Podの最終目標 p 人間向けの手動テストケースをAIが理解し自動実行 [email protected] / pass01 でログイン [email protected] pass01
- 40. Magic Podの最終目標 多くが「UI手動テスト」 1. Excel(など)でテストケース作成 2. 人間がUIからテスト実施 世界で毎年テストに 費やされている金額 15兆円 (推定) この部分を置き換える
- 42. 行間を読んで自動展開 - アイデア 1. Magic Podで、共通関数機能を提供 メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン ユーザーが、好きな名前で 共通関数を作成できる
- 43. 行間を読んで自動展開 - アイデア 2. 共通関数名 → 処理名のビッグデータを 学習すれば、自動展開できるように！ メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン
- 44. 行間を読んで自動展開 - アイデア 2. 共通関数名 → 処理名のビッグデータを 学習すれば、自動展開できるように！ メールアドレスに{user}を入力 パスワードに{pass}を入力 ログインボタンをクリック {user}/{pass}でログイン
- 45. テスト設計も自動化したい
- 48. AIとQAの未来
- 51. ご静聴ありがとうございました！