ICST2015 GUI Testingの紹介 #SIGSTJ
- 2. Papers • Classifying and Qualifying GUI Defects • Conceptualization and Evaluation of Component-based Testing Unified with Visual GUI Testing: an Empirical Study • Detection and Localization of HTML Presentation Failures Using Computer Vision- Based Techniques
- 4. 概要 • GUIのバグを分類して識別するためのGUIフォールトモデル 作成 • 実際のバグとGUIフォールトモデルの差分を分析 • 2つのGUIテスティングツールである GUITAR, Jubulaを使っ てテスト実行する • ミューテーションテストをして、GUIフォールトモデルにあ るものを見つけられるかどうか
- 5. 2つのGUIフォールトモデル • User Interface • 静的なもの • User Interaction • 動的なもの
- 7. GUIフォールトモデル(Interaction) カテゴリ フォールト Interaction Behavior 振る舞いが不正 Action 動作の結果が不正 動作しない 異なる動作になる Reversibility Undo/Redoが不正 強制的な中断が不正 中断が不正 Feedback 実態と異なる進 を表現している いくつかの振る舞いの途中のフィードバックが不正
- 8. 対象にしたソフトウェア • Sweet Home3D • File-roller • JabRef • Inkscape • Firefox Android
- 9. ミューテーションのツール • WIMP • post-WIMP • ※豆知識 WIMP = Windows, Icons, Menus, Pointerの略
- 10. テスト • ソフトウェアへのバグレポートを見て、フォー ルトモデルと対応付ける • その上で、フォールトモデルに対応するよう なミューテーションする • テストを実行して見つけられるか確認する
- 11. ミューテーションテスト結果 • 見つかったり、見つからないものもあったり（つまりま ちまちだった） • 原因 • GUIの画面描画 検査したいものを画面から取得できな い • トレンドの変化 標準コンポーネントはあまり使わない
- 13. Conceptualization and Evaluation of Component- based Testing Unified with Visual GUI Testing: an Empirical Study の紹介
- 14. 概要 • ヴィジュアルベースのGUIテストツールを開発し て、コンポーネントベースのGUIテストツール と比較した • ベースにしたのはGUITAR • コンポーネントベースは堅牢で高速、ヴィジュ アルベースは柔軟
- 15. 2つの試み • GUIアプリケーションに対してミューテーショ ンテストして比較 • 3つのJava OSSに対して実験して比較
- 16. ツールの開発 • GUIテスティングフレームワークである GUITARをベースにVGT GUITARを開発 Conceptualization and Evaluation of Component-based Testing Unified with Visual GUI Testing: an Empirical Study Fig. 1: Visualization of VGT GUITAR’s architecture. Squares show code components of the tool and rounded squares show artifacts generated by said components.
- 18. 3つのJava OSSに対して実験 • JEdit • Buddi • Rachota
- 21. Detection and Localization of HTML Presentation Failures Using Computer Vision- Based Techniques の紹介
- 22. 概要 • Web GUIのテストは大変ですね • バグの原因になっているHTML要素を特定する ようなアプローチ • 画像解析技術を利用する
- 23. 3つのINPUTによって判定する • 対象のWebページ(URL, HTML, CSS, JS, etc) • 対象のWebページの正しい表示(前バージョ ン、モックなどのスクリーンショット) • 動的に変化する部分(テキスト、広告)
- 24. ツールのフェーズ • 対象のWebページにおける差分を検査する • 差分とHTML要素をひもづける • 対象でバグっぽいものを開発者に教える
- 25. 使っているツール • WebSee • pdiff • Apache Commons Math3 • Original Java Library(R-Tree) • Open CV
- 26. テスト • HTML,CSS,JSなどをダウンロードしてローカ ルで動作できるようにする • ある法則に従ってランダムに要素のプロパティ を変えるなどしてミューテーションテストす る • ツールと学生で比較してみる
- 27. テスト対象 • OPAL • Crawller • Inno crawll • Gmail • USC CS Research • Craigslist • Virgin America • Java Tutorial
- 28. テスト結果 • 障害発見率100% • 学生は73% • 見つけた障害のうち、HTML要素を特定できたのは、 93%以上 • 学生は36% • 実行時間はどれも数分以内
- 29. 発表者kyon_mmの所感 • Chromeの開発者ツールを便利にした感じ • Web フロントエンドの開発効率があがりそう • でも、実際に困るのはJSデバッガじゃないかなぁとか。 • リグレッションテストとしてはいいのかも • Chromeの開発者ツールをforkしたほうが早かったので はー
- 30. 全体の所感 • GUITAR好きな研究者多いのは、クラシカルなツール だから改造しやすいのかな。 • GUIに関してはスポンサーの期待をマネジメントしに くいので、どんどんツールができればいいと思う。 • Web系のは見ればみるほど、W3Cがんばれよって感 じ。
- 31. ご清聴ありがとうございました