JaSSTよいテストプロセスの作り方
14 likes4,686 views
JaSST'14 Tokyo 企画セッション「よいテストプロセスの作り方」の前説資料。 詳細は、以下のリンク先を参照のこと。 http://jasst.jp/symposium/jasst14tokyo/report.html#plan4
![dynamic test process
• 実際にテストを実施レベルでのプロセス
• テスト計画で計画されたテストレベルやテストタイプを実施
テスト設計
＆実装
テスト環境
構築＆保守
テスト
インシデント
報告
テスト実行
テスト
環境要求
テスト仕様
テスト環境
準備レポート
インシデント
レポート
テスト
結果
[問題の通知 OR
再テスト結果]
[問題の通知なし]
テスト計画
テスト
メジャー
コントロール
指示
図6「Dynamic test processes」
ISO/IEC/IEEE 29119-2 Test processes P-28より引用（翻訳は独自）
テスト設計＆実装プロセス：
テスト仕様の開発プロセス。フィーチャ
セットを識別し、テスト条件を確定し、
テストカバレッジアイテムを決め、テス
トケースを作成し、テストセットにまと
め、テスト手順に落とし込むプロセス。
テスト環境構築＆保守プロセス：
テスト環境要求に基づき、テスト環境を
セットアップし、またテスト環境を保守
するプロセス。
テスト実施プロセス：
テスト手順を実行し、テスト結果と着た
い結果と比較し、テストの実行を記録す
るプロセス。
テストインシデント報告プロセス：
テスト結果を分析し、対応が必要なイン
シデントが発生した場合にインシデント
レポートを作成し報告するプロセス。](https://image.slidesharecdn.com/random-150707092747-lva1-app6891/85/JaSST-10-320.jpg)
JaSSTよいテストプロセスの作り方
- 1. よいテストプロセスの作り方 JaSST ‘14 Tokyo パネルセッション
- 2. ソフトウェアテストのプロセスを軸 とする国際規格ISO/IEC/IEEE 29119 シリーズが先日発行されました。シ リーズの第2部である「ISO/IEC/IEEE 29119-2:2013 Test processes」は、 欧米のベストプラクティスが集められ たテストプロセスモデルであると言っ ても過言ではありません。 本 セ ッ シ ョ ン で は 、 最 初 に ISO/IEC/IEEE 29119シリーズの概要 について簡単に説明した後、テストプ ロセスについてのパネルディスカッ ションに移ります。 パネルディスカッションには、本規 格を策定しているISO/IEC JTC 1/SC 7/WG 26の議長であるStuart Reid氏が グローバルの立場から、国内委員とし て策定に関わってる三富篤氏が日本の 立場から、ISO/IEC/IEEE 29119勉強 会を主催している山崎崇氏が規格を使 うユーザの立場から参加し、様々な視 点から議論します。 また、モデレータにはWG26国内委 員会の主査である西康晴氏を迎え、会 場を巻き込みつつ、テストプロセスに ついて時間の許す限り議論を深めてい く予定です。 欧米と日本のテストプロセスに対す る考え方の違い、規格策定側からの示 唆、規格を使う側の疑問など、実際に この規格を読んで利用する上でのポイ ントや注意点などが浮き彫りになるこ とでしょう。 是非本セッションを通じてより良い テストプロセスを作るヒントをつかみ とっていください！
- 3. 三富 篤みとみ あつし 1998年株式会社日立製作所入社。同社研 究部門で統合システム運用管理ソフトの先 行研究に従事したのち、ソフトウェア生産 技術部にてソフトウェア開発のプロセス改 善として、プロジェクト管理システムや ソース構成管理システムなど開発基盤シス テムの開発を担当。その後、事業所内の開 発環境クラウドのプロジェクトを立ち上げ、 プロジェクトマネージャとして本サービス の構築および運用に従事。 2010年11月より、情報処理学会 情報規 格 調 査 会 SC7/WG26 の 委 員 と し て 、 ISO/IEC/IEEE 29119の規格策定に参画。 Stuart Reidスチュアート リード 博士、英国コンピュータ協会フェロー、 認定ITプロフェッショナル、ロンドンに本 拠 を 構 え る TSG （ Testing Solution Group）社CTO（最高技術責任者）。 高い安全性が必要なシステムや金融・メ ディアといったエンタープライズシステム の開発、テスト、教育など、IT業界で30年 以上のキャリアを築いている。また多くの 要職を務めることで国際的なテストコミュ ニティを主導している。 ISO/IEC/IEEE29119シリーズを作成し ているISO/IEC JTC1/SC7/WG26のコン ビーナ（議長）であり、WG26のイギリス 代表委員でもある。
- 4. 西 康晴にし やすはる 電気通信大学・大学院情報理工学研究科 総合情報学専攻経営情報学コースの講師と して研究や教育、コンサルティングを行う 傍ら、ソフトウェアテストのビジョナリー として「現場に笑顔を」をキーワードに飛 び回っている。 ISO/IEC/IEEE 29119シリーズとしては 国内委員の主査。ソフトウェアテスト技術 者交流会(TEF) お世話係、NPO 法人ソフト ウェアテスト技術振興協会（ASTER）理事 長、NPO 法人組込みソフトウェア管理者技 術者育成研究会（SESSAME）副理事長、 財団法人日本科学技術連盟ソフトウェア品 質委員会（SQiP）副委員長などを務める。 山崎 崇やまさき たかし 2001年トレンドマイクロ株式会社入社。 同社製品開発部において、QAエンジニアと して様々なプロジェクトに参加し、特にソ フトウェアテストの活動全般を担う。現在 はエンタープライズの開発プロジェクトに おいてテストを担当する傍ら、品質・テス トに関連する社内コンサル的な活動にも手 を広げている。 社外活動にも積極的に参加しており、 JaSST Tokyoや、WACATEなどでも活動。 2014年1月よりISO/IEC/IEEE 29119シ リーズの勉強会を有志と共に主催。自身も 規格についての理解を深めながら、参加者 にISO/IEC/IEEE 29119の情報発信をして いる。
- 5. • ISOとIEC さらにIEEEがJointしたソフトウェアテストの国際規格群 • Part １から3まで規格化完了。Part 4とPart 5は現在策定中 • ISO/IEC/IEEE 29119-1:2013 Software testing – Concepts and definitions • ISO/IEC/IEEE 29119-2:2013 Software testing – Test processes • ISO/IEC/IEEE 29119-3:2013 Software testing – Test documentation • ISO/IEC/IEEE 29119-4 (DIS) Software testing – Test techniques • ISO/IEC/IEEE 29119-5 (WD) Software testing – Keyword driven testing テスト文書 テスト プロセス テスト技法 コンセプトと 定義 注：Part 1は副読本的なもののため、本資料では特に言及しない。またPart 5はPart 1～4の構想後に新規提案 されたものであることと、まだWD(Working Draft)の段階であることから、同様に本資料では特に言及しない。 図1「ISO/IEC/IEEE 29119シリーズの構成」
- 6. • あらゆるソフトウェアテストに対して適応可能なように策定 • 業種ドメイン、開発規模、開発プロセスなどコンテキストに依らない • 汎用的なテストプロセス(Test Sub Process）の定義 • テストレベル、テストタイプによらないテストプロセスモデル • 同じテストであるならば、同じプロセスで表せる(抽象度が高い) • 抽象度は高いが、豊富な付属書(Annex)によって具体化例を提示 • リスクベースドテストの明示的な示唆 • テスト計画プロセスのアクティビティとして、テスト戦略を考える前に リスクを識別し、軽減アプローチをとるアクティビティがある • 動的テストがスコープ • 静的テスト(レビューや静的解析など）は現在スコープ外
- 7. • 3層のプロセスレイヤーで8つのプロセスを定義 • 組織的なテストプロセスのレイヤーに1プロセス • テストマネージメントプロセスのレイヤーに3プロセス • 動的テストプロセスのレイヤーに4プロセス 図2「The multi-layer testing processes 」 ISO/IEC/IEEE 29119-1:2013 Concepts and definitions P-10 より引用(翻訳は独自) テスト計画 プロセス テスト モニタリング &コントロール プロセス テスト完了 プロセス テスト設計& 実装プロセス テスト環境 構築&保守 プロセス テスト インシデント 報告 プロセス テスト実行 プロセス 組織的な テストプロセス 図3「The multi-layer model showing all test processes」 ISO/IEC/IEEE 29119-2:2013 Test processes, P-11 より引用(翻訳は独自)
- 8. organizational test process • 組織的なテストポリシーや組織的なテスト戦略を作成し、モニター/コン トロールし、そして更新するプロセス • 組織で実施されるテストはすべてこれをもとに具体化される • プロジェクトに依らない、組織共通、プロジェクト共通なものを定義 組織的なテストポリシー： エクゼクティブレベルのドキュメ ント。組織におけるテストの目的、 ゴール、全体的なスコープを記述 する。「組織におけるテストと は？」を記述するメタなもの。 組織的なテスト戦略： 組織で実行するすべてのプロジェ クトにおいて実行されるテストの ための包括的(generic)な要求を 表現したドキュメントで、どのよ うにテストを実行するかの詳細を 提供する。テストポリシーとは異 なり、エグゼクティブの関与は必 ずしも必要としない。 ※Part 3のTest documentationには各 文書のアジャイルにおける文書例、伝統 的な会社における文書例の両方がAnnex に掲載されている。イメージがつかない 場合は、そちらを参照するとよい。 Test Management Processes (applied To Project Test Management) Test Management Processes (applied To Project Test Management) Test Management Processes (applied To Project Test Management) テストマネージメントプロセス (プロジェクトテストマネージメントの適用) 組織的なテストプロセス (テストポリシーの適用) 組織的なテストプロセス (テスト戦略の適用) 組織的な テストポリシー 組織的な テストポリシー 組織的な テスト戦略 組織的な テストポリシーの フィードバック 組織的な テスト戦略の フィードバック 組織的な テストポリシーの フィードバック 図4「Example test management process relationship」 ISO/IEC/IEEE 29119-2 Test processes P-15より引用（翻訳は独自）
- 9. test management process • 実際のプロジェクトにおけるテストの管理レベルにおけるプロセス • プロジェクト全体のテストを管理するプロセスだけではなく、テストレ ベルやテストタイプなどのサブプロセスのテストを管理するプロセスも 同じモデルであらわしている 組織的な テストプロセス テストマネージメント プロセス テスト計画 テスト モニタリング＆ コントロール テスト完了 テスト計画アップデート テスト 計画 テスト 結果 テスト 完了 レポート Test Management Processes テストマネージ メントプロセス 動的テストプロセス Dynamic Test Processes 動的テストプロセス テストポリシー＆ 組織的なテスト戦略 テスト計画、 コントロール 指示 テスト計画、 テスト状況レポート、 テスト完了レポート、 テストメジャー テスト計画、 コントロール 指示 テスト メジャー テスト計画、 コントロール 指示 テスト メジャー テストポリシー＆ 組織的なテスト戦略の フィードバック テスト管理プロセス： テスト計画を作成するプロセス。TP1 からTP9の9つのアクティビティがあ る。この中でリスクの識別などが明 示的に示されており、リスクを考慮 した上でテスト戦略を立てるという 流れんが示されている。 テストモニタリング＆ コントロールプロセス： テスト活動を通じて得られるテスト メジャーによりテストをモニタリン グし、計画からの逸脱を検知したら コントロールのため指示を出し、都 度状況を報告する。 テスト完了プロセス： テスト完了時に、テスト資産を保管 し、テスト環境を片付け、振り返り をし、そして完了報告する。 図5「Example test management process relationship」 ISO/IEC/IEEE 29119-2 Test processes P-15より引用（翻訳は独自）
- 10. dynamic test process • 実際にテストを実施レベルでのプロセス • テスト計画で計画されたテストレベルやテストタイプを実施 テスト設計 ＆実装 テスト環境 構築＆保守 テスト インシデント 報告 テスト実行 テスト 環境要求 テスト仕様 テスト環境 準備レポート インシデント レポート テスト 結果 [問題の通知 OR 再テスト結果] [問題の通知なし] テスト計画 テスト メジャー コントロール 指示 図6「Dynamic test processes」 ISO/IEC/IEEE 29119-2 Test processes P-28より引用（翻訳は独自） テスト設計＆実装プロセス： テスト仕様の開発プロセス。フィーチャ セットを識別し、テスト条件を確定し、 テストカバレッジアイテムを決め、テス トケースを作成し、テストセットにまと め、テスト手順に落とし込むプロセス。 テスト環境構築＆保守プロセス： テスト環境要求に基づき、テスト環境を セットアップし、またテスト環境を保守 するプロセス。 テスト実施プロセス： テスト手順を実行し、テスト結果と着た い結果と比較し、テストの実行を記録す るプロセス。 テストインシデント報告プロセス： テスト結果を分析し、対応が必要なイン シデントが発生した場合にインシデント レポートを作成し報告するプロセス。
- 11. テスト ポリシー 組織的な テスト戦略 テスト 計画 テスト状況 レポート テスト完了 レポート テスト環境 準備レポート テストデータ 要求 テスト環境 要求 テストデータ 準備レポート インシデント レポート テスト手順 仕様 テストケース 仕様 テスト設計 仕様 実行 結果 テスト 結果 テスト実行 ログ • 16種類のドキュメントが定義されており、Part2のテストプロセスと対応 づけされている • ISO/IEC/IEEEのJoint規格なのでIEEE 829はISO/IEC/IEEE 29119-3に 置き換えられる 図7「各テストプロセスにおけるテスト文書」
- 12. ISO/IEC/IEEE 29119で 紹介するテスト設計技法 同値分割法 クラシフィケーションツリー法 境界値分析 構文テスト 全組合せテスト ペアワイズテスト Base choiceテスト Each choiceテスト デシジョンテーブルテスト 原因結果グラフ 状態遷移テスト ユースケーステスト ステートメントテスト ブランチテスト デシジョンテスト ﾌﾞﾗﾝﾁｺﾝﾃﾞｨｼｮﾝ組合せテスト ブランチコンディションテスト 改良条件判定テスト All-Definitions Testing All-P-Uses Testing All-C-Uses Testing All-DU Testing All-Uses Testing エラー推測 仕様に基づいた技法 構造に基づいた技法 経験に基づいた技法 組合せテスト設計技法 シナリオテスト データフローテスト 図８「The set of test design techniques presented in ISO/IEC 29119-4」 ISO/IEC/IEEE 29119-4 Test techniques P-7より引用（翻訳は独自） • Part 4では、(動的)テスト設計技 法について • Part 4はまだ国際規格としてリ リースされておらずDIS (Draft International Standard)である ため、リリースまでに変更が入る 可能性がある • JSTQBの分類と基本的には同じ • JSTQBのシラバスでは扱っていな い技法なども含まれている
- 13. 参考情報 ISO/IEC/IEEE 29119 勉強会公開資料 • 勉強会動画＠Ustream • http://www.ustream.tv/recorded/42561123 • http://www.ustream.tv/recorded/42562313 • http://www.ustream.tv/recorded/43186704 • http://www.ustream.tv/recorded/43188671 • 勉強会資料＠SlideShare • ISO/IEC/IEEE 29119 Software testing 勉強会 第1回 規格の全体構成と各規格の概要 (山崎崇) • ISO/IEC/IEEE 29119 Software testing 勉強会 第2回 Part 2 Test Processes (山崎崇) ISO/IEC/IEEE 29119関連 • ISO/IEC/IEEE 29119-1:2013 Software testing – Part 1: Concepts and definitions • ISO/IEC/IEEE 29119-2:2013 Software testing – Part 2: Test processes • ISO/IEC/IEEE 29119-3:2013 Software testing – Part 3: Test documentation • ISO/IEC/IEEE DF 29119-4 Software testing – Part 4: Test techniques • 高信頼な組込みソフトウェアのためのテスト事例と最新動向 (羽田裕氏) IEEE Std 829関連 • IEEE Std 829:1998 Standard for Software Test Documentation • IEEE Std 829:2008 Standard for Software and System Test Documentation ISTQB/JSTQB関連 • テスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2011.J02 • ソフトウェアテスト標準用語集 （日本語版）Version 2.2.J01 ISO/IEC 関連 • ソフトウェアエンジニアリング関連の標準化 ～ ISO/IEC JTC1/SC7による国際標準化とSECの取組み～(高 橋光裕氏)