JasstTokyo2017
- 2. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 2 自己紹介 ? 岡野 麻子（おかのあさこ） ? 三菱スペース?ソフトウエア株式会社 ? 経歴 – ～2004 防衛分野の業務に従事 – 2004～2010 QAに所属 – 2010～ SEPGに所属。 ? 主に、CMMIによるプロセス改善に従事。「定量的プロジェクト管理」の推進をしていま す。 ? 統計分析（プロセス実績ベースラインやプロセス実績モデルの構築）、ツールの管理等 も行っています。 ? 弊社では、様々な事業分野を取り扱っており、製品も幅広くあります。使われる技 術の特性があり、統計分析では非常に悩むことが多いです。
- 3. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 3 アジェンダ 1. 発表の概要 2. 背景と目的 3. 品質予測モデルの構築 4. 予測実施のポイント 5. 適用事例の紹介 6. まとめと今後の予定 7. 参考文献
- 4. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 4 1.発表の概要 【概要】 当事業部では、累積誤り検出密度の予測にゴンペルツ 曲線を採用している。 プロジェクトの初期段階からプロジェクトゴール(※)達成 可否の予測を行うことができるように品質予測モデルの 構築において工夫した点（データの外挿）、およびプロ ジェクト管理へ適用した事例について紹介する。 ※プロジェクトゴール：プロジェクトの目標値（例：QCD等）
- 5. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 5 2.背景と目的 【背景】 プロジェクトの実績データが蓄積されてきた。このデータを 活用し、プロセスを改善させて品質向上を目指す 【目的】 出荷時の品質に問題のないプロダクトにする ?【手段】 予測モデルを利用したプロジェクト管理の推進 （CMMIレベル４(※)の考え方に基づく） ※CMMIレベル４： 「標準化されたプロセスを定量的に測定し、洗練化していく状態」 レベル４のプラクティスの一部に、予測モデルを利用したプロジェクト管理を行うこと が求められている
- 6. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 6 【何を予測するかを決定】 目的：出荷時の品質に問題がないプロダクトにする 手段：予測モデルを利用したプロジェクト管理の推進 「出荷後の品質に問題がないこと(品質のゴール)」 の達成可否の予測を行うことにより、 早期の問題対処を行う 3.品質予測モデルの構築(1/9)
- 7. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 7 【尺度の選択(1/2)】 ?「出荷後の品質に問題がない」プロジェクト ＝ 「品質のゴール」を達成した「成功プロジェクト」 であると定義 ?「成功プロジェクト」の実績データに基づく予測モデルを 構築し、その予測に従い管理を実施することとした 「出荷後の品質に問題がないこと」を評価する尺度とし て出荷時残存誤り密度を採用している。 3.品質予測モデルの構築(2/9)
- 8. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 8 【尺度の選択(2/2)】 ただし、出荷時残存誤り密度は出荷後ある程度の時間を経な いと分からないデータである。そこで、「成功プロジェクト」がプロジェ クト実施中にどのように「誤り」を検出していったのかという傾向と 同じ軌跡をたどっていけば、出荷時残存誤り密度も同じようになる と定義し、誤りの検出傾向を近似したモデルを作成することとした。 「成功プロジェクト」の各フェーズごとの「誤り検出密度」 の実績データを各工程ごとに累積した「累積誤り検出密 度」の予測モデルを構築 3.品質予測モデルの構築(3/9)
- 9. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 9 3.品質予測モデルの構築(4/9) 【データの層別】 尺度「累積誤り検出密度」が決まったので、 予測モデルの構築を試みる。???が??? 様々な事業のデータが存在し、 プロジェクトの特性によるばらつきが見られる 「成功プロジェクト」として分類したプロジェクトのデータに絞 り、そこからさらに予測モデルを適用する試行プロジェクトの特 性を考慮したデータの層別(※)を行う。 ※データの層別基準（一部紹介） 言語、製造量、プロジェクト構成メンバー、開発環境 等
- 10. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 10 【成功プロジェクト(過去実績)のデータに基づいた傾向把握】 1. 累積誤り検出密度を工程ごとにプロット 2. 工程ごとに箱ひげ図を作成 3. 四分位範囲の第３四分位を上限値、中央値を目標値、第１四分位を下 限値と設定 4. 四分位範囲を使用し、累積誤り検出密度のゴールを算出 5. 最終実施工程の上下限範囲をゴールと設定 6. 最終工程部分の上下限範囲 内へ予測結果がどの程度入るか でプロジェクトゴール達成可否 を判断 3.品質予測モデルの構築(5/9) 過去事例1 過去事例2 過去事例3 過去事例4 過去事例5 過去事例6 累 積 誤 り 検 出 密 度
- 11. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 11 3.品質予測モデルの構築(6/9) 【予測モデルの決定】 ? 予測モデルの尺度が「累積誤り検出密度」 ?ソフトウェア開発において累積誤り検出密度は、 工程が進むにつれて、一般にS字曲線を描く 傾向がある （参考文献③三觜武, ソフトウェアの品質評価法, 日科技連出版社, 1981） ?この曲線を表現するためにゴンペルツ曲線を採用した 算出した「累積誤り検出密度」の目標値を使用し、 ゴンペルツ曲線のパラメータを決定
- 12. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 12 3.品質予測モデルの構築(7/9) 【ゴンペルツ曲線と予測モデル】 ? = ?? ? ? (? > 0, 0 < ? < 1, 0 < ? < 1) ???(1) 変曲点： ?0 = ln(?1/ ln ?) ln ? , ?0 = ???1 ※形状は変曲点に関して点 対称ではない 変曲点 ? ?? ?0 ? ??00 ?, ? の値ににより ?0 ≥ 0 または ?0 ≤ 0 累 積 誤 り 検 出 密 度 各工程の番号 ただし, 目的変数 ? ：各工程の累積誤り検出密度 説明変数 ? ：各工程の番号
- 13. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 13 3.品質予測モデルの構築(8/9) 【ゴンペルツ曲線のパラメータの決定①】 (1)の両辺の常用対数をとり線形化 log ? = log ? + ? ? log ? ???(2) log(? + Δ?) = log ? + ? ?+1 log ? ???(3) ? が１工程進むと Δ? 増加 log(? + Δ?) ? log ? = ? ? 1 ? ? log ? = ? ? 1 (log ? ? log ?) これより ? = ?? + ? ただし ? ≡ log ? , ? ≡ log ? + Δ? ? log ? , ? ≡ ? ? 1, ? ≡ 1 ? ? log ? 式(3)-(2)より
- 14. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 14 3.品質予測モデルの構築(9/9) 【ゴンペルツ曲線のパラメータの決定②】 ? パラメータ ? と ? の決定 (最小二乗法で ? と ? を決定、最低４工程のデータが必要) ? = ? + 1, ? = 10 ? 1?? ? パラメータ ? の決定 （? = 0 に対する ? = ?? を試行錯誤的に与える） ? = ??/? これで、使用する品質予測モデルが決定。 これを用いて、試行プロジェクトに適用し、予測を行う。 実績値を測定するたびに予測を実施する。
- 15. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 15 4.予測実施のポイント(1/3) 【予測実施のポイント】 差分データ??を用いたために、最低4工程のデータが必要 ＝ 実施済の工程が4つ以上あることが必要 ? プロジェクト初期からの予測が出来ない???? ? 予測モデルを使用するプロジェクトすべてが４工程以上実施する とは限らない??? 4点に満たないときは、プロジェクト計画時に設定した目標 値を使用して外挿を行い、プロジェクトの初期からの予測 を可能にした ※「成功プロジェクト」として層別したものと実績値の傾向が同じであれば、プロジェクト ゴールの達成を予測でき、外装するデータとして妥当であると考えた
- 16. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 16 【品質予測実施手順】 1. 各工程における累積誤り検出密度の目標値を用いてゴン ペルツ曲線を決定 2. 手順１の曲線から各工程間の累積誤り検出密度の差 分を算出 4.予測実施のポイント(2/3) ? ?? ? ?0 ? ?+1 差分: ? ? ? ?+1 ? ?+1 ? ?? 凡例：● 目標値 差分 累 積 誤 り 検 出 密 度 各工程の番号 ３章で作 成した予 測モデル 下限予測値 上限予測値
- 17. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 17 【品質予測実施手順】 3. 終了した工程の実績値と手順２の差分を用いて、終了 していない工程の累積誤り検出密度を外挿して全工程 のデータを準備 4. 準備されたデータを用いて再度ゴンペルツ曲線を決定し、 品質予測モデルを導出 4.予測実施のポイント(3/3) ? ?0 差分を足していく 凡例：● 実績値 ○ 差分を用いて外挿した値 累 積 誤 り 検 出 密 度 各工程の番号 ３章で作 成した予 測モデル 上限予測値 下限予測値
- 18. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 18 5.適用事例の紹介(1/4) 【試行内容について】 ? 試行プロジェクト（3工事で試行） ? 派生開発 ? プロジェクト体制は数年間ほぼ同じ ? プロジェクトゴール 「成功プロジェクト」としての層別基準の一つである「出荷時残存誤り密度の達 成」を設定 ?ゴールを満たす品質予測モデルを構築し、適用 ? 以下をプロジェクト管理の中で実施 ? 目標値から導出した品質予測モデルを利用し、プロジェクトゴール達成可否を 予測し管理 ? プロジェクトの初期からプロジェクトゴールの予測を行い早期に品質状況を把 握、予測結果が最終工程の上下限範囲から逸脱した場合には早期の分析? 処置を促す
- 19. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 19 5.適用事例の紹介(2/4) 【プロジェクトB 結果1】 ? 目標値から導出した品質予測モデルを適用し、プロジェクトゴール達成可否を予測 し管理した結果 ?上下限範囲には入ったが、方式設計工程終了時における累積誤り検出密度が 当該工程の許容範囲を超えているので、リスクとして管理し、レビュー結果の分 析を行い対策をうった結果、単体テスト工程において許容範囲に入った 0.00 0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60 過去実績に 基づく累積 実績累積 予測累積 累 積 誤 り 検 出 密 度 成功プロジェクト の傾向
- 20. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 20 0.00 0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60 指標範囲 (50%) 過去実績に 基づく累積 実績累積 予測累積 0.00 0.20 0.40 0.60 0.80 1.00 1.20 1.40 1.60 指標範囲 (50%) 過去実績に 基づく累積 実績累積 予測累積 5.適用事例の紹介(3/4) 【プロジェクトB 結果2】 ? プロジェクトの初期からプロジェクトゴールの予測を行い早期に品質状況を把握、 予測結果が最終工程の上下限範囲から逸脱した場合には早期の分析?処置を 促した結果 ?①単体テスト工程での予測はゴールから逸脱するという結果が出たが、対策を実 施し、最終工程ではゴールの上下限範囲内に入った ②現在、試行プロジェクトの出荷後の品質状況は、データ層別基準の一つである 「成功プロジェクト」の値に近い状態である 累 積 誤 り 検 出 密 度 累 積 誤 り 検 出 密 度 成功プロジェ クトの傾向 成功プロジェ クトの傾向
- 21. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 21 5.適用事例の紹介(4/4) 【適用事例まとめ】 ? 各工程においてプロジェクトゴールの目標とする許容範囲に予測値が 収まるか否かを定量的に判断しプロジェクト管理を行うことができた （手段の有効性を確認） ? 現在、試行プロジェクトの出荷後の品質状況は、データ層別基準の 一つである「成功プロジェクト」の値に近い状態である （目的の達成） プロジェクトゴール達成へ向けた品質状況の把握を 早期に行え、品質向上への取り組みを促す効果を 得られたと考える
- 22. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 22 6.まとめと今後の予定 【まとめ】 最小二乗法で必要となる4点に満たない部分を外挿することによ り導出した品質予測モデルを試行プロジェクトにて適用した結果、 試行プロジェクトの出荷後の品質状況がデータ層別基準の一つで ある「成功プロジェクト」の値に近い状態であることから、品質予測 モデルの効果を確認できた 【今後の予定】 ①更に試行を継続して行い、予測モデルの妥当性を検証していく ②ゴンペルツ曲線は、プロジェクトゴールの予測を行うモデルであ る。品質状況把握の精度を高めるために、次工程以降の品質 状況予測をタイムリーに行うことができるモデルを検討し、採用し ていく（カルマンフィルタ など）
- 23. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 23 7.参考文献 ① 石田秀人, シグモイドのゴンペルツ曲線の求め方, http://home.a02.itscom.net/coffee/tako07.html ② 東大教養学部統計学教室編，統計学入門，東大 出版会，1991 ③ 三觜武, ソフトウェアの品質評価法, 日科技連出版 社, 1981 ④ 野中誠, 小池利和, 小室陸,データ指向のソフトウェア 品質マネジメント―メトリクス分析による「事実にもとづく 管理」の実践,日科技連出版社, 2012
- 24. Copyright ? 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved 24 ご清聴 ありがとうございました。