狠狠撸

狠狠撸Share a Scribd company logo
1
? Kakaku.com Inc. All Rights Reserved.
テストだけでは品質は上がらない ?!
エセ自己組織化した品質部門からの脱却
株式会社カカクコム食べログシステム本部 品質管理室
/ 日科技連 SQiP アジャイル SQC 研究部会
荻野 恒太郎
2024 年 03 月 15 日
2
? Kakaku.com Inc. All Rights Reserved.
食べログの品質管理のための指標構造
~ 昔ながらの品質管理とアジャイル開発の開発生産性の融合 ~
株式会社カカクコム食べログシステム本部 品質管理室
/ 日科技連 SQiP アジャイル SQC 研究部会
荻野 恒太郎
2024 年 03 月 15 日
3
? Kakaku.com Inc. All Rights Reserved.
本発表の背景 (1/2) :発表者の経歴
関連する発表者の論文や著作
2016~2020 年ごろ : DevOps
?三位一体の自動化で壊せ Dev と Ops の壁 , Developers Summit 2016, 19-C-5
?楽天でのエンタープライズアジャイルと DevOps -Dev/Test/Ops 三位一体の自動化 -,
情報処理学会デジタルプラクティス , Vol.7, No.3, 243-251 ( 2016. 07 )
? QC 七つ道具を利用した DevOps プラクティスの導入による開発とテストの生産性改
善 ,
ソフトウェア品質シンポジウム 2019, C1-1 ( 09 )
2014~2015 年ごろ : テスト自動化
?システムテストの自動化による大規模分散検索プラットフォームの開発工程改善 ,
JaSST ‘14 Tokyo, D2-2 (2014. 3)
?継続的システムテストについての理解を深めるための開発とバグのメトリクス分析 ,
ソフトウェア品質シンポジウム 2014, A1-3, (2014. 9)
?安心なサービスの品質改善を実現するための継続的システムテスト ,
15-B-11 先進的な設計?検証技術の適用事例報告書 2015 年度版 (2015. 11)
?“素早い”テスト実践法 , 日経 SYSTEMS, 2017 年 8 月号 , 特集 2 pp.50-57 (2017. 07 )
2020 年以降 : アジャイルと品質
?アジャイルと DevOps の品質保証と信頼性 , 日本信頼性学会論文誌 ,
Vol.42, No.2, 2020 年 3 月号
“ アジャイルと DevOps の品質保証と信頼性”より
アジャイルから DevOps への流
れ
アジャイル開発の開発生産性改善に自動化の視点で取り組んできた
4
? Kakaku.com Inc. All Rights Reserved.
本発表の背景 (2/2) :近年のアジャイル開発の開発生産性についての疑問
自動化
プロセス
トヨタ
生産方式
TQC
QC 活動
ソフトウェア
オブジェクト
パターン
スクラム
XP
リーン
継続的デリバリー
パイプライン
自動化
受け入れ
テスト自動化
クラウド IaC
DevOps
開発生産性
AI な
ど
疑問:「アジャイル開発の開発生産性」って「昔ながらのの品質管理」とまったく違うものなの?
アジャイル開発から開発生産性への流れ
昔ながらの
品質管理
アジャイル開発の
開発生産性
?共通する部分 : 反復プロセス、自動 ( 働 ) 化、リードタイムや生産量の改
善
?異なる部分 : 品質管理の対象(工業製品か? IT サービスか?)
5
? Kakaku.com Inc. All Rights Reserved.
本日お持ち帰りいただきたいこと
「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させた
食べログの品質管理の指標構造
ポイント 1:
食べログで求められる
「アジャイル開発の開発生産性」と
「昔ながらの品質管理」
の活動の指標を網羅
ポイント 2:
品質管理の活動がもたらす価値を
「収益」「機会損失」「コスト」の
3 つの事業指標と紐付け
→ 「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させることで可能な
今の時代に求められる品質管理の価値提供
食べログの品質管理の指標構造
6
? Kakaku.com Inc. All Rights Reserved.
アジェンダ
1. 食べログの品質管理の指標構造概要
2. 品質管理の指標構造を 4 つの要素に
わけてそれぞれ詳細を解説
A. 工業製品のコスト管理
B. 工業製品の収益増加
C. サービス業の顧客満足度
D. IT サービスの開発生産性
3. 食べログの品質改善事例 2 つ
4. まとめ
7
? Kakaku.com Inc. All Rights Reserved.
アジェンダ
1. 食べログの品質管理の指標構造概要
2. 品質管理の指標構造を 4 つの要素に
わけてそれぞれ詳細を解説
A. 工業製品のコスト管理
B. 工業製品の収益増加
C. サービス業の顧客満足度
D. IT サービスの開発生産性
3. 食べログの品質改善事例 2 つ
4. まとめ
8
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造概要 (1/2)
収益 コスト
機会損失
事業指標
営業指標
マーケティング指標
プロダクト開発
指標
プロダクト開発
内部指標抜粋
構造
? IT サービスの指標を 4 レイヤーで整理
- 事業指標
- 営業指標 / マーケティング指標
- プロダクト開発指標
- プロダクト開発内部指標
→品質管理活動はここ
9
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造概要 (2/2)
収益 コスト
機会損失
品質管理活動
事業指標
営業指標
マーケティング指標
プロダクト開発
指標
プロダクト開発
内部指標抜粋
構造
? IT サービスの指標を 4 レイヤーで整理
- 事業指標
- 営業指標 / マーケティング指標
- プロダクト開発指標
- プロダクト開発内部指標
→品質管理活動はここ
実現したいこと
?品質管理の活動がもたらす事業への価値を
指標同士の関係性として可視化
例 )
- バグの発見 の事業への価値
→ 事業のコスト削減
- プロダクト品質の向上の事業への価値
→ 収益の改善
バグの発見
プロダクト
品質の向上
“ バグを見つける”活動と”開発効率を高める”
2 つの性質の異なる活動が同じ土俵で扱えるよう
に
10
? Kakaku.com Inc. All Rights Reserved.
異なる性質の品質管理活動を同じ土俵にのせることで品質管理のエセ自己組織化を防ぐ
前半の高橋さんの発表スライドより
https://speakerdeck.com/visional_engineering_and_design/jasst24-tokyo
11
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造
収益 コスト
機会損失
顧客満足度
品質改善努力
販売量
カスタマイゼーション
魅力的品質
評価コスト
デプロイの
頻度
変更の
リードタイム
内部失敗
コスト
予防コスト
外部失敗
コスト
変更障害率
サービス
復元時間
原価
コスト
Return on Quality(ROQ) 狩野モデル
品種
インシデント件数
修正開発案件率
QA 資産化率
Four Keys 品質コスト
事業指標
営業指標
マーケティング指標
プロダクト開発
指標
プロダクト開発
内部指標抜粋
12
? Kakaku.com Inc. All Rights Reserved.
アジェンダ
1. 食べログの品質管理の指標構造概要
2. 品質管理の指標構造を 4 つの要素に
わけてそれぞれ詳細を解説
A. 工業製品のコスト管理
B. 工業製品の収益増加
C. サービス業の顧客満足度
D. IT サービスの開発生産性
3. 食べログの品質改善事例 2 つ
4. まとめ
13
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素への分解
?食べログの品質管理構造は A. B. C. D. の 4 つの要素から成り立つ
14
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素への分解
?食べログの品質管理構造は A. B. C. D. の 4 つの要素から成り立つ
D.
C.
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
B.
A.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
15
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素への分解
?食べログの品質管理構造は A. B. C. D. の 4 つの要素から成り立つ
?それぞれの要素は、「昔ながらの品質管理」から「アジャイル開発の開発生産性」へと
シフトしていく中で追加されてきた指標と手法
?それぞれの要素について A. B. C. D. の順に品質の歴史を振り返りながら解説
D.
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
16
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素の詳細説明
D.
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
17
? Kakaku.com Inc. All Rights Reserved.
A. 工業製品のコスト管理のための品質 (1/4) :
D.
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
代表的な手法 : 品質コス
ト
時代背景 : 工業製品のコスト管理 (1950~70 年代 )
品質の事業指標 : 収益 コスト
機会損失
18
? Kakaku.com Inc. All Rights Reserved.
A. 工業製品のコスト管理のための品質 (2/4) :
基本的
カテゴリー
品質コストの例示
予防コスト 品質上の欠陥の発生を早い段階から防止する目的で
支出される原価
評価コスト 製品の品質を評価することによって品質レベルを
維持するために発生する原価
内部失敗コスト 製品の出荷前に品質不良や欠陥が発見された場合の処理に関連す
る原価
外部失敗コスト 製品出荷後に欠陥が発見された場合の処理に付随して生ずる原価
?品質にまつわる活動を製品の原価コストの
一部として分類
例 ) - 品質保証活動で製品の不良を見つける
→ 評価コスト
- 出荷後の製品不良の交換や修理
→ 外部失敗コスト
?評価コストと外部失敗コストはトレードオフ
?合計が最小になるように管理する
* [3] より引用
代表的な手法 : 品質コス
ト
時代背景 : 工業製品のコスト管理 (1950~70 年代 )
品質の事業指標 : 収益 コスト
機会損失
参考文献
[1] 品質コストマネジメントシステムの構築と戦略的運用 , 伊藤嘉博 , 日科技連 , 2005
[2] ROQ (Return on Quality) と 戦 略的 コ ス トマ ネ ジ メ ン ト , 梶原武久 , 原価計算研究 27 (1), 11-22, 2003, 日本原価計算研究学会 ,
https://www.jstage.jst.go.jp/article/jcar/27/1/27_KJ00008538681/_pdf/-char/ja
[3] わが国の品質管理実践革新の可能性と 品質コストが果たす役割に関する考察 , 伊藤嘉博 , 早稲田商学第 434 号 2013 年 1 月 ,
https://www.waseda.jp/fcom/soc/assets/uploads/2015/01/wcom434_01.pdf
* [1] より引用
19
? Kakaku.com Inc. All Rights Reserved.
A. 工業製品のコスト管理のための品質 (3/4) :
代表的な手法 : 品質コス
ト
時代背景 : 工業製品のコスト管理 (1950~70 年代 )
品質の事業指標 :
バグ検知数
品質改善の例 )
コストを下げるための品質
収益 コスト
機会損失
?バグ検知数が上がると
市場流出不具合が減る
↓
?外部失敗コストが減る
↓
?原価コストが減る
20
? Kakaku.com Inc. All Rights Reserved.
A. 工業製品のコスト管理のための品質 (4/4) :
代表的な手法 : 品質コス
ト
時代背景 : 工業製品のコスト管理 (1950~70 年代 )
品質の事業指標 :
? 標準的な製品を欠陥少なく生産
例 三種の神器 ( 白黒テレビ / 洗濯機 / 冷蔵庫 )
新三種の神器 ( カラーテレビ、クーラー、自動車 )
( ここは後述の [9] の参考文献に詳しい )
?まだまだモノが少なく、
画期的な製品を出せば
それだけで買われていた時代
収益 コスト
機会損失
時代背景に対する発表者の考察
21
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素の詳細説明
D.
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
22
? Kakaku.com Inc. All Rights Reserved.
B. 工業製品の収益増加のための品質 (1/4) :
D. A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
B.
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
代表的な手法 : 狩野モデル
時代背景 : 工業製品の収益増加 (1980~90 年代 )
品質の事業指標 : 収益 コスト
機会損失
23
? Kakaku.com Inc. All Rights Reserved.
B. 工業製品の収益増加のための品質 (2/4) :
代表的な手法 : 狩野モデル
時代背景 : 工業製品の収益増加 (1980~90 年代 )
品質の事業指標 : 収益 コスト
機会損失
?一元的な認識だった品質の概念を分離
?魅力的品質
?当たり前品質
* [4] より引用
置き時計の製品企画への活用事例
?市場調査から魅力的品質を抽出し
製品企画へ適用
参考文献
[4] 魅力的品質と当たり前品質 , 狩野紀昭 , 瀬楽信彦 , 高橋文夫 , 辻新一 , 品質 , 1984 年 14 巻 2 号 p. 147-156,
1984
[5] 品質をこう考える - 品種と品質 , 岩崎 浩一郎 , 品質 , 1984 年 14 巻 2 号 p. 111-116, 1984
[6] TQM みんなの”大誤解”を斬る! , 飯塚悦功?金子雅明?平林良人 , 日科技連 , 2021
* [4] より引用
24
? Kakaku.com Inc. All Rights Reserved.
B. 工業製品の収益増加のための品質 (3/4) :
代表的な手法 : 狩野モデル
時代背景 : 工業製品の収益増加 (1980~90 年代 )
品質の事業指標 : 収益 コスト
機会損失
収益を上げるための品質
品質改善の例 )
?魅力的品質をもとにあらたな
品種を企画
↓
?販売量が増える
↓
?収益が増える
25
? Kakaku.com Inc. All Rights Reserved.
B. 工業製品の収益増加のための品質 (4/4) :
代表的な手法 : 狩野モデル
時代背景 : 工業製品の収益増加 (1980~90 年代 )
品質の事業指標 : 収益 コスト
機会損失
? モノが行き渡り、顧客の嗜好性に
合わせることで顧客の購買意欲に訴求
?顧客の嗜好性を魅力的品質として抽出し
さまざまな品種を提供
スマホでの例 )
- カメラ最強スマホ
- 高齢者向けスマホ
- ゲーミングスマホ
時代背景に対する発表者の考察
26
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素の詳細説明
D.
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
27
? Kakaku.com Inc. All Rights Reserved.
C. サービス業の顧客満足度向上のための品質 (1/4) :
D.
B.
A.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
代表的な手法 :
? Four keys
C.
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 : Return on Quality (ROQ)
時代背景 : サービス業の顧客満足度向上 (2000 年代 )
品質の事業指標 : 収益 コスト
機会損失
28
? Kakaku.com Inc. All Rights Reserved.
代表的な手法 : Return on Quality (ROQ)
時代背景 : サービス業の顧客満足度向上 (2000 年代 )
品質の事業指標 : 収益 コスト
機会損失
?サービス業の品質改善活動を収益拡大のための投資とする
計算式 / 枠組み
?ホテルやレンタカー、飲食店などの人間が提供するサービス業
- 品質 = 顧客満足度
- コスト = サービスのカスタマイゼーションのための
人的コストへの投資
* [7] より引用
参考文献
[7] Return on Quality (ROQ): Making Service Quality Financially Accountable, Roland T. Rust, Anthony J. Zahorik and Timothy
L. Keiningham, Journal of Marketing, Vol. 59, No. 2 (Apr., 1995), pp. 58-70, 1995
[8] Getting Return on Quality: Revenue Expansion, Cost Reduction, or Both?, Roland T. Rust, Christine Moorman, and Peter
R. Dickson, Journal of Marketing, Volume 66, Issue 4, 2002
[9] The Service Revolution and the Transformation of Marketing Science, Roland T. Rust and Ming-Hui Huang, Marketing
Science, Vol. 33, No. 2 (March-April 2014), pp. 206-221, 2014
C. サービス業の顧客満足度向上のための品質 (2/4) :
投資
拡大した利益
参考文献 [7] の式 (12)
29
? Kakaku.com Inc. All Rights Reserved.
代表的な手法 : Return on Quality (ROQ)
時代背景 : サービス業の顧客満足度向上 (2000 年代 )
品質の事業指標 : 収益 コスト
機会損失
収益を上げるための品質
C. サービス業の顧客満足度向上のための品質 (3/4) :
品質改善の例 )
?カスタマイゼーション
による品質改善への投資
↓
?顧客満足度の向上
↓
?収益の向上
30
? Kakaku.com Inc. All Rights Reserved.
代表的な手法 : Return on Quality (ROQ)
時代背景 : サービス業の顧客満足度向上 (2000 年代 )
品質の事業指標 : 収益 コスト
機会損失
?売る対象が「モノ」から「サービス」へ
例 ) レンタカーサービスなど
?サービスには物理的なスペックが
ないので、「顧客満足度」で
品質を評価
?顧客セグメントごとに
カスタマイゼーションすることで
サービス品質を改善
→サービス版の品種
C. サービス業の顧客満足度向上のための品質 (4/4) :
時代背景に対する発表者の考察
31
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素の詳細説明
D.
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
32
? Kakaku.com Inc. All Rights Reserved.
D. IT サービスの開発生産性改善のための品質 (1/5) :
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
D.
収益 コスト
機会損失
代表的な手法 :
? Four keys
代表的な手法 : Four
keys
時代背景 : IT サービスの開発生産性改善 (2010 年代 ~)
品質の事業指標 : 収益 コスト
機会損失
33
? Kakaku.com Inc. All Rights Reserved.
D. IT サービスの開発生産性改善のための品質 (2/5) :
代表的な手法 : Four
keys
時代背景 : IT サービスの開発生産性改善 (2010 年代 ~)
品質の事業指標 : 収益 コスト
機会損失
?ソフトウェアデリバリのパフォーマンスを
測定するための指標
デプロイの頻度
変更のリードタイム
変更障害率 サービス復元時間
?以下の 2 つを主軸とし Four keys を改善
- リーンによるプロダクトマネージメント
- 継続的デリバリによるチームパフォーマンス向上
参考文献
[10]Lean と DevOps の科学 [Accelerate] テクノロジーの戦略的活用が組織変革を加速する , Nicole Forsgren Ph.D 著 /Gene Kim
著 /Jez Humble 著 / 武舎 るみ 訳 / 武舎 広幸 訳 , インプレスブックス , 2018
* [10] より引用
34
? Kakaku.com Inc. All Rights Reserved.
D. IT サービスの開発生産性改善のための品質 (3/5) : 品質改善の例
代表的な手法 : Four
keys
時代背景 : IT サービスの開発生産性改善 (2010 年代 ~)
品質の事業指標 : 収益 コスト
機会損失
機会損失を最小化
するための品質
CI/CD
品質改善の例 )
? CI/CD 導入によるテスト自動化
↓
?変更のリードタイムと
変更障害率が改善
↓
?機会損失が減少
35
? Kakaku.com Inc. All Rights Reserved.
D. IT サービスの開発生産性改善のための品質 (4/5) :機会損失
機会損失の定義
“ 採択された代替案 よりも有利な代替案が存在するにもか
かわらず,これを採択しなかった場合に発生する損失”
* [3] より引用
参考文献
[3] わが国の品質管理実践革新の可能性と 品質コストが果たす役割に関する考察 , 伊藤嘉博 , 早稲田商学第 434 号 2013 年 1 月 ,
https://www.waseda.jp/fcom/soc/assets/uploads/2015/01/wcom434_01.pdf
機会損失の例 )
?生産が追いつかなく発生した製品の欠品 ( 製造業 )
?満席で入店できなかった顧客 ( サービス業 )
?不具合対応などで開発完了できなかった新機能 (IT サービ
ス )
収益
コスト
機会損失
実際の機会損失がコストに比べ十分小さければ
無視しても影響は小さいが、、、
そうでない場合、
機会損失も考慮した意思決定が重要
収益
コスト
機会損失
製造業やサービス業との IT サービスの違い:
? IT サービスはソフトウェアのコピーが容易
生産 / サービス提供準備 / 開発
収益機会
?製品の発注
?入店
?開発依頼
収益機会の喪失の原因
?欠品
?満席
?開発遅延
ここのプロセスが滞ることによって収益喪失が発生
36
? Kakaku.com Inc. All Rights Reserved.
D. IT サービスの開発生産性改善のための品質 (5/5) :
代表的な手法 : Four
keys
時代背景 : IT サービスの開発生産性改善 (2010 年代 ~)
品質の事業指標 : 収益 コスト
機会損失
?サービスを「 IT システム」として提供
例)人材マッチングサービス
飲食店のクチコミサービス
?品質改善の実態が「ソフトウェア開発」
による「サービス品質の向上」
へと変化
時代背景に対する発表者の考察
37
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素への分解まとめ
D.
B.
A.
C.
収益 コスト
機会損失
代表的な手法 :
?品質コスト
収益 コスト
機会損失
代表的な手法 :
?狩野モデル
収益 コスト
機会損失
収益 コスト
機会損失
代表的な手法 :
? Return on Quality
(ROQ)
代表的な手法 :
? Four keys
38
? Kakaku.com Inc. All Rights Reserved.
食べログの品質指標構造の 4 つの要素と対応する時代まとめ
品質の事業指標 :
収益 コスト
機会損失
D.
C.
B.
A.
時代背景 :
工業製品のコスト管理
(1950~70 年代 )
代表的な手
法 :
品質コスト
Return on
Quality
(ROQ)
サービス業の顧客満足度向上
(2000 年代 )
収益 コスト
機会損失
Four keys
IT サービスの開発生産性改
善
(2010 年代 ~)
収益 コスト
機会損失
狩野モデル
工業製品の収益向上
(1980~1990 年代 )
収益 コスト
機会損失
?「品質管理の価値」はプロダクトの移り変わりや時代背景とともに変化してきた
?ただし「昔ながらの品質管理」の価値がなくなったわけではない
?「昔ながらの品質管理」を土台として「アジャイル開発の開発生産性」を
融合させることが重要
39
? Kakaku.com Inc. All Rights Reserved.
アジェンダ
1. 食べログの品質管理の指標構造概要
2. 品質管理の指標構造を 4 つの要素に
わけてそれぞれ詳細を解説
A. 工業製品のコスト管理
B. 工業製品の収益増加
C. サービス業の顧客満足度
D. IT サービスの開発生産性
3. 食べログの品質改善事例 2 つ
4. まとめ
40
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例
?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例
事例 1) Four keys 指標改善のためのインシデント件数改善
事例 2) Four keys 指標改善のための QA 資産化率改善
事例 1 事例
2
41
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例
?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例
事例 1) Four keys 指標改善のためのインシデント件数改善
事例 2) Four keys 指標改善のための QA 資産化率改善
事例 1 事例
2
42
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例① (1/2): Four keys 指標改善のためのインシデント件数改善
機会損失
デプロイの
頻度
変更障害率
修正開発案件率
事例
1
インシデント件数
課題: ?不安定なデプロイ頻度
?高い変更障害率
解決策 ? QC チームの立ち上げ
?テスト観点の整理
課題と指標の関係
?インシデント件数の増加により
その修正のための修正開発案件が増加
また同時に変更障害率が増加
?修正開発案件率が増加するため
デプロイの頻度が不安定に
解決策
?根本原因であるインシデント件数を改善
-QC チームの立ち上げ
- テスト観点の整理
43
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例① (2/2) ):Four keys 指標改善のためのインシデント件数改善
指標の変化
2022 年度 =7 件 2023 年度 =1 件
2022 年度 =385 件 2023 年度 =404 件 2022 年度
0.7%~2.76%
2023 年度
0%~0.76%
計測
開始前
(*1)
計測
開始前
(*1)
計測
開始前
(*2)
2Q=28.4%
3Q=17.6%
(*1) デプロイ頻度、変更障害率の計測は 2022 年から
(*2) 修正開発案件率の計測は 2023 年 2Q から
機会損失
デプロイの
頻度
変更障害率
修正開発案件率
インシデント件数
結果
?インシデント件数、変更障害率
が大幅に改善
?デプロイ頻度は同程度 ( 微増 )
→QC チーム立ち上げによって
デプロイ頻度が下がったわけではない
事例
1
44
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例
?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例
事例 1) Four keys 指標改善のためのインシデント件数改善
事例 2) Four keys 指標改善のための QA 資産化率改善
事例 1 事例
2
45
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例② (1/2) Four keys 指標改善のための QA 資産化率改善
課題と指標の関係
?テストデータの資産化率が低いため
毎回テストデータを作成する必要があり
変更のリードタイムと評価コストが増加
解決策
?根本原因であるテストデータの資産化率を改善
- テストデータ作成手順の自動化
コスト
機会損失
評価コスト
変更の
リードタイム
原価
コスト
QA 資産化率
課題: ?テストデータ準備の
リードタイムが長い
解決策 ?テストデータ準備の自動化
① 自動テストに作成したいデータを入力し実行 ② テストデータが完成
事例
2
46
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例② (2/2) ) Four keys 指標改善のための QA 資産化率改善
指標の変化
評価コスト
(割愛)
自動化前
自動化後
1800
分
91 分
リードタイム
300 件のテストデータ作成
95% 削減
自動化率 =71%
自動化率 =69%
自動化率 =97%
自動化率 =0%
本事例の詳細は DevOps Days Tokyo 2024 で
コスト
機会損失
評価コスト
変更の
リードタイム
原価
コスト
QA 資産化率
事例
2
結果
?テストデータ準備のリードタイム
QA 資産化率が改善
?テストデータの作成件数も増加
→ 小規模のテストデータを工夫して使い回す
やり方のテストをしなくてもよくなった
47
? Kakaku.com Inc. All Rights Reserved.
食べログの品質改善事例
?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例
事例 1) Four keys 指標改善のためのインシデント件数改善
事例 2) Four keys 指標改善のための QA 資産化率改善
→品質管理活動によって「アジャイル開発の開発生産性」を改善することが可能
事例 1 事例
2
48
? Kakaku.com Inc. All Rights Reserved.
アジェンダ
1. 食べログの品質管理の指標構造概要
2. 品質管理の指標構造を 4 つの要素に
わけてそれぞれ詳細を解説
A. 工業製品のコスト管理
B. 工業製品の収益増加
C. サービス業の顧客満足度
D. IT サービスの開発生産性
3. 食べログの品質改善事例 2 つ
4. まとめ
49
? Kakaku.com Inc. All Rights Reserved.
異なる性質の品質管理活動を同じ土俵にのせることで品質管理のエセ自己組織化を防ぐ
前半の高橋さんの発表スライドより
https://speakerdeck.com/visional_engineering_and_design/jasst24-tokyo
50
? Kakaku.com Inc. All Rights Reserved.
まとめ
「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させた
食べログの品質管理の指標構造
→ 「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させることで
品質管理活動の価値がより高まっていく
食べログの品質管理の指標構造 ポイント 1:
「アジャイル開発の開発生産性」と「昔ながらの品質管理」の
活動の指標を網羅
ポイント 2:
品質管理の活動がアジャイル開発の開発生産性を改善した事例

More Related Content

【JaSST'24 Tokyo】食べログの品质管理のための指标构造词昔ながらの品质管理とアジャイル开発の开発生产性の融合词

  • 1. 1 ? Kakaku.com Inc. All Rights Reserved. テストだけでは品質は上がらない ?! エセ自己組織化した品質部門からの脱却 株式会社カカクコム食べログシステム本部 品質管理室 / 日科技連 SQiP アジャイル SQC 研究部会 荻野 恒太郎 2024 年 03 月 15 日
  • 2. 2 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質管理のための指標構造 ~ 昔ながらの品質管理とアジャイル開発の開発生産性の融合 ~ 株式会社カカクコム食べログシステム本部 品質管理室 / 日科技連 SQiP アジャイル SQC 研究部会 荻野 恒太郎 2024 年 03 月 15 日
  • 3. 3 ? Kakaku.com Inc. All Rights Reserved. 本発表の背景 (1/2) :発表者の経歴 関連する発表者の論文や著作 2016~2020 年ごろ : DevOps ?三位一体の自動化で壊せ Dev と Ops の壁 , Developers Summit 2016, 19-C-5 ?楽天でのエンタープライズアジャイルと DevOps -Dev/Test/Ops 三位一体の自動化 -, 情報処理学会デジタルプラクティス , Vol.7, No.3, 243-251 ( 2016. 07 ) ? QC 七つ道具を利用した DevOps プラクティスの導入による開発とテストの生産性改 善 , ソフトウェア品質シンポジウム 2019, C1-1 ( 09 ) 2014~2015 年ごろ : テスト自動化 ?システムテストの自動化による大規模分散検索プラットフォームの開発工程改善 , JaSST ‘14 Tokyo, D2-2 (2014. 3) ?継続的システムテストについての理解を深めるための開発とバグのメトリクス分析 , ソフトウェア品質シンポジウム 2014, A1-3, (2014. 9) ?安心なサービスの品質改善を実現するための継続的システムテスト , 15-B-11 先進的な設計?検証技術の適用事例報告書 2015 年度版 (2015. 11) ?“素早い”テスト実践法 , 日経 SYSTEMS, 2017 年 8 月号 , 特集 2 pp.50-57 (2017. 07 ) 2020 年以降 : アジャイルと品質 ?アジャイルと DevOps の品質保証と信頼性 , 日本信頼性学会論文誌 , Vol.42, No.2, 2020 年 3 月号 “ アジャイルと DevOps の品質保証と信頼性”より アジャイルから DevOps への流 れ アジャイル開発の開発生産性改善に自動化の視点で取り組んできた
  • 4. 4 ? Kakaku.com Inc. All Rights Reserved. 本発表の背景 (2/2) :近年のアジャイル開発の開発生産性についての疑問 自動化 プロセス トヨタ 生産方式 TQC QC 活動 ソフトウェア オブジェクト パターン スクラム XP リーン 継続的デリバリー パイプライン 自動化 受け入れ テスト自動化 クラウド IaC DevOps 開発生産性 AI な ど 疑問:「アジャイル開発の開発生産性」って「昔ながらのの品質管理」とまったく違うものなの? アジャイル開発から開発生産性への流れ 昔ながらの 品質管理 アジャイル開発の 開発生産性 ?共通する部分 : 反復プロセス、自動 ( 働 ) 化、リードタイムや生産量の改 善 ?異なる部分 : 品質管理の対象(工業製品か? IT サービスか?)
  • 5. 5 ? Kakaku.com Inc. All Rights Reserved. 本日お持ち帰りいただきたいこと 「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させた 食べログの品質管理の指標構造 ポイント 1: 食べログで求められる 「アジャイル開発の開発生産性」と 「昔ながらの品質管理」 の活動の指標を網羅 ポイント 2: 品質管理の活動がもたらす価値を 「収益」「機会損失」「コスト」の 3 つの事業指標と紐付け → 「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させることで可能な 今の時代に求められる品質管理の価値提供 食べログの品質管理の指標構造
  • 6. 6 ? Kakaku.com Inc. All Rights Reserved. アジェンダ 1. 食べログの品質管理の指標構造概要 2. 品質管理の指標構造を 4 つの要素に わけてそれぞれ詳細を解説 A. 工業製品のコスト管理 B. 工業製品の収益増加 C. サービス業の顧客満足度 D. IT サービスの開発生産性 3. 食べログの品質改善事例 2 つ 4. まとめ
  • 7. 7 ? Kakaku.com Inc. All Rights Reserved. アジェンダ 1. 食べログの品質管理の指標構造概要 2. 品質管理の指標構造を 4 つの要素に わけてそれぞれ詳細を解説 A. 工業製品のコスト管理 B. 工業製品の収益増加 C. サービス業の顧客満足度 D. IT サービスの開発生産性 3. 食べログの品質改善事例 2 つ 4. まとめ
  • 8. 8 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造概要 (1/2) 収益 コスト 機会損失 事業指標 営業指標 マーケティング指標 プロダクト開発 指標 プロダクト開発 内部指標抜粋 構造 ? IT サービスの指標を 4 レイヤーで整理 - 事業指標 - 営業指標 / マーケティング指標 - プロダクト開発指標 - プロダクト開発内部指標 →品質管理活動はここ
  • 9. 9 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造概要 (2/2) 収益 コスト 機会損失 品質管理活動 事業指標 営業指標 マーケティング指標 プロダクト開発 指標 プロダクト開発 内部指標抜粋 構造 ? IT サービスの指標を 4 レイヤーで整理 - 事業指標 - 営業指標 / マーケティング指標 - プロダクト開発指標 - プロダクト開発内部指標 →品質管理活動はここ 実現したいこと ?品質管理の活動がもたらす事業への価値を 指標同士の関係性として可視化 例 ) - バグの発見 の事業への価値 → 事業のコスト削減 - プロダクト品質の向上の事業への価値 → 収益の改善 バグの発見 プロダクト 品質の向上 “ バグを見つける”活動と”開発効率を高める” 2 つの性質の異なる活動が同じ土俵で扱えるよう に
  • 10. 10 ? Kakaku.com Inc. All Rights Reserved. 異なる性質の品質管理活動を同じ土俵にのせることで品質管理のエセ自己組織化を防ぐ 前半の高橋さんの発表スライドより https://speakerdeck.com/visional_engineering_and_design/jasst24-tokyo
  • 11. 11 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造 収益 コスト 機会損失 顧客満足度 品質改善努力 販売量 カスタマイゼーション 魅力的品質 評価コスト デプロイの 頻度 変更の リードタイム 内部失敗 コスト 予防コスト 外部失敗 コスト 変更障害率 サービス 復元時間 原価 コスト Return on Quality(ROQ) 狩野モデル 品種 インシデント件数 修正開発案件率 QA 資産化率 Four Keys 品質コスト 事業指標 営業指標 マーケティング指標 プロダクト開発 指標 プロダクト開発 内部指標抜粋
  • 12. 12 ? Kakaku.com Inc. All Rights Reserved. アジェンダ 1. 食べログの品質管理の指標構造概要 2. 品質管理の指標構造を 4 つの要素に わけてそれぞれ詳細を解説 A. 工業製品のコスト管理 B. 工業製品の収益増加 C. サービス業の顧客満足度 D. IT サービスの開発生産性 3. 食べログの品質改善事例 2 つ 4. まとめ
  • 13. 13 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素への分解 ?食べログの品質管理構造は A. B. C. D. の 4 つの要素から成り立つ
  • 14. 14 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素への分解 ?食べログの品質管理構造は A. B. C. D. の 4 つの要素から成り立つ D. C. 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys B. A. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル
  • 15. 15 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素への分解 ?食べログの品質管理構造は A. B. C. D. の 4 つの要素から成り立つ ?それぞれの要素は、「昔ながらの品質管理」から「アジャイル開発の開発生産性」へと シフトしていく中で追加されてきた指標と手法 ?それぞれの要素について A. B. C. D. の順に品質の歴史を振り返りながら解説 D. B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys
  • 16. 16 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素の詳細説明 D. B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys
  • 17. 17 ? Kakaku.com Inc. All Rights Reserved. A. 工業製品のコスト管理のための品質 (1/4) : D. B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys 代表的な手法 : 品質コス ト 時代背景 : 工業製品のコスト管理 (1950~70 年代 ) 品質の事業指標 : 収益 コスト 機会損失
  • 18. 18 ? Kakaku.com Inc. All Rights Reserved. A. 工業製品のコスト管理のための品質 (2/4) : 基本的 カテゴリー 品質コストの例示 予防コスト 品質上の欠陥の発生を早い段階から防止する目的で 支出される原価 評価コスト 製品の品質を評価することによって品質レベルを 維持するために発生する原価 内部失敗コスト 製品の出荷前に品質不良や欠陥が発見された場合の処理に関連す る原価 外部失敗コスト 製品出荷後に欠陥が発見された場合の処理に付随して生ずる原価 ?品質にまつわる活動を製品の原価コストの 一部として分類 例 ) - 品質保証活動で製品の不良を見つける → 評価コスト - 出荷後の製品不良の交換や修理 → 外部失敗コスト ?評価コストと外部失敗コストはトレードオフ ?合計が最小になるように管理する * [3] より引用 代表的な手法 : 品質コス ト 時代背景 : 工業製品のコスト管理 (1950~70 年代 ) 品質の事業指標 : 収益 コスト 機会損失 参考文献 [1] 品質コストマネジメントシステムの構築と戦略的運用 , 伊藤嘉博 , 日科技連 , 2005 [2] ROQ (Return on Quality) と 戦 略的 コ ス トマ ネ ジ メ ン ト , 梶原武久 , 原価計算研究 27 (1), 11-22, 2003, 日本原価計算研究学会 , https://www.jstage.jst.go.jp/article/jcar/27/1/27_KJ00008538681/_pdf/-char/ja [3] わが国の品質管理実践革新の可能性と 品質コストが果たす役割に関する考察 , 伊藤嘉博 , 早稲田商学第 434 号 2013 年 1 月 , https://www.waseda.jp/fcom/soc/assets/uploads/2015/01/wcom434_01.pdf * [1] より引用
  • 19. 19 ? Kakaku.com Inc. All Rights Reserved. A. 工業製品のコスト管理のための品質 (3/4) : 代表的な手法 : 品質コス ト 時代背景 : 工業製品のコスト管理 (1950~70 年代 ) 品質の事業指標 : バグ検知数 品質改善の例 ) コストを下げるための品質 収益 コスト 機会損失 ?バグ検知数が上がると 市場流出不具合が減る ↓ ?外部失敗コストが減る ↓ ?原価コストが減る
  • 20. 20 ? Kakaku.com Inc. All Rights Reserved. A. 工業製品のコスト管理のための品質 (4/4) : 代表的な手法 : 品質コス ト 時代背景 : 工業製品のコスト管理 (1950~70 年代 ) 品質の事業指標 : ? 標準的な製品を欠陥少なく生産 例 三種の神器 ( 白黒テレビ / 洗濯機 / 冷蔵庫 ) 新三種の神器 ( カラーテレビ、クーラー、自動車 ) ( ここは後述の [9] の参考文献に詳しい ) ?まだまだモノが少なく、 画期的な製品を出せば それだけで買われていた時代 収益 コスト 機会損失 時代背景に対する発表者の考察
  • 21. 21 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素の詳細説明 D. B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys
  • 22. 22 ? Kakaku.com Inc. All Rights Reserved. B. 工業製品の収益増加のための品質 (1/4) : D. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys B. 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 代表的な手法 : 狩野モデル 時代背景 : 工業製品の収益増加 (1980~90 年代 ) 品質の事業指標 : 収益 コスト 機会損失
  • 23. 23 ? Kakaku.com Inc. All Rights Reserved. B. 工業製品の収益増加のための品質 (2/4) : 代表的な手法 : 狩野モデル 時代背景 : 工業製品の収益増加 (1980~90 年代 ) 品質の事業指標 : 収益 コスト 機会損失 ?一元的な認識だった品質の概念を分離 ?魅力的品質 ?当たり前品質 * [4] より引用 置き時計の製品企画への活用事例 ?市場調査から魅力的品質を抽出し 製品企画へ適用 参考文献 [4] 魅力的品質と当たり前品質 , 狩野紀昭 , 瀬楽信彦 , 高橋文夫 , 辻新一 , 品質 , 1984 年 14 巻 2 号 p. 147-156, 1984 [5] 品質をこう考える - 品種と品質 , 岩崎 浩一郎 , 品質 , 1984 年 14 巻 2 号 p. 111-116, 1984 [6] TQM みんなの”大誤解”を斬る! , 飯塚悦功?金子雅明?平林良人 , 日科技連 , 2021 * [4] より引用
  • 24. 24 ? Kakaku.com Inc. All Rights Reserved. B. 工業製品の収益増加のための品質 (3/4) : 代表的な手法 : 狩野モデル 時代背景 : 工業製品の収益増加 (1980~90 年代 ) 品質の事業指標 : 収益 コスト 機会損失 収益を上げるための品質 品質改善の例 ) ?魅力的品質をもとにあらたな 品種を企画 ↓ ?販売量が増える ↓ ?収益が増える
  • 25. 25 ? Kakaku.com Inc. All Rights Reserved. B. 工業製品の収益増加のための品質 (4/4) : 代表的な手法 : 狩野モデル 時代背景 : 工業製品の収益増加 (1980~90 年代 ) 品質の事業指標 : 収益 コスト 機会損失 ? モノが行き渡り、顧客の嗜好性に 合わせることで顧客の購買意欲に訴求 ?顧客の嗜好性を魅力的品質として抽出し さまざまな品種を提供 スマホでの例 ) - カメラ最強スマホ - 高齢者向けスマホ - ゲーミングスマホ 時代背景に対する発表者の考察
  • 26. 26 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素の詳細説明 D. B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys
  • 27. 27 ? Kakaku.com Inc. All Rights Reserved. C. サービス業の顧客満足度向上のための品質 (1/4) : D. B. A. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 代表的な手法 : ? Four keys C. 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : Return on Quality (ROQ) 時代背景 : サービス業の顧客満足度向上 (2000 年代 ) 品質の事業指標 : 収益 コスト 機会損失
  • 28. 28 ? Kakaku.com Inc. All Rights Reserved. 代表的な手法 : Return on Quality (ROQ) 時代背景 : サービス業の顧客満足度向上 (2000 年代 ) 品質の事業指標 : 収益 コスト 機会損失 ?サービス業の品質改善活動を収益拡大のための投資とする 計算式 / 枠組み ?ホテルやレンタカー、飲食店などの人間が提供するサービス業 - 品質 = 顧客満足度 - コスト = サービスのカスタマイゼーションのための 人的コストへの投資 * [7] より引用 参考文献 [7] Return on Quality (ROQ): Making Service Quality Financially Accountable, Roland T. Rust, Anthony J. Zahorik and Timothy L. Keiningham, Journal of Marketing, Vol. 59, No. 2 (Apr., 1995), pp. 58-70, 1995 [8] Getting Return on Quality: Revenue Expansion, Cost Reduction, or Both?, Roland T. Rust, Christine Moorman, and Peter R. Dickson, Journal of Marketing, Volume 66, Issue 4, 2002 [9] The Service Revolution and the Transformation of Marketing Science, Roland T. Rust and Ming-Hui Huang, Marketing Science, Vol. 33, No. 2 (March-April 2014), pp. 206-221, 2014 C. サービス業の顧客満足度向上のための品質 (2/4) : 投資 拡大した利益 参考文献 [7] の式 (12)
  • 29. 29 ? Kakaku.com Inc. All Rights Reserved. 代表的な手法 : Return on Quality (ROQ) 時代背景 : サービス業の顧客満足度向上 (2000 年代 ) 品質の事業指標 : 収益 コスト 機会損失 収益を上げるための品質 C. サービス業の顧客満足度向上のための品質 (3/4) : 品質改善の例 ) ?カスタマイゼーション による品質改善への投資 ↓ ?顧客満足度の向上 ↓ ?収益の向上
  • 30. 30 ? Kakaku.com Inc. All Rights Reserved. 代表的な手法 : Return on Quality (ROQ) 時代背景 : サービス業の顧客満足度向上 (2000 年代 ) 品質の事業指標 : 収益 コスト 機会損失 ?売る対象が「モノ」から「サービス」へ 例 ) レンタカーサービスなど ?サービスには物理的なスペックが ないので、「顧客満足度」で 品質を評価 ?顧客セグメントごとに カスタマイゼーションすることで サービス品質を改善 →サービス版の品種 C. サービス業の顧客満足度向上のための品質 (4/4) : 時代背景に対する発表者の考察
  • 31. 31 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素の詳細説明 D. B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys
  • 32. 32 ? Kakaku.com Inc. All Rights Reserved. D. IT サービスの開発生産性改善のための品質 (1/5) : B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) D. 収益 コスト 機会損失 代表的な手法 : ? Four keys 代表的な手法 : Four keys 時代背景 : IT サービスの開発生産性改善 (2010 年代 ~) 品質の事業指標 : 収益 コスト 機会損失
  • 33. 33 ? Kakaku.com Inc. All Rights Reserved. D. IT サービスの開発生産性改善のための品質 (2/5) : 代表的な手法 : Four keys 時代背景 : IT サービスの開発生産性改善 (2010 年代 ~) 品質の事業指標 : 収益 コスト 機会損失 ?ソフトウェアデリバリのパフォーマンスを 測定するための指標 デプロイの頻度 変更のリードタイム 変更障害率 サービス復元時間 ?以下の 2 つを主軸とし Four keys を改善 - リーンによるプロダクトマネージメント - 継続的デリバリによるチームパフォーマンス向上 参考文献 [10]Lean と DevOps の科学 [Accelerate] テクノロジーの戦略的活用が組織変革を加速する , Nicole Forsgren Ph.D 著 /Gene Kim 著 /Jez Humble 著 / 武舎 るみ 訳 / 武舎 広幸 訳 , インプレスブックス , 2018 * [10] より引用
  • 34. 34 ? Kakaku.com Inc. All Rights Reserved. D. IT サービスの開発生産性改善のための品質 (3/5) : 品質改善の例 代表的な手法 : Four keys 時代背景 : IT サービスの開発生産性改善 (2010 年代 ~) 品質の事業指標 : 収益 コスト 機会損失 機会損失を最小化 するための品質 CI/CD 品質改善の例 ) ? CI/CD 導入によるテスト自動化 ↓ ?変更のリードタイムと 変更障害率が改善 ↓ ?機会損失が減少
  • 35. 35 ? Kakaku.com Inc. All Rights Reserved. D. IT サービスの開発生産性改善のための品質 (4/5) :機会損失 機会損失の定義 “ 採択された代替案 よりも有利な代替案が存在するにもか かわらず,これを採択しなかった場合に発生する損失” * [3] より引用 参考文献 [3] わが国の品質管理実践革新の可能性と 品質コストが果たす役割に関する考察 , 伊藤嘉博 , 早稲田商学第 434 号 2013 年 1 月 , https://www.waseda.jp/fcom/soc/assets/uploads/2015/01/wcom434_01.pdf 機会損失の例 ) ?生産が追いつかなく発生した製品の欠品 ( 製造業 ) ?満席で入店できなかった顧客 ( サービス業 ) ?不具合対応などで開発完了できなかった新機能 (IT サービ ス ) 収益 コスト 機会損失 実際の機会損失がコストに比べ十分小さければ 無視しても影響は小さいが、、、 そうでない場合、 機会損失も考慮した意思決定が重要 収益 コスト 機会損失 製造業やサービス業との IT サービスの違い: ? IT サービスはソフトウェアのコピーが容易 生産 / サービス提供準備 / 開発 収益機会 ?製品の発注 ?入店 ?開発依頼 収益機会の喪失の原因 ?欠品 ?満席 ?開発遅延 ここのプロセスが滞ることによって収益喪失が発生
  • 36. 36 ? Kakaku.com Inc. All Rights Reserved. D. IT サービスの開発生産性改善のための品質 (5/5) : 代表的な手法 : Four keys 時代背景 : IT サービスの開発生産性改善 (2010 年代 ~) 品質の事業指標 : 収益 コスト 機会損失 ?サービスを「 IT システム」として提供 例)人材マッチングサービス 飲食店のクチコミサービス ?品質改善の実態が「ソフトウェア開発」 による「サービス品質の向上」 へと変化 時代背景に対する発表者の考察
  • 37. 37 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素への分解まとめ D. B. A. C. 収益 コスト 機会損失 代表的な手法 : ?品質コスト 収益 コスト 機会損失 代表的な手法 : ?狩野モデル 収益 コスト 機会損失 収益 コスト 機会損失 代表的な手法 : ? Return on Quality (ROQ) 代表的な手法 : ? Four keys
  • 38. 38 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質指標構造の 4 つの要素と対応する時代まとめ 品質の事業指標 : 収益 コスト 機会損失 D. C. B. A. 時代背景 : 工業製品のコスト管理 (1950~70 年代 ) 代表的な手 法 : 品質コスト Return on Quality (ROQ) サービス業の顧客満足度向上 (2000 年代 ) 収益 コスト 機会損失 Four keys IT サービスの開発生産性改 善 (2010 年代 ~) 収益 コスト 機会損失 狩野モデル 工業製品の収益向上 (1980~1990 年代 ) 収益 コスト 機会損失 ?「品質管理の価値」はプロダクトの移り変わりや時代背景とともに変化してきた ?ただし「昔ながらの品質管理」の価値がなくなったわけではない ?「昔ながらの品質管理」を土台として「アジャイル開発の開発生産性」を 融合させることが重要
  • 39. 39 ? Kakaku.com Inc. All Rights Reserved. アジェンダ 1. 食べログの品質管理の指標構造概要 2. 品質管理の指標構造を 4 つの要素に わけてそれぞれ詳細を解説 A. 工業製品のコスト管理 B. 工業製品の収益増加 C. サービス業の顧客満足度 D. IT サービスの開発生産性 3. 食べログの品質改善事例 2 つ 4. まとめ
  • 40. 40 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例 ?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例 事例 1) Four keys 指標改善のためのインシデント件数改善 事例 2) Four keys 指標改善のための QA 資産化率改善 事例 1 事例 2
  • 41. 41 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例 ?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例 事例 1) Four keys 指標改善のためのインシデント件数改善 事例 2) Four keys 指標改善のための QA 資産化率改善 事例 1 事例 2
  • 42. 42 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例① (1/2): Four keys 指標改善のためのインシデント件数改善 機会損失 デプロイの 頻度 変更障害率 修正開発案件率 事例 1 インシデント件数 課題: ?不安定なデプロイ頻度 ?高い変更障害率 解決策 ? QC チームの立ち上げ ?テスト観点の整理 課題と指標の関係 ?インシデント件数の増加により その修正のための修正開発案件が増加 また同時に変更障害率が増加 ?修正開発案件率が増加するため デプロイの頻度が不安定に 解決策 ?根本原因であるインシデント件数を改善 -QC チームの立ち上げ - テスト観点の整理
  • 43. 43 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例① (2/2) ):Four keys 指標改善のためのインシデント件数改善 指標の変化 2022 年度 =7 件 2023 年度 =1 件 2022 年度 =385 件 2023 年度 =404 件 2022 年度 0.7%~2.76% 2023 年度 0%~0.76% 計測 開始前 (*1) 計測 開始前 (*1) 計測 開始前 (*2) 2Q=28.4% 3Q=17.6% (*1) デプロイ頻度、変更障害率の計測は 2022 年から (*2) 修正開発案件率の計測は 2023 年 2Q から 機会損失 デプロイの 頻度 変更障害率 修正開発案件率 インシデント件数 結果 ?インシデント件数、変更障害率 が大幅に改善 ?デプロイ頻度は同程度 ( 微増 ) →QC チーム立ち上げによって デプロイ頻度が下がったわけではない 事例 1
  • 44. 44 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例 ?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例 事例 1) Four keys 指標改善のためのインシデント件数改善 事例 2) Four keys 指標改善のための QA 資産化率改善 事例 1 事例 2
  • 45. 45 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例② (1/2) Four keys 指標改善のための QA 資産化率改善 課題と指標の関係 ?テストデータの資産化率が低いため 毎回テストデータを作成する必要があり 変更のリードタイムと評価コストが増加 解決策 ?根本原因であるテストデータの資産化率を改善 - テストデータ作成手順の自動化 コスト 機会損失 評価コスト 変更の リードタイム 原価 コスト QA 資産化率 課題: ?テストデータ準備の リードタイムが長い 解決策 ?テストデータ準備の自動化 ① 自動テストに作成したいデータを入力し実行 ② テストデータが完成 事例 2
  • 46. 46 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例② (2/2) ) Four keys 指標改善のための QA 資産化率改善 指標の変化 評価コスト (割愛) 自動化前 自動化後 1800 分 91 分 リードタイム 300 件のテストデータ作成 95% 削減 自動化率 =71% 自動化率 =69% 自動化率 =97% 自動化率 =0% 本事例の詳細は DevOps Days Tokyo 2024 で コスト 機会損失 評価コスト 変更の リードタイム 原価 コスト QA 資産化率 事例 2 結果 ?テストデータ準備のリードタイム QA 資産化率が改善 ?テストデータの作成件数も増加 → 小規模のテストデータを工夫して使い回す やり方のテストをしなくてもよくなった
  • 47. 47 ? Kakaku.com Inc. All Rights Reserved. 食べログの品質改善事例 ?品質管理活動が「アジャイル開発の開発生産性」指標を改善した事例 事例 1) Four keys 指標改善のためのインシデント件数改善 事例 2) Four keys 指標改善のための QA 資産化率改善 →品質管理活動によって「アジャイル開発の開発生産性」を改善することが可能 事例 1 事例 2
  • 48. 48 ? Kakaku.com Inc. All Rights Reserved. アジェンダ 1. 食べログの品質管理の指標構造概要 2. 品質管理の指標構造を 4 つの要素に わけてそれぞれ詳細を解説 A. 工業製品のコスト管理 B. 工業製品の収益増加 C. サービス業の顧客満足度 D. IT サービスの開発生産性 3. 食べログの品質改善事例 2 つ 4. まとめ
  • 49. 49 ? Kakaku.com Inc. All Rights Reserved. 異なる性質の品質管理活動を同じ土俵にのせることで品質管理のエセ自己組織化を防ぐ 前半の高橋さんの発表スライドより https://speakerdeck.com/visional_engineering_and_design/jasst24-tokyo
  • 50. 50 ? Kakaku.com Inc. All Rights Reserved. まとめ 「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させた 食べログの品質管理の指標構造 → 「アジャイル開発の開発生産性」と「昔ながらの品質管理」を融合させることで 品質管理活動の価値がより高まっていく 食べログの品質管理の指標構造 ポイント 1: 「アジャイル開発の開発生産性」と「昔ながらの品質管理」の 活動の指標を網羅 ポイント 2: 品質管理の活動がアジャイル開発の開発生産性を改善した事例