TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究?教育他への活用
0 likes89 views
鷲崎弘宜, "ISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と 研究?教育他への活用", TTC標準化人材育成オンラインセミナー 「国際標準化を活用した研究活性化 ～事例とノウハウ～」2024年2月28日
![メタモデル
複雑?不確実な開発運用時代こそ、エンジニアリング重要
要求?アーキテクチャモデリング 機械学習パイプライン
要求分析?設計
評価
問題の可視化
評価
解決の可視化
11
OK
OK OK
NG
OK OK
OK
NG
NG
OK OK OK
[ML.VP1?
AI.VP1]
Providereliable
real-timeobject
detectionsystem
fordriving
decisionmakingin
highway(incl.
trafficsign
detectionand
lane/vehicle
detection)
? [ML.DS1]Procured
datasets
? [ML.DS2]Internal
databasefrom
collectionduring
operation
? [ML.DC1]Openand
commercialdatasets
? [ML.DC2]Data
collectedduring
operation(imageand
identificationresult)
?[ML.F1?
AI.D1/AI.D3]
Boundingbox
forobject(incl.
othervehicles
orsigns)
?[ML.F2?
AI.D2]Ridge
detectionfor
lanedetection
[ML.BM1]
Modelswillbe
developed,
tested,and
deployedtocars
monthly
? [ML.PT1]Input:
imagefromsensors
? [ML.PT2←AI.D]
Output:trafficsigns,
lanemarking,
vehicles,and
pedestrians.
[ML.De1]Use
predictionresults
fordecision-
makinginself-
drivingsystem
[ML.IS1]
Usingtestdata,
achieveveryhigh
recallandhigh
precisionin
followingcondition:
night,rainy,and
generalcondition
Datasetsissplitinto
80:20ratio
[ML.MP1]
Predictionshould
bemadein
batchesreal
time.
[ML.M1]Inputdatamonitoring
[ML.VP1?
AI.VP1]
Providereliable
real-timeobject
detectionsystem
fordriving
decisionmakingin
highway(incl.
trafficsign
detectionand
lane/vehicle
detection)
? [ML.DS1]Procured
datasets
? [ML.DS2]Internal
databasefrom
collectionduring
operation
? [ML.DC1]Openand
commercialdatasets
? [ML.DC2]Data
collectedduring
operation(imageand
identificationresult)
?[ML.F1?
AI.D1/AI.D3]
Boundingbox
forobject(incl.
othervehicles
orsigns)
?[ML.F2?
AI.D2]Ridge
detectionfor
lanedetection
[ML.BM1]
Modelswillbe
developed,
tested,and
deployedtocars
monthly
? [ML.PT1]Input:
imagefromsensors
? [ML.PT2←AI.D]
Output:trafficsigns,
lanemarking,
vehicles,and
pedestrians.
[ML.De1]Use
predictionresults
fordecision-
makinginself-
drivingsystem
[ML.IS1]
Usingtestdata,
achieveveryhigh
recallandhigh
precisionin
followingcondition:
night,rainy,and
generalcondition
Datasetsissplitinto
80:20ratio
[ML.MP1]
Predictionshould
bemadein
batchesreal
time.
[ML.M1]Inputdatamonitoring
[ML.VP1?
AI.VP1]
Providereliable
real-timeobject
detectionsystem
fordriving
decisionmakingin
highway(incl.
trafficsign
detectionand
lane/vehicle
detection)
?[ML.DS1]Procured
datasets
?[ML.DS2]Internal
databasefrom
collectionduring
operation
?[ML.DC1]Openand
commercialdatasets
?[ML.DC2]Data
collectedduring
operation(imageand
identificationresult)
?[ML.F1?
AI.D1/AI.D3]
Boundingbox
forobject(incl.
othervehicles
orsigns)
?[ML.F2?
AI.D2]Ridge
detectionfor
lanedetection
[ML.BM1]
Modelswillbe
developed,
tested,and
deployedtocars
monthly
?[ML.PT1]Input:
imagefromsensors
?[ML.PT2←AI.D]
Output:trafficsigns,
lanemarking,
vehicles,and
pedestrians.
[ML.De1]Use
predictionresults
fordecision-
makinginself-
drivingsystem
[ML.IS1]
Usingtestdata,
achieveveryhigh
recallandhigh
precisionin
followingcondition:
night,rainy,and
generalcondition
Datasetsissplitinto
80:20ratio
[ML.MP1]
Predictionshould
bemadein
batchesreal
time.
[ML.M1]Inputdatamonitoring
修正戦略の追加
訓練
修正
Jati H. Husen, Hironori Washizaki, Hnin Thandar Tun, Nobukazu Yoshioka, Yoshiaki Fukazawa, Hironori Takeuchi, Hiroshi Tanaka, Kazuki Munakata, “Extensible Modeling
Framework for Reliable Machine Learning System Analysis,” 2nd International Conference on AI Engineering – Software Engineering for AI (CAIN’23)
[要求] 獲
得、分析
[構築] 分
離、再利用
[設計] パ
ターン
[テスト] 単
体、機能
[アーキ]
記述、評価
[運用]
DevOps
[経済] 価
値ベース
[モデル] 価
値～全体
[品質]
論証
[計算基礎]
SE for AI](https://image.slidesharecdn.com/ttc-24773-swebok-square-20240227-240228062224-3e34e92b/85/TISO-IEC-JTC1-11-320.jpg)
More Related Content
Similar to TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究?教育他への活用 (20)
More from Hironori Washizaki (20)
TISO/IEC JTC1におけるソフトウェア工学知識体系、技術者認証および品質の標準化と研究?教育他への活用
- 1. ISO/IEC JTC1におけるソフトウェア工学知識体 系、技術者認証および品質の標準化と 研究?教育他への活用 鷲崎 弘宜 早稲田大学 教授 IEEE Computer Society 2025 President ISO/IEC/JTC1 SC7/WG20 Convenor TTC標準化人材育成オンラインセミナー 「国際標準化を活用した研究活性化 ～事例とノウハウ～」2024年2月28日
- 4. 正統なエンジニアリング 職業人が果たす判断， 行為，助言が，社会で 実質的な価値を形成 4 松本吉弘, “エンジニアリング基礎知識体系とISO標準”, ITSCJ Newsletter, No.88, 2010. Paul Star, “The Social Transformation of American Medicine,” Basic Books, 1982. 知識?適格性の妥当 性をコミュニティで 判定できる環境 コミュニティで妥当と確 認される知識が科学的 基盤に基づく
- 5. Guide to the Software Engineering Body of Knowledge (SWEBOK) ソフトウェアエンジニアリング知識体系ガイド http://swebokwiki.org ? 歴史：2001 v1, 2004 v2, 2005 ISO/IEC TR, 2014 v3, 2024 v4 間もなく！ ? 目的 – 学習者、研究者、実務者が、ソフトウェアエンジニアリン グにおける「一般に認められた知識」を特定し、共通の 理解を持つよう導く – 関連分野との境界の定義 – 資格や教育カリキュラムの基礎 ? 導入?採用 – SWEBOKに基づくIEEE-CSソフトウェアプロフェッショナル 認定プログラム） – ISO/IEC 24773-4： ソフトウェアおよびシステムエンジニ アリングの専門家の認定 - 第 4 部：ソフトウェアエンジ ニアリング – ソフトウェアエンジニアリング?コンピテンシーモデル（ SWECOM） 活動?プラク ティス 知識体系 Body of Knowledge 知識の 島々 5
- 6. 要求 設計 構築 テスト 保守 構成管理 マネジメント プロセス モデル?手法 品質 専門職 経済 計算基礎 数学基礎 工学基礎 SWEBOK Guide V3からV4への進化 ? 現代的なソフトウェアエンジニアリング、プラクティスの変化や更新、知識体系の成長?新領域 ? パブリックレビュー実施済み https://www.computer.org/volunteering/boards-and-committees/professional-educational- activities/software-engineering-committee/swebok-evolution 要求 アーキテクチャ 設計 構築 テスト 運用 保守 構成管理 マネジメント プロセス モデル?手法 品質 セキュリティ 専門職 経済 計算基礎 数学基礎 工学基礎 SWEBOK V3 SWEBOK V4 アジャ イル, DevOps AIとソフトウェアエン ジニアリング 6
- 7. 計算基礎領域の拡充: AIとSE ? AI for SE – 開発者行動を再現し、高品質なソフトウェアシステムを構築 ? SE for AI – AIシステムのルールやシステム動作はデータに基づくため、従 来とは異なる支援の必要性 – パターンとしてのプラクティスの文書化 – 例: 『Software-Engineering Design Patterns for Machine Learning Applications』15のパターン, IEEE CS旗艦誌Computer 掲載, 2022 Best Paper Award 7 7 Data Layer Logic Layer Presentation Layer User Interface Database Data Collection Data Lake Business Logic Data Processing Inference Engine Real World Business Logic Specific ML Specific Architectural Layers Deployed as ML System Business Logic Data Flow ML Runtime Data Flow ML Development Data Flow Legend パターン 文脈 問題（品質要求） 解決 一部クラスの 自動修正 DNNによる分 類??? 一部クラスの分類 性能の低さ DNNの部分自 動修正??? モデルからの ビジネスロ ジック分離 機械学習アルゴリ ズム依存のビジネ スロジック?? ビジネスロジックと アルゴリズムの頻 繁な変更??? API設定と3レイ ヤ化??? 一部クラスの自動修正 モデルからのビジネスロジック分離 Hironori Washizaki, Foutse Khomh, Yann-Gael Gueheneuc, Hironori Takeuchi, Naotake Natori, Takuo Doi, Satoshi Okuda, “Software Engineering Design Patterns for Machine Learning Applications,” IEEE Computer, Vol. 55, No. 3, pp. 30-39, 2022.
- 8. 手法構築における参照例 街中 高速道路 AIプロジェクトキャンバス MLキャンバス アーキテクチャ設計 データ スキル 出力 価値提案 統合 ステーク ホルダ 顧客 コスト 収益 街中と高速道路とで信頼性?安全性を考慮し て許容可能な認識精度の機械学習に基づく システムをどのように開発、改訂できるか？ Jati Husen, Hironori Washizaki, Nobukazu Yoshioka, Hnin Tun, Yoshiaki Fukazawa and Hironori Takeuchi, “Metamodel-Based Multi-View Modeling Framework for Machine Learning Systems,” 11th International Conference on Model-Based Software and Systems Engineering (MODELSWARD 2023)
- 9. 9 機械学習モデルA モデルB モデルC 分類の性能評価 安全性?信頼性論証 誤分類データ 修正に向けた選択 バランスの取れた修正 修正結果 積極的な修正 さらなる改訂へ 1. データの改訂 2. 画像の質向上に 向けたアーキテク チャ改訂 3. ビジネスゴール の見直し 誤分類データ 安全性解析 要求?ゴール分析 Jati Husen, Hironori Washizaki, Nobukazu Yoshioka, Hnin Tun, Yoshiaki Fukazawa and Hironori Takeuchi, “Metamodel-Based Multi-View Modeling Framework for Machine Learning Systems,” 11th International Conference on Model-Based Software and Systems Engineering (MODELSWARD 2023)
- 10. 10 Jati Husen, Hironori Washizaki, Nobukazu Yoshioka, Hnin Tun, Yoshiaki Fukazawa and Hironori Takeuchi, “Metamodel-Based Multi-View Modeling Framework for Machine Learning Systems,” 11th International Conference on Model-Based Software and Systems Engineering (MODELSWARD 2023)
- 11. メタモデル 複雑?不確実な開発運用時代こそ、エンジニアリング重要 要求?アーキテクチャモデリング 機械学習パイプライン 要求分析?設計 評価 問題の可視化 評価 解決の可視化 11 OK OK OK NG OK OK OK NG NG OK OK OK [ML.VP1? AI.VP1] Providereliable real-timeobject detectionsystem fordriving decisionmakingin highway(incl. trafficsign detectionand lane/vehicle detection) ? [ML.DS1]Procured datasets ? [ML.DS2]Internal databasefrom collectionduring operation ? [ML.DC1]Openand commercialdatasets ? [ML.DC2]Data collectedduring operation(imageand identificationresult) ?[ML.F1? AI.D1/AI.D3] Boundingbox forobject(incl. othervehicles orsigns) ?[ML.F2? AI.D2]Ridge detectionfor lanedetection [ML.BM1] Modelswillbe developed, tested,and deployedtocars monthly ? [ML.PT1]Input: imagefromsensors ? [ML.PT2←AI.D] Output:trafficsigns, lanemarking, vehicles,and pedestrians. [ML.De1]Use predictionresults fordecision- makinginself- drivingsystem [ML.IS1] Usingtestdata, achieveveryhigh recallandhigh precisionin followingcondition: night,rainy,and generalcondition Datasetsissplitinto 80:20ratio [ML.MP1] Predictionshould bemadein batchesreal time. [ML.M1]Inputdatamonitoring [ML.VP1? AI.VP1] Providereliable real-timeobject detectionsystem fordriving decisionmakingin highway(incl. trafficsign detectionand lane/vehicle detection) ? [ML.DS1]Procured datasets ? [ML.DS2]Internal databasefrom collectionduring operation ? [ML.DC1]Openand commercialdatasets ? [ML.DC2]Data collectedduring operation(imageand identificationresult) ?[ML.F1? AI.D1/AI.D3] Boundingbox forobject(incl. othervehicles orsigns) ?[ML.F2? AI.D2]Ridge detectionfor lanedetection [ML.BM1] Modelswillbe developed, tested,and deployedtocars monthly ? [ML.PT1]Input: imagefromsensors ? [ML.PT2←AI.D] Output:trafficsigns, lanemarking, vehicles,and pedestrians. [ML.De1]Use predictionresults fordecision- makinginself- drivingsystem [ML.IS1] Usingtestdata, achieveveryhigh recallandhigh precisionin followingcondition: night,rainy,and generalcondition Datasetsissplitinto 80:20ratio [ML.MP1] Predictionshould bemadein batchesreal time. [ML.M1]Inputdatamonitoring [ML.VP1? AI.VP1] Providereliable real-timeobject detectionsystem fordriving decisionmakingin highway(incl. trafficsign detectionand lane/vehicle detection) ?[ML.DS1]Procured datasets ?[ML.DS2]Internal databasefrom collectionduring operation ?[ML.DC1]Openand commercialdatasets ?[ML.DC2]Data collectedduring operation(imageand identificationresult) ?[ML.F1? AI.D1/AI.D3] Boundingbox forobject(incl. othervehicles orsigns) ?[ML.F2? AI.D2]Ridge detectionfor lanedetection [ML.BM1] Modelswillbe developed, tested,and deployedtocars monthly ?[ML.PT1]Input: imagefromsensors ?[ML.PT2←AI.D] Output:trafficsigns, lanemarking, vehicles,and pedestrians. [ML.De1]Use predictionresults fordecision- makinginself- drivingsystem [ML.IS1] Usingtestdata, achieveveryhigh recallandhigh precisionin followingcondition: night,rainy,and generalcondition Datasetsissplitinto 80:20ratio [ML.MP1] Predictionshould bemadein batchesreal time. [ML.M1]Inputdatamonitoring 修正戦略の追加 訓練 修正 Jati H. Husen, Hironori Washizaki, Hnin Thandar Tun, Nobukazu Yoshioka, Yoshiaki Fukazawa, Hironori Takeuchi, Hiroshi Tanaka, Kazuki Munakata, “Extensible Modeling Framework for Reliable Machine Learning System Analysis,” 2nd International Conference on AI Engineering – Software Engineering for AI (CAIN’23) [要求] 獲 得、分析 [構築] 分 離、再利用 [設計] パ ターン [テスト] 単 体、機能 [アーキ] 記述、評価 [運用] DevOps [経済] 価 値ベース [モデル] 価 値～全体 [品質] 論証 [計算基礎] SE for AI
- 12. Body of Knowledge Skills Competencies Jobs / Roles SWEBOK Software Engineering Professional Certifications SWECOM EITBOK Learning courses 12 知識体系から技術者認定へ ISO/IEC 24773シリーズ ISO/IEC 24773 Software and systems engineering ─ Certification of software and systems engineering professionals ? ISO/IEC JTC1/SC7/WG20（座長: 鷲崎）における国際的に通用する高度IT資格制度に 関する要求事項の定義 ? Part 1: 一般要求、Part 2: 記述ガイド、Part 3: ソフトウェアエンジニアリング（SWEBOK Guide準拠）、Part 4: システムズエンジニアリング（INCOSE SE Handbook準拠）
- 13. ISO/IEC 24773シリーズを通じた技術者認証の 互換性と国際的技術者流動に向けて ? 訓練: 知識体系の参照による国際的に通用する専門職訓練とプロフェッ ショナル認定 – 例: 情報処理学会CITP制度 ? 教育: 大学?大学院における知識体系の参照による標準的なカリキュラム 13 Reference BOK (e.g., SWEBOK) BOK X BOK Y Cert A Cert B Knowledge Area
- 16. ISO/IEC 25000 SQuaREに基づくソフトウェア品質実態評価 16 機能説明 、ソースコ ードなど 製品説明、 不具合、テ スト情報な ど 内部品質 ISO/IEC 25010 外部品質 ISO/IEC 25010 利用時の 品質 ISO/IEC 25010 ISO/IEC 25022ベー ス利用時の 品質測定 ISO/IEC 25023ベース 製品品質測 定（信頼性評 価含む） 利用時 の品質 スコア ISO/IEC 25023 ベース製品品 質測定（コー ド測定含む） 品質特性 測定法 評価 関係分析と 実態把握 対象?属性 実態 ユーザア ンケート、 ユーザテ ストなど 測定 対応 製品 品質 スコア スコア化と 集約 どのように 影響して いるのか？ どのように測定 評価すればよいか？
- 17. IPA RISE調査研究「ソフトウェア製品品質実態定量化および 総合的品質評価枠組みの確立」（’18-19） 17 ? 21製品個別評価と業界実態分析 ? 拡張: スコア化方式変更、製品追加 ? 国際規格 ISO/IEC 25000 SQuaRE シリーズを具体化 ? 製品品質、利用時品質の網羅 と関係分析 0 20 40 60 80 100 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性 0 5 10 1 2 3 4 5 6 12ベンダ 21+製品 4評価機関 一部委託 一部結果 ISO/IEC JTC1/SC7/WG6 SQuaREエディタ 協力 評価結果
- 18. 得られた知見（調査対象の限りにおいて） ? 品質特性別 – 使用性、保守性: 低いほうにやや集中 – 互換性: 2極化、データ交換を一部考慮せず – セキュリティ: 2極化、暗号化や破損防止に差あり – 有効性: 2極化、タスク実行に一部難あり ? 特性間の関係 – 機能適合性が高いほど、使用性が低い。副作用、使用性軽視の可 能性。 – 移植性が高いほど、使用性が高い 18 Naohiko Tsuda, Hironori Washizaki, Kiyoshi Honda, Hidenori Nakai, Yoshiaki Fukazawa, Motoei Azuma, Toshihiro Komiyama, Tadashi Nakano, Hirotsugu Suzuki, Sumie Morita, Katsue Kojima, Akiyoshi Hando, “WSQF: Comprehensive Software Quality Evaluation Framework and Benchmark based on the SQuaRE,” Proceedings of the 41st ACM/IEEE International Conference on Software Engineering (ICSE 2019)
- 19. 時間効率性 の試験有無 応答時間平 均 応答時間実 測対目標 ターンアラウン ドタイム平均 ターンアラウン ドタイム実測 対目標 スループット目 標達成率 資源効率性 の試験有無 CPU使用率 最大値 メモリ使用率 最大値 容量満足性 の試験有無 ユーザ同時ア クセス可能数 目標達成率 大or小が望ましい 大 小 小 小 小 大 大 小 小 大 大 メトリクス測定値 1 - - - - 2.08 1 0.03 NA 1 NA - ログイン画面 表示 - プロセス起動 - データ蓄積 - データ保存 データ保存 - ????数 - - - データ検索 (500件) - - - データ検索 データ検索 - - RISEメトリクス（性能効率性） 測定条件 (サンプル) 富士通グループにおける活用事例 19 有効性 効率性 満足性 リスク回避 性 利用状況 網羅性 機能適合 性 性能効率 性 互換性 使用性 信頼性 セキュリティ 保守性 移植性 データ処理能力重視 ○ ○ ○ ◎ ○ ○ △ ○ 早期デリバリー △ △ △ × × 利用時の品質 システム／ソフトウェア製品品質 プロジェクト要件 要件を満たすための品質特性 （最優先：◎→○→△→×：低優先） 1. 注力する品質特性 を決定 2. メトリクスにより品質 達成度評価 3. RISEベンチマークによる ポジショニング評価 ベンチマークによりポジショニン グ確認でき該当製品が目指し た強みを実現できた 小島，森田，廣瀬，若本，菊池，楾晃歓，鷲崎弘, “ソフトウェア品質技術が品質特性に与える効果の見える化とその検証”, SEC journal, Vol. 14, No. 1, pp. 50-57, 2018. セキュリティ 性能効率性
- 20. まとめ ? 正統なエンジニアリング – コミュニティで妥当と確認される知識が科学的基盤に基づく ? SWEBOK Guide: ISO/IEC TR、ソフトウェアエンジニアリング知識体系 – 開発アップデートに役立つ: ポータル、辞書、文献ガイド – ISO/IEC 24773シリーズにおける技術者認証の基礎の一つ – 研究との関わり: 研究成果の知識体系への組み入れ、知識体系によ る研究成果の整理 ? SQuaRE: ISO/IEC 25000シリーズ、システム?ソフトウェア品質 – 研究との関わり: 測定法の具体化、ソフトウェア製品品質評価 20