![14
Talend Data Quality のインストール
機能マネージャーを使って機能をインストール
詳細は、こちらを参照してください。
https://help.talend.com/ja-JP/studio-user-guide/8.0/install-features-to-talend-studio
1. Studio Talendを起動し、機能をインストールして有効化した
いプロジェクトにログインします。
2. トップバーの[Feature Manager] (機能マネージャー)ボタンを
クリックするか、メニューで[Help] (ヘルプ) > [Feature
Manager] (機能マネージャー)を選択します。
3. アップデートリポジトリーにログインする[Authentication]
(認証)ダイアログボックスが表示されたら、アップデートリポ
ジトリーのユーザー名とパスワードを入力してOKをクリック
します。詳細は、Talend Studioでのアップデートリポジト
リーの基本認証をご覧ください。
4. [Feature Manager] (機能マネージャー)ウィザードが開き、使
用しているライセンスと作業しているプロジェクトの種類に
応じて、利用できるもののまだインストールされていない機
能がすべて階層的に表示されます。](https://image.slidesharecdn.com/20240507techtalktalenddataquality-240507092125-3582cac6/85/2024-05-07-TECH-TALK-Talend-Data-Quality-14-320.jpg)
![41
正規表現を利用したデータ検証 (1/2)
正規表現の作成 ? カラム分析 ? データ検証 ? データ修正
【納品書番号の正規表現】
'^[0-9][0-9][0-9][0-9][0-9][0-9]-[A-Z][A-Z][0-9][0-9][0-9][0-9]$'
インジケーターに 登録した正規表現のパターンを選択](https://image.slidesharecdn.com/20240507techtalktalenddataquality-240507092125-3582cac6/85/2024-05-07-TECH-TALK-Talend-Data-Quality-41-320.jpg)
2024-05-07 TECH TALK Talend Data Quality
- 1. TECH TALK Talend Data Quality の紹介 阿部 智師 クリックテック?ジャパン株式会社 2024年 5月 7日
- 3. 3 Q&Aについて ? 質問はZoom画面下のQ&Aアイコンをクリックして入力してください。 ? 質問に対してQlikパネラーが随時Q&Aパネルで回答します。 ? 質問と回答については、セミナーの最後に他の参加者に共有させてい ただきます。
- 4. Agenda ? Talend と Talend Studio について ? Talend Data Quality の概要 ? Talend Data Quality のセットアップ ? 分析の概要 ? データクレンジングの概要 ? その他の情報
- 5. 5 AIの成功 - データへの依存 Sources: “What Every CEO Should Know About Generative AI”, McKinsey, May 2023 ? ETR study commissioned by Qlik, August 2023 “生成AIで成功するアプローチには モダンデータスタックと 技術スタックが鍵となる” - McKinsey AIの成功はデータにかかっている そして大量のデータが必要となる が、分析目的で 移動/管理されるデータ量は 増加すると予想 73%
- 6. Talend とTalend Studio について 6
- 7. 7 Qlik Talend Platform Overview ビジネス部門 ビジネスユーザ ビジネスアクション 基幹システム 情報系システム 拠点システム IT管理者 etc. DWH/DM の構築 Talend Studio GUIベース開発環境 カタログ ?メタデータ収集 ?プロファイリング ?ビジネス用語 ?データリネージ ?インパクト分析 ?検索/可視化 Talend Data Catalog DWH / DM etc. Private Network Remote Engine ?ジョブ実行 Data Inventory Pipeline Designer Data Preparation Data Stewardship Management Console ?データ統合ジョブ管理 ?スケジューリング ?モニタリング etc. Qlik Sense Enterpise ?データ分析 Insight (洞察) データ 収集 バッチ CDC (変更データ キャプチャ) ストリー ミング 構造変換/データ整形 クレンシング データスチュワードシップ フィルタリング / 除外値処理 データ 加工 名寄せ マッチング 重複排除 異常データ検知 データ 品質 データ検索 Data Quality
- 8. 8 Talend Studio : データ統合アプリケーションの開発 ? GUIベースのデータ統合/データ連携開発環境 ? 機能別部品を接続するシンプルな操作性によりデータ統合のフローを容易に開発 ? データ統合の様々な局面をサポートする充実した機能 ? 開発とデバッグの同時進行、仕様書やテストの自動生成といった支援機能が豊富 データソース ERP/CRM DBMS ファイル クラウド Webサービス データターゲット ERP/CRM DBMS ファイル クラウド Webサービス
- 9. 9 Talend Studio の紹介セミナー https://youtu.be/41J3dLMqcsM ※ Talend Studio については、Youtubeを参照してください。 2024年 2月 13日 Qlik TECK TALK 「Talend Studioのご紹介」
- 10. Talend Data Quality の概要 10
- 11. 11 Talend Data Quality について Talend Data Quality は、Talend Studioのプロファイリング?パースペクティブから、さまざま なデータソースで利用できるデータを検証し、そのデータに関する統計と情報を収集できます。
- 12. 12 前提条件 ? この機能は、デフォルトではTalend Studioに同梱されていません。機能マネージャーを使用してイン ストールする必要があります。 ? Talend Studio が稼働可能な環境が用意できている必要があります。 ? Talend Data Qualiy を利用できる製品(ライセンス)が必要です。 ? Talend Big Data Platform ? Talend Cloud API Services Platform ? Talend Cloud Big Data Platform ? Talend Cloud Data Fabric ? Talend Cloud Data Management Platform ? Talend Data Fabric ? Talend Data Management Platform ? Talend Data Services Platform ? Talend MDM Platform ? Talend Real-Time Big Data Platform 詳細は、こちらを参照してください。 https://help.talend.com/ja-JP/studio-user-guide/8.0/what-is-talend-data-quality
- 14. 14 Talend Data Quality のインストール 機能マネージャーを使って機能をインストール 詳細は、こちらを参照してください。 https://help.talend.com/ja-JP/studio-user-guide/8.0/install-features-to-talend-studio 1. Studio Talendを起動し、機能をインストールして有効化した いプロジェクトにログインします。 2. トップバーの[Feature Manager] (機能マネージャー)ボタンを クリックするか、メニューで[Help] (ヘルプ) > [Feature Manager] (機能マネージャー)を選択します。 3. アップデートリポジトリーにログインする[Authentication] (認証)ダイアログボックスが表示されたら、アップデートリポ ジトリーのユーザー名とパスワードを入力してOKをクリック します。詳細は、Talend Studioでのアップデートリポジト リーの基本認証をご覧ください。 4. [Feature Manager] (機能マネージャー)ウィザードが開き、使 用しているライセンスと作業しているプロジェクトの種類に 応じて、利用できるもののまだインストールされていない機 能がすべて階層的に表示されます。
- 15. 15 Talend Data Quality の利用 プロファイリング画面の起動 Integration プロファイリング 図：プロファイリングとIntegration のパースペクティブ
- 16. 16 Talend Data Quality デモプロジェクトのインポート Talendではさまざまなデモプロジェクトを提供しています。 ① デモプロジェクトを現在のプロジェク トにインポートする場合 ② デモプロジェクトを別のプロジェクト としてインポートする場合 デモをインポート
- 17. 17 エラーログの表示 データプロファイリング中に発生した問題の確認 リスト内の各エラーログの前には、ログの重大度を示すアイコンが付いて います。エラーであれば 、警告であれば 、情報であれば です。
- 18. 分析の概要 18
- 19. 19 データベース接続概要分析 コネクション/カタログ/スキーマ分析 実行 フィルターを設定可能。 デフォルトは、データベースの すべてのテーブルが分析対象 接続の分析 分析対象のデータベースを選択
- 21. 21 冗長性分析(redundancy analyses) テーブル間の関係をさらに詳しく調べるカラム比較 ※データベースのみ ? 異なるテーブルにある同一カラムを比較 ? テーブルの外部キーをもう1つのテーブルのプライマリキーと一致させる(またはその逆) 冗長性分析の選択 実行
- 22. 22 冗長性分析の結果（例）
- 24. 24 テーブル分析の結果（例）
- 26. 26 カラム分析の結果（例）
- 27. 27 相関分析 – 概要 複数の列間にある関係や相関を調査 ? 数値相関分析 名目列と間隔列の間の相関関係が分析され、バブルチャートで結果が表示されます。 ? 時間相関分析 名目列と日付列の間の相関関係が分析され、名目列の各値の開始日と終了日を示すガント チャートで結果が表示されます。 ? 名目相関分析 名目上の列間の最小限の相関が分析され、結果がグラフで表示されます。相関関係は線で 表され、相関の強さは線の太さで示されます。
- 34. 34 レポートとは Profilingパースペクティブの分析から生成できるドキュメント。 レポートの情報は、データマートに格納されます。 データマートでサポートされているデータベース ? HSQL ? Microsoft SQL Server ? MySQL ? Oracle SID / Oracle OCI ? PostgreSQL ? Snowflake ※ 詳細なバージョン等は、こちらを参照してください。 https://help.talend.com/ja-JP/studio-user-guide/8.0/supported-databases-for-data-mart
- 37. データクレンジングの概要 37
- 38. 38 列分析で有効、および無効な行の対応 カラム分析 ? データ検証 ? データ修正 下記を選択 ?有効行のみ取得するETLジョブを生成 ?無効行のみ取得するETLジョブを生成 ?行を処理するETLジョブを生成
- 39. 39 テーブル分析で無効な行の対応 (1/2) ビジネスルール作成 ? テーブル分析 ? データ検証 ? データ修正 ビジネスルール分析の選択
- 41. 41 正規表現を利用したデータ検証 (1/2) 正規表現の作成 ? カラム分析 ? データ検証 ? データ修正 【納品書番号の正規表現】 '^[0-9][0-9][0-9][0-9][0-9][0-9]-[A-Z][A-Z][0-9][0-9][0-9][0-9]$' インジケーターに 登録した正規表現のパターンを選択
- 43. 43 重複値の特定 (1/2) カラム分析 ? データ検証 ? データ修正
- 44. 44 重複値の特定 (2/2)
- 48. その他の情報 48
- 49. 49 セミナーのお知らせ
- 50. 50
- 53. 53 Webセミナー過去動画?資料 /QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK 狠狠撸share QlikPresalesJapan
- 54. セミナー動画?事例紹介 ?デモ?新機能紹介 Qlik Japan Youtube Qlik Community Japan 製品?技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品?技術情報の公開 その他の情報もご利用ください。
- 55. ?判型：B5 変 ?総ページ数：～480 ページ程度 ?予価本体：4,200円 (+税) ? QlikSpaceの記事をベースに、書籍用に大幅に カスタマイズ＆加筆 ? 1 冊でQlik Sense の基本をマスターし（＝基 本編）、ニーズの高い分析例（＝応用編）を できるだけ丁寧に紹介 「Qlik Sense 参考書」好評発売中
- 56. Thank You!
Editor's Notes
- #6: では、AIの成功を実現するためには、どうしたらよろしいのでしょうか？ キーポイントは「データ」です。 AIモデルは～？とか、生成AIってどんな特徴？ どんな事ができる？ そればかりに終始していませんか？ 勿論、その議論も大事ですが、それだけでは ダメなんです。 AIモデルは、それが、大規模言語モデル（LLM）であろうと、伝統的な機械学習（ML）モデルであろうと、 回答と結果の正確さ、質は、実は、「データ」に依存しているんです。 「モデル」 には、学習させたデータ以上に 「考える」 能力はないんです。 データの質が、低かったり、不正確であったり、鮮度が古かったり、データの多様性が欠けていると、AIも、不正確な予測、不正確な結果、偏った結果、につながってしまいます。 実は、「データ」なんですね。