狠狠撸

Qlik Talend Cloud
Microsoft SQL Server への接続
（ Microsoft CDC ベース）
Qlik Talend Cloud 勉強会 - #10
クリックテック?ジャパン株式会社
2024/10/08

Microsoft SQL Server
接続概要
3

社内ネットワーク環境
4
本セッションの範囲
クラウドターゲット
クラウドデータベース
(MSSQL/MySQL/
PostgreSQL)
SaaS アプリ
メインフレーム
データベース
SAP
Data
Movement
Gateway
(on Linux)
オンプレミスデータソース
クラウドデータソース
クラウドターゲット
Qlik Talend
Cloud
Qlik Talend
Cloud
線の意味
実データの流れ
制御コマンドの流れ
お客様の社内ネットワーク環境内の Data Movement Gateway を
介して、オンプレミスシステムのデータをクラウド DWH にアップ
リフト
SaaS アプリやクラウドデータベースのデータを Qlik
Talend Cloud が直接クラウドターゲットにロード
本セッションの範囲

5
本日のデモンストレーション環境
データソース： SQLServer( クラウド )
ターゲット： Qlik Cloud(S3)
データソースデータ統合
Full load or CDC
Qlik Data Gateway
(Data Movement)
Cloud
クラウドデータプラットフォーム
Cloud
Qlik Talend Cloud
制御 , SQL プッシュデータ
Qlik Cloud
(S3)

6
ソースへの接続： Microsoft SQL Server
ソースプラットフォームレプリケーション
ターゲット
データパイプ
ラインターゲット
プライベート接続
経由でのアクセス
Microsoft
SQL Server
(Microsoft CDC ベース )
Microsoft 変更テーブルからキャプ
チャされるため、トランザクションロ
グに依存する必要がなくなり、データ
損失のリスクが最小限に抑えられます。
〇〇可能

7
Microsoft SQL Server と接続をする方法として以下 2 の方法がございます。
1. Microsoft SQL Server (Microsoft CDC ベース )
2. オンプレミス Microsoft SQL Server ( ログベース )
Microsoft SQL Server との接続

8
Qlik Data Gateway の導入について
Qlik Data Gateway のセットアップについては、こちらを参照してください。
https://youtu.be/3YLP5OMmo3g
Qlik Cloud データ統合勉強会 #1

Microsoft SQL Server
の設定
9

10
注意点
? 本書作成後、バージョンアップなどによってサポートされるプラットフォームやドライバのバージョンなどが変更される可能性
があるため、導入?設定作業に際してはヘルプサイトも併せてご参照ください。
Microsoft SQL Server (Microsoft CDC ベース) | Qlik Cloud ヘルプ

11
? Qlik Data Gateway サーバへのドライバーのインストール
? SQL Server データベースの準備
? CDC 用データベースの準備
? ユーザーの権限についてとポートについて
SQLServer のセットアップについて

12
Qlik Data Gateway サーバへのドライバーのインストール
Qlik Data Gateway サーバに Linux 用の Microsoft ODBC Driver をインストールし、接続を確認します。
※ Data Movement Gateway 経由でアクセスする場合にのみ必要です。
? ドライバーについては以下をご参照下さい：
? 前提条件 | Qlik Cloud ヘルプ
? ドライバーのインストール方法
1. Python 3.6x 以降がインストールされていない場合にはインストールしてください。
2. データ移動ゲートウェイサービスを停止します。
sudo systemctl stop repagent
3. 作業ディレクトリを下記に変更します。
cd /opt/qlik/gateway/movement/drivers/bin
4. 次のコマンドを実行します。
sudo ./install sqlserver
5. EULA が表示されます。すべて表示後、「 y 」を入力すると、インストールが開始します。

13
SQL Server データベースの準備
CDC 用データベースの準備
前提条件 | Qlik Cloud ヘルプ
1. 次を実行することにより、 MS-CDC に対してデータベースを設定します :
1. exec source_db_name.dbo.sp_cdc_enable_db
※source_db_name はソースデータベースの名前です。
2. landing タスクにより、すべてのソーステーブルに対して自動的に MS-CDC が有効化されます。
ただし、手動で MS-CDC を有効にしたい場合は、次のスクリプトを実行します ( 対象となるソーステーブルそれぞれ
に対して ):
1. exec sys.sp_cdc_enable_table
2. @source_schema = N'schema_name‘,
3. @source_name = N'table_name‘,
4. @role_name = NULL
※schema_name と table_name は、それぞれソーススキーマとソーステーブルの名前です。
3. MS-CDC キャプチャとクリーンアップジョブが実行中であることを確認します。

14
ユーザーの権限について
必要な権限 | Qlik Cloud ヘルプ
ユーザーが db_owner データベースロールのメンバーである場合、次の権限を付与する必要があります。
?マスターデータベースにて :
? grant VIEW ANY DEFINITION
? grant VIEW SERVER STATE
?MSDB データベースにて :
? grant SELECT ON SYSJOBACTIVITY
? grant SELECT ON SYSJOBS
db_owner ロールなしで実行する場合
ユーザーが db_owner データベースロールのメンバーでない場合、次の権限をソースデータベースで付与する必要があります:
? grant VIEW DATABASE STATE
? grant SELECT
ポート
データ移動ゲートウェイサーバーのアウトバウンド通信のために、ポート 1434 を開く必要があります。これは、コネクタ設定で変更できます。
ユーザーの権限について

Qlik Talend Cloud
接続の設定
15

16
? データ統合の接続の設定
? プロジェクトの作成
Qlik Talend Cloud 側の設定について

17
データ統合の接続の設定
① メニューから
データ統合→
接続を選択
② 接続を作成
をクリック
③Microsoft SQL
Server(CDC based)
をクリック

18
① 事前に作成したデータゲートウェイを選択
②Cloud Provider は None を選択
③SQLServer のホスト名を入力
④SQLServer のユーザー名を入力
⑤ 上記ユーザーのパスワードを入力

19
⑥Database の Load Databases をクリックすると
Database Name に DB がリスト化されるので
対象となる DB を選択
⑦ その他はデフォルトのまま
で
接続をテスト
⑧ テストが問題なく成功した
ら
追加をクリック

20
設定が完了すると接続の一覧に表示される

21
プロジェクトの作成
① メニューから
データ統合→
プロジェクトを選択
② プロジェクトを作成
をクリック
③ 適切なプロジェクト
名称を入力
④ ユースケースは
データパイプラインを
選択
⑤ 今回のケースでは
Qlik Cloud を選択
⑥QVD ファイルを配置
するストレージとして
S3 を設定

22
① データのオンボード
を選択
② タスク名を入力する
英語のほうが好ましい

23
③ 今回作成をした
Microsoft CDC ベースの SQLServer の接続を選択する

24
④ 必要なテーブルを
スキーマから絞り込み選択をする
⑤ 選択したデータセットを追加
をクリックすることで追加される

25
⑥ 変更データキャプチャを選択する

26
⑦ ランディングと
ストレージのタスク名を入力する
英語のほうが好ましい

27
作成をクリックすると以下のようにデータパイプラインが表示される

制限事項と考慮事項
28

29
制限事項と考慮事項
制限と考慮事項 | Qlik Cloud ヘルプ
?セカンダリ Microsoft Azure SQL Managed Instance はソースデータベースとしてサポートされていません。
?スパーステーブルはサポートされていません。
?インデックス付きビューからの Landing データはサポートされていません。
?すべてのソーステーブルで MS-CDC を有効にする必要があるため、次のような制限があります。
? テーブルの切り捨てはサポートされていません
? WRITETEXT および UPDATETEXT ユーティリティはサポートされていません
?MS-CDC の制限の詳細については、 Microsoft ヘルプを参照してください。
?db_owner ロールなしで実行する場合、 MS-CDC は自動で有効にできないため、手動で有効にする必要がありま
す。 landing エラーを防ぐには、タスクを実行する前に、接続プロパティの [ キャプチャしたすべてのテーブルで MS-
CDC を有効にする ] チェックボックスもオフにする必要があります。
Etc …

30
対応しているデータ型
対応しているデータ型 | Qlik Cloud ヘルプ
Microsoft SQL Server データ型 Qlik Talend Data Integration デー
タ型
BIGINT INT8
BIT BOOLEAN
DECIMAL NUMERIC
INT INT4
MONEY NUMERIC (19,4)
NUMERIC (p,s) NUMERIC
SMALLINT INT2
SMALLMONEY NUMERIC (10,4)
TINYINT UINT1
REAL REAL4
FLOAT REAL8
DOUBLE REAL8
DATETIME DATETIME
DATETIME2 DATETIME
SMALLDATETIME DATETIME
DATE DATE
TIME STRING (16)
DATETIMEOFFSET STRING
*CHAR STRING
*VARCHAR STRING
*VARCHAR (max)
*TEXT
Qlik Talend Data Integration でこのデータ型を使用するには、特定のタスクに対して
CLOB の使用を有効にする必要があります。
Microsoft SQL Server テーブルの LOB 列は、 Microsoft SQL Server の LOB 列の値を
変更しなかった UPDATE ステートメントであっても、ターゲット内で更新されます。
CLOB
*NCHAR WSTRING
*NVARCHAR (length) WSTRING
*NVARCHAR (max)
*NTEXT
NCLOB の使用を有効にする必要があります。
NCLOB
BINARY BYTES
VARBINARY BYTES
VARBINARY (max)
IMAGE
BLOB の使用を有効にする必要があります。
BLOB
TIMESTAMP BYTES
UNIQUEIDENTIFIER STRING
HIERARCHYID VARCHAR (x)
XML
NCLOB の使用を有効にする必要があります。
CLOB
GEOMETRY CLOB

31
サポートされていないデータ型
対応しているデータ型 | Qlik Cloud ヘルプ
サポートされていないデータ型
? CURSOR
? SQL_VARIANT
? TABLE
サポートされていないセキュリティ機能
次のセキュリティ機能を使用するテーブルはサポートされていません。
? 常に暗号化
? 行レベルのセキュリティ

狠狠撸

Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServer(Microsoft CDCベース)への接続

Recommended

More Related Content

Similar to Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServer(Microsoft CDCベース)への接続 (20)

More from QlikPresalesJapan (20)

Qlik Talend Cloud しっかり学ぶ勉強会 #10 SQLServer(Microsoft CDCベース)への接続

Editor's Notes