狠狠撸

Amazon S3 との接続
Qlik Talend Cloud 勉強会 - #8
クリックテック?ジャパン株式会社
Senior Solution Architect
Yuki Suzuki
2024/09/10

Amazon S3
ターゲットへの接続概要
3

社内ネットワーク環境
4
本セッションの範囲
クラウドターゲット
クラウドデータベース
(MSSQL/MySQL/
PostgreSQL)
SaaS アプリ
メインフレーム
データベース
SAP
Data
Movement
Gateway
(on Linux)
オンプレミスデータソース
クラウドデータソース
クラウドターゲット
Qlik Talend
Cloud
Qlik Talend
Cloud
線の意味
実データの流れ
制御コマンドの流れ
お客様の社内ネットワーク環境内の Data Movement Gateway を
介して、オンプレミスシステムのデータをクラウド DWH にアップ
リフト
SaaS アプリやクラウドデータベースのデータを Qlik
Talend Cloud が直接クラウドターゲットにロード
本セッションの範囲

5
Amazon S3 は、下記の二通りの使いかたがあります。
? データパイプラインターゲットとして Databricks ( オプション ) または Amazon Redshift ( 必須 ) を使用するときのクラウドステー
ジングエリアとして使用
クラウドステージングエリアとは、データと変更が適用および保存される前にステージングされる場所です。
? レプリケーションタスクのターゲットとして使用
Amazon S3 をターゲットとして使用するための設定
1. Data Movement gateway の CA 証明書を確認する。（前提条件）
2. Amazon S3 の使用を開始し、バケットを設定する。
3. Qlik Talend Cloud データ統合で Amazon S3 への接続を構成する。
Amazon S3 との接続概要

6
? Data Movement gateway は、 SSL を使用して AWS に接続します。これには、データゲートウェイサーバーマシン上に適切な CA 証
明書が存在する必要があります。そうしないと、接続は失敗します。 CA 証明書の目的は、 AWS サーバー証明書の所有権を認証する
ことです。
? Windows では、必要な CA 証明書は常に存在しますが、 Linux では証明書が不足している場合があります。したがって、必要な CA 証
明書が次の場所に存在することを確認してください。
? /etc/pki/tls/certs/ca-bundle.crt
存在しない場合、最も簡単な解決策は、別の Linux マシンから証明書バンドルをコピーすることです。
? Data Movement gateway 2023.5.10 以降が必要です。
前提条件

S3 バケットの作成 1/2
AWS のコンソールのサービスから S3 を選択します。「バケットを作成」をクリックします。

9
S3 バケットの作成 2/2
バケット名を入力し、バケットを作成します。
バケット名の長さは 3 ( 最小 ) から 63 ( 最大 ) 文字にする必要があり、
小文字、数字、ドット (.) 、ハイフン (-) のみを使用できます。
詳しいルールは下記をご参照ください。
https://docs.aws.amazon.com/AmazonS3/latest/userguide/bucketn
amingrules.html?icmpid=docs_amazons3_
console

10
フォルダの作成
作成したバケットの中にフォルダを作成します。

11
バケットアクセス権限
バケットには、右のアクセス権限が必要です。
右の JSON データの、 YOUR_BUCKET_NAME をバケットの名前、
target_path をフォルダに書き換えて使用してください。
ターゲットパスにバケットのルートを使用したい場合、“ /
target_path” 部分を空の文字列で定義してください。
{
"Version": "2012-10-17",
"Statement": [
{
"Sid":
"Stmt1497347821000",
"Effect": "Allow",
"Action": [
"s3:GetBucketLocation",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::YOUR_BUCKET_NAME"
]
},
{
"Sid":
"Stmt1497344984000",
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::target_path",

12
IAM ポリシーの作成 1/2
ホーム画面から、 Identity and Access Management(IAM) の画面を開き、ポリシータブを選択して新たなポリシーを作成します。

13
IAM ポリシーの作成 2/2
アクセス許可を指定画面で、 JSON タブを開き、前述の JSON を張り付けて必要な個所を修正します。ポリシーの名前を指定して保存しま
す。

14
IAM ユーザーの作成 1/2
ユーザータブを選択して、ユーザーを作成します。ユーザー名を指定します。

15
IAM ユーザーの作成 2/2
許可を設定画面で、「ポリシーを直接アタッチする」を選択し、先ほど作成したポリシーを選択してユーザーを作成します。

16
IAM アクセスキーの作成 1/3
ユーザーが正常に作成されたら、ユーザー名をクリックします。アクセスキーを作成をクリックします。

17
主要なベストプラクティスと代替案で「その他」を選択します。

18
アクセスキーとシークレットアクセスキーが作成されたら、保存するために csv をダウンロードしてから完了します。

Qlik Talend Cloud
接続の設定
19

20
Qlik Talend Cloud での接続の作成
※ 画面ショットは新しいナビゲーションをオンにしたものとなっています。
ホーム画面の「接続を作成」から作成します。ランチャーメニューから「データ統合」 > 「接続」を選択し、
接続画面で「新規作成」をクリックして作成することもできます。

21
スペースを指定して、コネクタに Amazon S3 を選択します。

22
ゲートウェイを選択
アクセスキー
シークレットキー
バケット名 / フォルダ名
ルートの場合はバケット名のみ
接続名を入力します。
必要事項を入力後、接続をテストして保存します。
Internal properties の部分は、特殊なユースケース向けであるため、 Qlik サ
ポートによって指示があった場合にのみ使用する必要があります。
AWS PrivateLink の使用 :
これを選択して Amazon VPC に接続し、 VPC エンドポイント
URL ( 例 : https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-
1.vpce.amazonaws.com) を指定します。
ただし、 Databricks ターゲットのステージングエリアとして使用
する場合は、 AWS PrivateLink はサポートされません。

データ型のマッピングは、「データレイクにデータをラン
ディング」タスク設定の [ ターゲットフォルダにメタデータ
ファイルを作成 ] オプションが有効になっている場合にのみ関
連します。
データ型
Qlik Cloud データ型から Amazon S3 へのマッピング
Qlik Cloud データ型 Amazon S3 データ型
DATE DATE
TIME TIME
DATETIME DATETIME
BYTES BYTES ( 長さ )
BLOB BLOB
REAL4 REAL4 (7)
REAL8 REAL8 (14)
INT1 INT1 (3)
INT2 INT2 (5)
INT4 INT4 (10)
INT8 INT8 (19)
UINT1 UINT1 (3)
UINT2 UINT2 (5)
UINT4 UINT4 (10)
UINT8 UINT8 (20)
NUMERIC NUMERIC (p,s)
STRING STRING ( 長さ )
WSTRING STRING ( 長さ )
CLOB CLOB
NCLOB NCLOB
BOOLEAN BOOLEAN (1)

Parquet がファイル形式として設定されている場合、 Parquet
でサポートされるデータ型の数が限られているため、データ型
のマッピングは次のようになります。
データ型のマッピングは、「データレイクにデータをラン
ディング」タスク設定の [ ターゲットフォルダにメタデータ
ファイルを作成 ] オプションが有効になっている場合にのみ関
連します。
データ型
Qlik Cloud データ型から Parquet へのマッピング
Qlik Cloud データ
型
Parquet プリミティブ型論理型
BOOLEAN BOOLEAN
INT1 INT32 INT(8, true)
INT2 INT32 INT(16, true)
INT4 INT32
INT8 INT64
UINT1 INT32 INT(8, false)
UINT4 INT64
REAL4 FLOAT
REAL8 DOUBLE
NUMERIC FIXED_LEN_BYTE_ARRAY (16) DECIMAL ( 精度、スケール )
STRING BYTE_ARRAY STRING
WSTRING BYTE_ARRAY STRING
BYTES BYTE_ARRAY
BLOB BYTE_ARRAY
CLOB BYTE_ARRAY STRING
NCLOB BYTE_ARRAY STRING
DATE INT32 DATE
TIME INT32 TIME (UTC=true, unit=MILLIS)
DATETIME INT64 TIMESTAMP (UTC=true,
unit=MICROS)

Qlik Talend Cloud
タスクの設定
25

26
Amazon S3 ターゲットのプロジェクトの作成
データレイクにデータをランディング
① 新しいプロジェクトの作成画面で、
レプリケーションを選択
② 「データレイクにデータをランディン
グ」を選択
③ タスク名を入力

27
ソースを選択
① データソースの接続を選択
② スキーマとテーブルを選択

28
ターゲットの接続
ターゲットの接続を選択

29
更新方法の設定
更新方法
? 変更データキャプチャ (CDC):
データレイクのランディングタスクは、フルロードから開始されま
す ( その間、選択されたすべてのテーブルがランディングされま
す ) 。ランディングデータは、 CDC 使用して最新の状態に保たれま
す。
Data Movement gateway を使用する場合、変更はソースからほぼリ
アルタイムでキャプチャされます。
DDL 操作の CDC ( 変更データキャプチャ ) はサポートされていませ
ん。
? リロード :
選択したソーステーブルからターゲットプラットフォームへのデータ
のフルロードを実行し、必要に応じてターゲットテーブルを作成しま
す。フルロードはタスクの開始時に自動的に実行されますが、必要に
応じて手動で実行することや、定期的に実行するようにスケジュール
することもできます。
準備を実施した後は変更できません。

30
使用するフォルダーの設定
使用するフォルダー
? 既定のフォルダ :
プロジェクト名／タスク名のサブフォルダが、接続に指定したバケッ
トのフォルダの下位に作成されます。
接続時指定フォルダ / プロジェクト名 / タスク名 / タスク名 . テーブル
名 /LOAD00000001.csv
? ルートフォルダ :
タスク名 . テーブル名のサブフォルダが、接続に指定したバケットの
フォルダに作成されます。
接続時指定フォルダ / タスク名 . テーブル名 /LOAD00000001.csv
? フォルダ :
タスク名 . テーブル名のサブフォルダが、接続に指定したバケットの
フォルダに作成されます。
接続時指定フォルダ / 入力フォルダ / タスク名 . テーブル名 /
LOAD00000001.csv
フォルダー名に特殊文字 (@ 、 # 、 ! など ) を含めることはできません。

31
確認してタスクを作成します。
タスクの作成

32
ランディングタスクの設定
タスクを開いて、設定をクリックして、ランディングタスクの設定を行います。

33
基本設定
更新方法：
前述、準備を実施後は変更できません。
使用するフォルダー：
前述
データパーティションの変更：
更新方法が変更データキャプチャ (CDC) の場合のみ使用可能。
標準的なランディングタスクでは、変更は順不同でターゲットにランディングさ
れます。変更データのパーティショニングにより、多くのテーブルからの変更
データを一貫した方法で処理し、データの全体的な一貫性を確保することができ
ます。（例：注文行のない注文ヘッダーなどが発生しない）
パーティションに関する情報は、ターゲットの attrep_cdc_partitions コント
ロールテーブルに記録されます。この情報は、さらに処理が必要なパーティショ
ン化されたデータを識別するために使用できます。
? パーティション間隔 - 各パーティションの長さ ( 時間と分 ) を指定します。
多数のパーティションはパフォーマンスに影響があるため、１時間以上を推奨。
? パーティション基準時間 - パーティションは 24 時間の期間内に作成されま
す。

34
データのアップロード
ファイル属性：
「書式」で、ターゲットファイルを CSV 、 JSON 、または Parquet 形式で作成す
ることを選択できます。選択するファイル形式により、その他のオプションが異な
ります。
詳細は Help クラウドストレージターゲットの設定>データのアップロードを参照。
タスクが停止状態にあるときに形式を変更 ( 例 : CSV から JSON へ、または JSON
から CSV へ ) してからタスクを再開することはサポートされていません。
処理の変更：変更を適用 / 保存するタイミング
? ファイルサイズ到達
ファイルをアップロードする前に蓄積する変更データの最大サイズ
? 経過時間の到達点
ファイルをアップロードするまでの経過時間
メタデータファイル：
? ターゲットフォルダにメタデータファイルを作成
チェックすると各データファイルに対応する拡張子 .dfm のメタデータファイ
ルが、ターゲットフォルダの下に作成されます。メタデータファイルは、ソー
ス接続タイプ、ソーステーブル名、データファイル内のレコード数など、タス
ク / データに関する追加情報を提供

35
メタデータ
LOB 列：
? LOB 列を含めて列サイズを次に制限 (KB) にチェックすると、タスクに LOB 列
を含め、さらに最大 LOB サイズを設定できます。最大サイズより大きい LOB
は切り捨てられます。
コントロールテーブル：
? 下記よりターゲットに作成するコントロールテーブルを選択
ランディング履歴
データパーティションを変更

36
フルロード
パフォーマンスのチューニング：
? 最大並列ロードテーブル数
ターゲットに一度にロードするテーブルの最大数、規定値は５
? トランザクション一貫性タイムアウト
フルロード操作を開始する前に、開いているトランザクションが閉じるまで
待機する秒数、既定値は 600 (10 分 ) 、オープンになっているトランザク
ションがある場合でも、タイムアウト値に達するとフルロードが開始
? フルロード時のコミット率
一緒に転送できるイベントの最大数、既定値は 10000
フルロードの完了後：
? プライマリーキーまたは一意のインデックスを作成
チェックすると、フルロードが完了するまで主キーまたは一意のインデックス
の作成を遅らせる

37
変更の保存を処理
変更テーブルのヘッダー列には、操作のタイプ ( 例 : INSERT) やコミット時間など、
変更処理操作に関する情報が表示されます。
不要な場合は列のチェックボックスをオフにします。
タスクの実行中は変更できません。
変更する場合は、タスクを停止してから変更し、変更後にターゲットテーブルをリ
ロードする必要があります。
データパーティションの変更が有効になっている場合は、「 partition_name 」と
いうヘッダー列が自動で変更テーブルに追加され、除外できません。
ヘッダー列の説明については、変更テーブルの使用を参照してください。

38
エラー処理 1/3
データエラー（変更データキャプチャ (CDC) の場合にのみサポート）
? データ切り捨てエラー
Amazon S3 ではサポートされていません。
? その他のデータエラーの場合
? 無視 – タスク続行、エラー無視
? テーブルを一時停止 – タスクは続行するが、エラーのあるテーブルの
データはエラー状態となり、そのデータはレプリケートされない
? タスクを停止 – タスクは停止され、手動による操作が必要
? データエラーが次の値に達した場合に処理をエスカレート ( テーブルごと )
その他のデータエラーの場合が「無視」のときのみ有効
チェックをオンにすると、非切り捨てデータエラーの数 ( テーブルごと ) が指
定された量に達したときにエラー処理がエスカレートされます。
有効な値は 1 ～ 10,000 です。
? エスカレーションアクション
その他のデータエラーの場合が「無視」のときのみ有効
? テーブルを一時停止 – タスクは続行するが、エラーのあるテーブルの
? タスクを停止 – タスクは停止され、手動による操作が必要

39
エラー処理 2/3
テーブルエラー
? テーブルエラーが発生した場合
? テーブルを一時停止 - タスクは続行するが、エラーのあるテーブルの
? タスクを停止 : タスクは停止され、手動による操作が必要
? テーブルエラーが次の値に達した場合に処理をエスカレート
チェックをオンにすると、テーブルエラーの数 ( テーブルごと ) が指定さ
れた量に達したときにエラー処理をエスカレート、有効な値は 1 ～
10,000
? エスカレーションアクション
「タスクを停止」に固定

40
エラー処理 3/3
環境
? 最大試行数
復元可能な環境エラーが発生した場合にタスクを再試行する最大回数、再試
行後にタスクは停止、手動による操作が必要
再試行しない場合は、チェックボックスをオフにするか「 0 」を指定、無限
に再試行するには、「 -1 」
? 再試行の間隔 ( 秒 )
システムがタスクを再試行するまでに待機する秒数、 0 ～ 2,000
? 長時間の停止の場合は再試行間隔を長くする
チェックボックスをオンにすると、最大再試行間隔に達するまで、各再試行
と次の再試行の間隔が 2 倍になる ( 指定された最大間隔に従って再試行を
継続 )
? 最大再試行間隔 ( 秒 )
「長時間の停止の場合は再試行間隔を長くする」オプションが有効になって
いる場合、タスクの再試行間隔を待機する秒数を選択または入力、
0 ～ 2,000

41
変更処理のチューニング
トランザクションオフロードのチューニング：
? 全トランザクションの合計メモリサイズが次を超えています。 (MB)
全トランザクションがディスクにオフロードされる前に、メモリで占有できる
最大サイズ、規定値は 1024
? トランザクション期間が次を超えています ( 秒 )
各トランザクションがディスクにオフロードされるまでに、メモリに留まるこ
とができる最大時間、期間はレプリケーションタスクがトランザクションの
キャプチャを開始した時間から計算、規定値は 60
バッチチューニング：
? トランザクションごとの最小変更数
各トランザクションに含める変更の最小数、既定値は 1000
? 適用前にトランザクションをバッチ処理する最大時間 ( 秒 )
タイムアウトを宣言するまでにトランザクションをバッチで収集する最大時間、
既定値は 1
その他のチューニング：
? ステートメントのキャッシュサイズ ( ステートメントの数 )
後で実行するためにサーバーに保存する準備済みステートメントの最大数
( ターゲットに変更を適用する場合 ) 。既定値は 50 、最大値は 200
? プライマリーキー列を更新する際の DELETE と INSERT

42
文字変換
ターゲット内のソース文字の置換または削除、および / または選択した文字セット
でサポートされていないソース文字の置換または削除ができます。
? 文字はすべて Unicode コードポイントとして指定する必要
? 文字置換は、コントロールテーブルでも実行
? 無効な値は、テーブルのセルの右上に赤い三角形で表示、三角形の上にマウス
カーソルを置くと、エラーメッセージを表示
? タスクに定義されたテーブルレベルまたはグローバル変換は、文字の置換が完了
した後に実行
? 「ソース文字の置換または削除」テーブルで定義されたアクションは、「文字
セットでサポートされていないソース文字」テーブルで定義された置換アク
ションの前に実行
? 文字置換は LOB データ型をサポートしません。
ソース文字の置換または削除：
? ソース文字と代替文字を追加
文字セットでサポートされていないソース文字：
? 選択した文字セットでサポートされていないすべての文字に対して 1 つの置換
文字を定義

43
詳細オプション
Qlik サポートまたは製品ドキュメントにより明示的に指示されない限り、これらの
オプションを設定しないでください。

狠狠撸

Qlik Talend Cloudしっかり学ぶ勉強会 #8 - Amazon S3 との接続.pptx

Recommended

More Related Content

Similar to Qlik Talend Cloudしっかり学ぶ勉強会 #8 - Amazon S3 との接続.pptx (20)

More from QlikPresalesJapan (20)

Qlik Talend Cloudしっかり学ぶ勉強会 #8 - Amazon S3 との接続.pptx