![8
DATA_RECORD
一部のエンドポイントでのみ使用可能であり、エンドポイントごとに異なる方法で実装される場合があります。発生する各変更に
関する情報を書き込みます。Oracleではヘッダーフィールドのみが書き込まれますが、SybaseASEやIBMDB2 for LUWソー
スなどの一部のエンドポイントでは、変更されたデータも含まれます。特定のイベントがいつキャプチャされたか、およびイベントコン
テキストを記録します。
コンテンツは表示されません。レコードがタスクスコープにない場合でも、すべてのイベントがログに記録されます。（オブジェクトのリ
ストはLogMinerセッションに伝播されるため、これはOracle LogMinerには関係ありません）。
例
Produce INSERT event: object id 93685 context
'0000000003A4649301000001000005190000821F001000010000000003A46427' xid [000000000f9abd46]
timestamp '2017-06-07 09:01:58' thread 1 (oracdc_reader.c:2178)](https://image.slidesharecdn.com/25replicatelogger-210930061814/85/Qlik-Replicate-Replicate-Logger-8-320.jpg)
![13
IO
ディレクトリサイズの確認、ディレクトリの作成、ディレクトリの削除など、すべてのIO操作（つまりファイル操作）をログに記録します。
例：
[IO ]T: scanning 'E:Program FilesAttunityReplicatedatatasksTask_name/data_files' directory size (at_dir.c:827)](https://image.slidesharecdn.com/25replicatelogger-210930061814/85/Qlik-Replicate-Replicate-Logger-13-320.jpg)
![30
TRANSFORMATION
変換に関連する情報をログに記録します。「トレース」に設定すると、タスクで使用されている実際の変換がログに記録されます。
例：
以下の例では、「C」という名前の新しい列がテーブルに追加されています。式は$ AR_H_STREAM_POSITIONです。
[TRANSFORMATION ]T: Transformation on table USER3.TEST1 exists
(manipulation_manager.c:511)[TRANSFORMATION ]T: Set transformation for table 'USER3.TEST1'
(manipulator.c:596)[TRANSFORMATION ]T: New column 'C', type: 'kAR_DATA_TYPE_STR'
(manipulator.c:828)[TRANSFORMATION ]T: Transformation expression is '$AR_H_STREAM_POSITION'
(manipulator.c:551)[TRANSFORMATION ]T: Final expression is '$AR_H_STREAM_POSITION'
(expression_calc.c:822)](https://image.slidesharecdn.com/25replicatelogger-210930061814/85/Qlik-Replicate-Replicate-Logger-30-320.jpg)
More Related Content
What's hot (20)
Similar to Qlik Replicate - Replicate Logger (20)
![[db tech showcase Tokyo 2017] A15: レプリケーションを使用したデータ分析基盤構築のキモ（事例）by 株式会社インサイトテ...](https://cdn.slidesharecdn.com/ss_thumbnails/a15-170912020524-thumbnail.jpg?width=560&fit=bounds)
![[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...](https://cdn.slidesharecdn.com/ss_thumbnails/waf1saonq7kghgwbprmc-signature-25a0ea6711cd6aa4d4a08a1137bfd90f9f8e7850cd850623d7101ef7c30a9b4c-poli-161007061148-thumbnail.jpg?width=560&fit=bounds)
More from QlikPresalesJapan (20)
Qlik Replicate - Replicate Logger
- 1. ? 2019 QlikTech International AB. All rights reserved. Replicate Loggerの詳細 クリックテック?ジャパン株式会社
- 2. 変更データキャプチャーのアーキテクチャー（Hadoopの例) Hadoop Target Replicateタスク Sorter Stream Task Manager ストレージ Metadata Manager Stream Tables Manager Target Apply Filter Transformation Source Capture ソースDB トランザクション ログ HDFS File Factory HIVE ODBC REST Full Load (Subtask) Target Load Source Unload
- 3. 3 ? ADDONS ? ASSERTION ? COMMON ? COMMUNICATION ? DATA_RECORD ? DATA_STRUCTURE ? FILE_FACTORY ? FILE_TRANSFER (AKA CIFTA) ? INFRASTRUCTURE ? IO ? METADATA_CHANGES ? METADATA_MANAGER ? PERFORMANCE ? REST_SERVER ? SERVER ? SORTER ? SORTER_STORAGE ? SOURCE_CAPTURE ? SOURCE_LOG_DUMP ? SOURCE_UNLOAD ? STREAM ? STREAM_COMPONENT ? TABLES_MANAGER ? TARGET_APPLY ? TARGET_LOAD ? TASK_MANAGER ? TRANSFORMATION ? UTILITIES アジェンダ
- 8. 8 DATA_RECORD 一部のエンドポイントでのみ使用可能であり、エンドポイントごとに異なる方法で実装される場合があります。発生する各変更に 関する情報を書き込みます。Oracleではヘッダーフィールドのみが書き込まれますが、SybaseASEやIBMDB2 for LUWソー スなどの一部のエンドポイントでは、変更されたデータも含まれます。特定のイベントがいつキャプチャされたか、およびイベントコン テキストを記録します。 コンテンツは表示されません。レコードがタスクスコープにない場合でも、すべてのイベントがログに記録されます。（オブジェクトのリ ストはLogMinerセッションに伝播されるため、これはOracle LogMinerには関係ありません）。 例 Produce INSERT event: object id 93685 context '0000000003A4649301000001000005190000821F001000010000000003A46427' xid [000000000f9abd46] timestamp '2017-06-07 09:01:58' thread 1 (oracdc_reader.c:2178)
- 10. 10 FILE_FACTORY Hadoop Target、Amazon Redshift、およびMicrosoft Azure SQL SynapseAnalyticsに関連します。このコンポーネントは、ファ イルをReplicateからターゲット（Hadoopの場合はタスクのHDFSステージ）に移動する役割を果たします。
- 13. 13 IO ディレクトリサイズの確認、ディレクトリの作成、ディレクトリの削除など、すべてのIO操作（つまりファイル操作）をログに記録します。 例： [IO ]T: scanning 'E:Program FilesAttunityReplicatedatatasksTask_name/data_files' directory size (at_dir.c:827)
- 19. 19 SORTER ソースからキャプチャされた変更をターゲットにルーティングするCDCの主要コンポーネント。 以下の役割に対して責任を持つ： ? Full LoadとCDCの変更の同期 ? キャッシュされた変更として適用するイベントの決定 ? ソースデータベースから到着したトランザクションをコミットされるまで保存し、正しい順序で（つまり、コミット時間ごとに）ターゲッ トデータベースに送信します。 イベントの欠落、適用されていないイベント、許容できないCDC遅延など、CDCの問題がある場合は常に、このロガーに対して 「Verbose」を有効にすることをお勧めします。
- 25. 25 STREAM_COMPONENT ソース、ソーター、およびターゲットがストリームコンポーネントと対話および通信するために使用します。 例 Force switch to Transactional Apply mode for Hadoop target (endpointshell.c:1340)
- 30. 30 TRANSFORMATION 変換に関連する情報をログに記録します。「トレース」に設定すると、タスクで使用されている実際の変換がログに記録されます。 例： 以下の例では、「C」という名前の新しい列がテーブルに追加されています。式は$ AR_H_STREAM_POSITIONです。 [TRANSFORMATION ]T: Transformation on table USER3.TEST1 exists (manipulation_manager.c:511)[TRANSFORMATION ]T: Set transformation for table 'USER3.TEST1' (manipulator.c:596)[TRANSFORMATION ]T: New column 'C', type: 'kAR_DATA_TYPE_STR' (manipulator.c:828)[TRANSFORMATION ]T: Transformation expression is '$AR_H_STREAM_POSITION' (manipulator.c:551)[TRANSFORMATION ]T: Final expression is '$AR_H_STREAM_POSITION' (expression_calc.c:822)
- 32. www.qlik.com/sap
Editor's Notes
- #3: by default we have 5 subtasks running in parallel – Setting more subtasks can improve full load performance as more tables will be loaded at the same time, the downside is that more connections are being opened to the source, network will be highly utilized, higher CPU and memory consumption on the Replicate server, higher outgoing traffic to the target. Task Manager – In-charge on communication between the different components. The Task Manager component is actually divided to few sub-components which I will only mention the main once relevant for the process – Tables Manager – Manage the tables status (If the got loaded, Number of events, partitions) Metadata Manager - Manage tables metadata - Metadata store/Dynamic Metadata. Source Unload – Does the reading from source on Full load Target Load- Does the writing to target on Full Load. Metadata manager – handles reading if the metadata from source and target , storing the metadata , and sending it again to any component that needs it. Source Capture – Does the reading from the source during CDC, reading from the transaction logs using different methods. Target Apply – in-charge of writing the CDC changes to the target.