狠狠撸

狠狠撸Share a Scribd company logo
データ処理をJava+OSSで投資最適化
  Talend, Global Leader in Open Source Data Management

                                 Japan Jasper Server User Group Qshu
                                            設立記念講演 福岡セミナー
                                                              @DAYS KITCHEN

                                                                 2011年05月14日

                                                                 Talend株式会社
                                                         コンサルティングマネージャー
                                                         正金 秀規(まさがね ひでき)
                                                            hmasagane@talend.jp




? Talend 2011                                                                     1
アジェンダ

  ? Talendご紹介
  ? 罢补濒别苍诲データ统合製品
  ? 補足スライド




? Talend 2011       2
罢补濒别苍诲:概要

    ? OSS:Open Source Softwareを基本としたデータマネジメント製品のリーダー

    ? 未上場、VC支援による経営

    ? グローバル展開と導入ユーザー
                                                                          London (Maidenhead)
                                                                           営業マーケティング
San Francisco (Los Altos)                                                  技術支援
 コーポレート                                                                   Nuremberg
Orange County (Irvine)                                                     営業マーケティング
 営業マーケティング                                                                 技術支援
 R&D                                                                      Bonn
 技術支援                                                                      営業マーケティング
Boston (Burlington)                                                        R&D
 営業マーケティング                                                                 技術支援
 R&D                                                                      Munich
New York (Tarrytown)                                                       営業マーケティング
 営業マーケティング
 技術支援                                                                     Tokyo
                                    Utrecht     Milan (Curno)   Beijing
                 Paris (Suresnes)   営業マーケティング   営業マーケティング        R&D       営業マーケティング
                  コーポレート                        技術支援             技術支援      技術支援?L10n
                  営業マーケティング
                  R&D
                  技術支援                                                                          3
? Talend 2011
罢补濒别苍诲:沿革
                                                                              Integration          MDM
                                                                               Suite RTx         Enterprise
                                                                                                  Edition
                                     Open Studio
                                        v1.0                       Open            Integration
                                                                  Profiler          Suite MPx       MDM       製
                                                                                                 Community    品
                                                    Integration          Data                                 リ
                                                                        Quality                    Edition
                Talend Open Studio
                                                       Suite                                                  リ
                      Beta 1
                                                                                                              ー
                                                                                                              ス




2002                2005             2006           2007          2008               2009             2010


R&D        Talend SA開                                         第三回投資ラウンド:
                    設                  Talend Inc              Balderton Capital
                                            開設                                                                業
                                                                                                              容
         第一回投資ラウンド:                                                                                           拡
        AGF Private Equity &                                            MDM 製品買収                              大
            Galileo Partners            第二回投資ラウンド
                                                                                        第四回投資ラウンド


? Talend 2011                                                                                                     4
罢补濒别苍诲:翱厂厂発展の道程で诞生!




                                                  2002
    1970          1984         1998        2000           2003            2006      2009



オープンソース概        フリーソフトウェア    オープンソース?イ   オープンソースソ     オープンソースソ さらに成熟したKey         経済危機の発生
念の誕生            財団設立         ニシアティブ      リューションの出     フトウェア企業が プレイヤーが市場           が企業ITへのオ
                (リチャード?スト    創設          現            誕生       での存在感を増す           ープンソース導入
                ールマン)                                                             を後押し
                                                                    JBoss,
ソースコードへの        GPL, GNUの創   ビジネスとテクノロ   Apacheプロジェ   MySQL, JBoss, SugarCRM ,
フリーアクセス         設            ジの現状を踏まえ    クト…          SugarCRM…     Jaspersoft,
                             たポリシーの実現                               Talend…
                             について話し合い
                             が実現

? Talend 2011                                                                                5
罢补濒别苍诲:実绩ハイライト
   高い市場認知度!
      ? 1,200万ダウンロード
      ? 55万以上のユーザ
      ? 2,000社の有償版顧客




                 1 ダウンロード / 分        100 新規ユーザ / 月
                Talend Open Studio

? Talend 2011                                        6
Talend:導入顧客例(商用製品)

 金融?保険業




 サービス業




 製造?小売?
 流通サービス




 公共団体
 教育機関


? Talend 2011          7
罢补濒别苍诲:日本法人
   【 会社名 】      Talend株式会社
                英文略称:Talend K.K.
   【 代表者 】      代表取締役 岩崎洋二
                取締役           ベルトランド?ディアード
                取締役           ビンセント?ピノウ
                監査役           廣瀬一俊
   【 所在地 】      〒107-0062 東京都港区南青山 5-10-13 デコパージュ南青山4F
   【 連絡先 】      Tel 03-6427-6370 Fax 03-3409-6521
   【 URL 】      http://jp.talend.com
   【 e-mail 】   sales@talend.jp
   【 資本金 】      9.9百万円
   【 株主 】       仏Talend S.A. (100%)
   【 決算月 】      01月
   【 設立年月 】 2010年01月
   【 取引銀行 】 東京三菱UFJ銀行 青山支店
   【 業務内容 】 Talend社製品の開発、販売、技術支援、製品日本語化等
   【 社員数 】      15名(役員含む)
   【 お取引先 】 マブチモーター株式会社、三菱UFJインフォメーションテクノロ
            ジー株式会社、セントラル短資FX株式会社、NTTデータ先端技術
            株式会社、株式会社メトロ、株式会社シー?エス?エス、株式会社
            エアー、株式会社 YSLソリューション、株式会社ディーバ、新日
            鉄ソリューションズ株式会社、兼松エレクトロニクス株式会社、
                株式会社アシスト等(順不同、敬称略)


? Talend 2011                                            8
罢补濒别苍诲:公司滨罢におけるポジション
                                                                       ??? Talend製品
                                システム間のデータ交換                          One Factデータの監理
                   データ
                   クレンジング

                                                                         マスタデータ
                                                                           ハブ



 データの
分析?検証

                 CRM        業務システム          業務システム   新会計
                システム           A               B     システム




                            抽出                                      外部連携先との
                            変換                                      データ交換
                        ローディング


                                                        レガシイシステムの
営業部門用
データマート                                                  移行


                                      全社                                     お客様
                                      DWH            レガシィ
                                     システム            財務会計
                                                                             協業先
                                                     システム                   国外部支店
企画部門用
データマート                                                                        等



? Talend 2011                                                                         9
罢补濒别苍诲:骋笔尝&商用製品
                                                      Talend MDM Enterprise Edition
                                                      全社を俯瞰したマスタデータ管理
  Talend Open Profiler     GPL製品                      - 権限管理?制御
  データの内容?品質検証                                         - 妥当性ルールの定義
  - GPLv2製品、無制限に使用可能                                  - 高度なワークフローエンジン
  - 品質指標の作成が可能



                                            GPL製品    Talend MDM Community Edition
  Talend Data Quality
                                                     コミュニティベースのマスタデータ管理
  クレンジングと検知
                                                     - GPLv2製品、無制限に使用可能
  - クレンジング用
                                                     - XMLベースのアクティブデータモデル
    コンポーネント
                                                     - 業務ユーザ向け軽量GUI
  - 検証レポート機能
  - データ品質に関する
    ポータル機能

                                                             Talend Unified Platform
                                                             標準テクノロジを製品基盤に採用
                                                             - GUI :Eclipse, ブラウザ
                                                             - リポジトリ:Subversion, RDBMS
                                    GPL製品

                   Talend Open Studio        Talend Integration Suite
                   データフローの構築                 ミッションクリティカルなデータ運用を実現
                   - GPLv2製品、無制限に使用可能        - チーム開発機能
                   - 多機能?高速データプロセッシング        - 自動デプロイ、ロードバランシング、HA
                   - 450+ のコンポーネントが利用可能      - ジョブフロー制御機能
                                             - 運用監理機能

? Talend 2011                                                                            10
罢补濒别苍诲データ统合製品
                                                  【 Talend Integration Suite の対象プロジェクト 】

                                                  i)    データ統合/システム統合案件
                                                  ii)   DWH構築案件
                                                  iii)  データ連携案件
                                                  iv)   データクレンジング案件
                                                  v)    マスターデータ管理案件
                                                  vi)   SAPマルチインスタンス統合案件
                                                  vii)  フロント~バック連携案件
                                                  viii) Salesforce.com, Microsoft Dynamics CRM等、
                                                        クラウド ? オンプレミス連携案件
                                                  ix) IFRS対応に伴なう上流システムからのデータ抽出案件
                                                  x)    データ移行?システム移行案件
                                                  xi) 企業合併、再編に伴なうシステム移行、統合案件
                                                  xii) 情報系?BIシステム構築、更改案件
                                                  xiii) 競合他社製品のリプレース案件等

                GPL製品

                   Talend Open Studio     Talend Integration Suite
                   データフローの構築              ミッションクリティカルなデータ運用を実現
                   - GPLv2製品、無制限に使用可能     - チーム開発機能
                   - 多機能?高速データプロセッシング     - 自動デプロイ、ロードバランシング、HA
                   - 450+ のコンポーネントが利用可能   - ジョブフロー制御機能
                                          - 運用監理機能


? Talend 2011                                                                                      11
GPLv2製品:Talend Open Studio
 世界初のオープンソースによるデータ統合製品:
   ? ビジネスモデラ                         Data Integration
     ? ビジネスフロー文書作成機能
   ? ジョブデザイナ
     ? データ処理とジョブフローをGUIベースで定義
   ? メタデータマネージャ
     ? スキーマ定義を自動収集


 主要機能:
   ? ビジネスフローモデリング機能
   ? 堅牢で拡張性に富んだ処理構築が可能
   ? 広範にわたるシステム接続をサポート:450+コンポーネント
   ? 設計?設定?実行?デバッグの開発製造工程を
     シームレスに支援するリアルタイムデバッグ機能
   ? 設計?設定内容を自動文書化



? Talend 2011                                           12
Jaspersoft ETL
  Jaspersoft ETL Professional :
  Talend Open Studio + Activity Monitoring Console Personal Edition
  ? TOS: Talend Open Studioの全機能、全コンポーネントを利用可能
  ? AMC: Activity Monitoring Console Personal Editionが付加 ← TOS単体との違い
  ? AMCの付加により、ジョブ実行状況の統計情報等を適宜DBに集約し監理することが可能


  Jaspersoft ETL Enterprise :
  Talend Integration Suite Professional Edition
  ?   TIS: Talend Integration Suite Professional Editionの全機能、全コンポーネントを利用可能
  ?   複数開発者でのチーム開発を支援する共有リポジトリ機能(Subversionベース)
  ?   複数ジョブの連動を時間/イベントベースで制御するJobコンダクタ機能
  ?   ソース/ターゲットデータのシームレスな確認が可能なData Preview機能
  ?   ジョブ開発時にローカルではなく、指定した環境での実行を試すことが可能なDistant Run機能
  ?   ソースDBでのデータ変更?追加を自動検知してサブスクライブするCDC: Change Data Capture 機能
  ?   TAC: Talend Administration Center(Apache Tomcatベース)にジョブ運用管理の集中管理機能




? Talend 2011                                                                13
特徴と差别化要因:技术的観点
   Javaのコードジェネレータである
     ?   環境/プラットフォームの制限が尐ない実行ファイル形式(Javaアプリケーション)
     ?   インタプリタコードによる実行時のオーバヘッドを削減しており、実行時のCPU資源消費が尐ない
     ?   H/W遊休資産の流用が可能である
     ?   Gridコントロールにより、要求に応じて必要な環境にジョブを配布し実行!

   標準的かつオープンなテクノロジに立脚
   (Eclipse, Java, SQL, XML, Apache Tomcat, Subversion, etc)
     ? 既存の技術スキルが流用可能
     ? 習得?習熟に要するコストが尐ない

   多機能であり非常に柔軟な拡張性(標準機能)
     ?   既存のJavaルーチンを埋め込むことが可能
     ?   「自分で」コンポーネントの作成が可能である
     ?   JMS/MOM連携、Loop処理、リアルタイム連携、LDAP連携等について標準機能で実現可能
     ?   Low CostでSalesforce.comとの連携の仕組みを実装可能
     ?   勿論、コミュニティで製造されたコンポーネントも使用可能

   統合化されたコンポーネント管理、運用監理機能
     ?   メタデータ、ジョブ、ドキュメント等、プロジェクトに必要な全ての成果物を集中管理しバージョンコントロール可能
     ?   運用時の統合化された管理?監視環境を提供



? Talend 2011                                                    14
多国语対応について
                         Talend Integration Suiteは、日本語データを含む多国語データに対応しています

    エンコーディング名                    文字集合                                 意味                    ※ Talend Integration Suiteは、Javaアプ
 Big5                    Big-5                     中国語(台湾) 繁体字                                リケーションを生成して処理実行します。
 CNS11643                CNS 11643                 中国語(台湾)繁体字EUC                              指定できるencodingは、使用するJVM
 EUC_TW                  CNS 11643                 中国語(台湾)繁体字EUC
                                                                                              に依存します。
 GB2312                  GB 2312                   中国語 簡体字 EUC
 EUC_CN                  GB 2312                   中国語 簡体字 EUC                              ※ 外字の扱いについては、一般的なJava
 GBK                     GB 2312                   中国語 簡体字                                    アプリケーション上の扱いと変わりませ
 ISO2022CN               ISO-2022-CN               中国語(台湾) 繁体字                                ん。
 ISO2022CN_GB            CN-GB (GB 2312)           中国語 簡体字
                                                                                            ※ 指定可能なencodingについては、風
 ISO2022CN_CNS           ISO-2022-CN (CNS 11643)   中国語(台湾)繁体字
 EUCJIS                  JIS X 0208                日本語EUC                                     間洋一氏の以下のサイトが参考になり
 EUC_JP                  JIS X 0208                日本語EUC (JIS X 0212サポート)                    ます。
 SJIS                    JIS X 0208                日本語Shift-JIS (PCとWindows向け)                http://www.ingrid.org/java/i18n/e
 JIS                     JIS X 0208                日本語JIS
                                                                                              ncoding/
 ISO2022JP               JIS X 0208                日本語JIS (1.1.6からJIS X 0212サポート)
 JIS0201                 JIS X 0201                日本語JIS X 0201
 JIS0208                 JIS X 0208                日本語JIS X 0208
 JIS0212                 JIS X 0212                日本語JIS X 0212
 JISAutoDetect           JIS X 0208                日本語JIS/Shift-JIS/日本語EUCの自動判別
 KSC5601                 KS C 5601-1987            韓国語ハングルEUC
 ISO2022KR               ISO-2022-KR               韓国語ハングル
 Cp930                   CP 930                    日本語 片仮名漢字 (4370 UDCを含む、5026のスーパーセット)
 MS932                   CP 932                    Windows 日本語
 Cp942                   CP 942                    OS/2 日本語 (932のスーパーセット)                        ※ 一部CJK関連を抜粋
 Cp943                   CP 943                    OS/2 日本語 (新JIS)
 Cp33722                 Cp33722                   IBM 日本語 eucJP (5050のスーパーセット)
 Unicode                 Unicode 2.0               Unicode (入力は自動判別、出力はBigEndian)
 UnicodeBig              Unicode 2.0               Unicode (Big Endian)
 UnicodeLittle           Unicode 2.0               Unicode (Little Endian)
 UnicodeBigUnmarked      Unicode 2.0               Unicode (バイトオーダーマークを含まないBig Endian)
 UnicodeLittleUnmarked   Unicode 2.0               Unicode (バイトオーダーマークを含まないLittle Endian)
 UTF8                    (Unicode 2.0)             UTF-8
? Talend 2011                                                                                                                 15
処理性能に関する製品比較
  ETL benchmarks v1.1(2009年02月時点)より考察

                    http://www.manapps.tm.fr/index.php?/benchmark-etl.html

   ? 仏ManApps社が、IBM DataStage Server & PX, Informatica PowerCenter, Talend Open Studio,
     Pentahoの5製品を対象に実施。Creative Commonsのライセンスにて公開済み
   ? 11のテストシナリオに対して10万件、100万件、500万件、2,000万件とスケールアップして検証
   ? 検証環境:
      OS          : Microsoft Windows XP Professional Edition SP2
      CPU         : Intel Core2 Duo 2.0GHz
      Memory      : 4GB
      JVM         : JVM1.6.0_87
  【結果】
                                                         前提:
    #                   製品                     スコア       1. Talendは、NonチューニングでありMPxも使用していない
     1     PowerCenter 8.1.1                353 points   2. Informatica社は自社のコンサルタントがチューニングを実施
                                                         3. DataStage, PowerCenterは、並列処理を使用
     2     Talend Open Studio 2.4.1         333 points
     3     DataStage PX 7.5                 239 points   考察:
                                                         1.100万件までは、概ねTalendが最も良いスコアである
     4     DataStage Server 7.5             199 points   2.集計処理は、PowerCenterが最も良いスコアである
     5     Pentaho Data Integration 3.0.0   148 points   3.ELT機能は、TalendとPowerCenterが双璧である
                                                         4.処理内容が複雑になる(ルックアップしマッチしないデータをリジェクト
    ※1位を5point、2位を4point、、、としてスコアを集計
                                                           するなど現実的なロジック)とデータ量に依らずTalendが最も良いス
                                                           コアである
                                                         ※ もう尐し長いロウサイズでサーバ機で実行する必要があり、各々、現
                                                           実的な範囲でチューニングした結果の比較が必要と思われる


? Talend 2011                                                                                   16
コンポーネント例: SAP
  SAPインテグレーション作業支援機能:
  ?   librfc32.dll / sapjco3.dll / sapjcorfc.dll , sapjco.jar / sapjco3.jar / sapidoc3.jarを接続基盤に使用
  ?   SAPから、RFC / BAPIファンクション(RFC_READ_TABLE, etc)を使用したメタデータを取得する作業をウィザード機能で提供
  ?   メタデータをtalendのリポジトリ内に格納
  ?   IDocファイルをxml / html形式でgateway server格納場所を指定
  ?   IDocファイルのSAPからの抽出 / 反映等                                                               SAP用コンポーネント
                                                                             ?   tSAPCommit
                                                                                 row単位又はバッチレベルでcommitを発行
                                                                             ?   tSAPRollback
                                                                                 Transactionのロールバックを発行
                                                                             ?   tSAPInput
                                                                                 RFC又はBAPIレベルでのデータを抽出
                                                                             ?   tSAPOutput
                                                                                 RFC又はBAPIレベルでのデータを書込
                                                                             ?   tSAPIDocInput
                                                                                 SAPシステムからのIDocデータの抽出
                                                                             ?   tSAPIDocOutput
                                                                                 SAPシステムへのIDocデータのアップロード
                                                                             ?   tSAPConnection
                                                                                 SAPシステムへの接続




? Talend 2011                                                                                              17
コンポーネント例: Salesforce.com

  Talend Integration Suiteの役割例:
  クラウド間連携、クラウド?オンプレミス間連携例
  ? 個別部門システムより業務要件等に従いソースデータデータを抽出統合、重複削除など           Salesforce.com用コンポーネント
    実施して素ファイルを作成
  ? 素ファイルをSalesforce.comにオブジェクトごとに適宜挿入?更新?削除を実施。または   ?   tSalesforceConnection
                                                          Salesforce.comへのSOAP接続を確立
    Bulk APIを使用したコンポーネントで一括反映
                                                      ?   tSalesforceGetServerTimestamp
  ? 社内システムに必要となるデータをSalesforce.comより条件指定して抽出              Salesforce.comのサーバ時間を取得
  ? Salesforce.comデータを動的参照して社内システム用データを作成             ?   tSalesforceGetUpdated
  ? Salesforce.comで発生するソースデータを抽出して社内でバックアップを構築する等         Salesforce.com内の論理更新される以前のデータ
                                                          を日時分秒範囲指定で取得
                                                      ?   tSalesforceGetDeleted
                                                          Salesforce.com内の論理削除される以前のデータ
                                                          を日時分秒範囲指定で取得
                                                      ?   tSalesforceInput
                                                          Salesforce.comのオブジェクト単位で抽出条件を
                                                          付けてデータを抽出
                                                      ?   tSalesforceOutput
                                                          Salesforce.comのオブジェクトに対してデータを挿
                                                          入/更新/削除/UPSERTを実施
                                                      ?   tSalesforceBulkExec
                                                          Salesforce.comのオブジェクトに対してバルクで
                                                          ファイルデータを挿入/更新/UPSERTを実施
                                                      ?   tSalesforceOutputBulk
                                                          Salesforce.comのオブジェクトへ反映するファイル
                                                          の準備を行う
                                                      ?   tSalesforceOutputBulkExec
                                                          tSalesforceOutputBulk,tSalesforceBulkExecの
                                                          動作要素を一つで実施

? Talend 2011                                                                                      18
昨今のBig Dataストアは全てサポート!
         DWHアプライアンス製品            DBMS製品




                        Hadoop



? Talend 2011                             19
商用製品:Talend Integration Suite
 Talend Open Studioをベースにチーム開発機能、運用?監理機能を追加し、
 ミッションクリティカルな運用にも対応したデータ処理基盤!
 e-mail / Support Portalを通じたSLAを含むサポートサービスを提供!   Data Integration

 Talend Open Studioに追加される主要機能:
   ? 各種ウィザード機能、データプレビュー機能
   ? 共有リポジトリ機能
   ? Joblet機能による処理の共通化
   ? 自動配布機能
   ? CDC:チェンジデータキャプチャ機能
   ? コマンドラインI/Fの提供
   ? Jobコンダクタによるタイム&イベントベーススケジューラ機能
   ? 仮想サーバ化による
     フェイルオーバー、ロードバランシング機能
   ? 運用監視ダッシュボードによる統合監理機能

 Talend Integration Suiteの価値:
   ?   開発生産性のさらなる向上
   ?   開発製造作業のチームでの共有?共通化
   ?   構築ジョブの自動配布が可能
   ?   ミッションクリティカル基盤を提供
   ?   統合運用監理基盤を提供



? Talend 2011                                                       20
TOS ~ TIS * Edition:システム内容に合わせた投資選択

    Edition       設計 / 文書化          製造 / 実装                  検証          ジョブ配布           実行 / 運用管理


         MPx                                                                          Hadoop       FileScale




                                                                                                               Talend アドミニストレーションセンター (TAC)
 Enterprise                                                             高可用性        ロードバランシング
                                                                                                      フェイル
                                                                                                      オーバー


         RTx                                                                     SOA マネージャ

                                                                               実行計画             エラーリカバリ
Professional
                                 ビジネス ルール       API          ディスタントラン       イベントスケジューラ          ダッシュボード

                                 リファレンスプロジェクト         CDC     コマンドライン       タイムスケジューラ              AMC
                                                                                                 (アクティビティ
       Team           Auto Doc          Jobデザイナ +                        Jobコンダクタ              モニタリングコンソール)


                                                 共有リポジトリ / SVN




                                                      コンポー
    Talend        ビジネス モデラ         Job デザイナ            ネント     コンテキスト

Open Studio                         バージョン管理


  ? Talend 2011                                                                                                                               21
FileScale : Benchmark with Sun Microsystems

                Talend Integration Suite Enterprise Edition MPx

 検証環境
   ? 2 CPU Xeon 5520 Quad Core / 2,26GHz / 24 GB RAM                                               FileScale
   ? Sun StorageTek 2540 Fiber Channel: 12 HD SAS 136Gb
                                                                                                   100GB超のファイルデー
                                                                                                     タを一括処理するような
                                                                                                     場合に有効な機能
 結果
                                                                                                   ? Talend製品で唯一、独
                           1             10             100            300            550            自スクリプト言語:
                                                                                                     FSLangを内蔵
  ロウ数                  600万件         6,000万件           6億件            18億件           33億件
                                                                                                   ? ファイルデータに対し
                                                                                                     て”ELT-like”な処理を定
                                                                                                     義
  ファイルサイズ               740MB          7.4GB           74GB           225GB          415GB
                                                                                                   ? 実装言語:C/C++

  ソート処理時間                6秒            1分2秒          21分30秒         2時間1分          5時間17分          ? スケールアップ型パラ
                                                                                                     レルアーキテクチャ
                       (Full Report) http://blogs.sun.com/aja/entry/talend_s_new_data_processing


? Talend 2011                                                                                                        22
贬补诲辞辞辫:公司滨罢导入上の课题


     1.    「若い」テクノロジである
     2.    ハードウェアの選択、ネットワーク環境の構築に
     3.    マスタサーバーの障害耐性確保
     4.    運用管理?監視系の仕組みが確立されていない
     5.    Map-Reduceの仕組みに業務ロジックを合わせるのは困難


                      この壁を超えれば、、、、

          貢献範囲

                   従前の方式に比して、極めて廉価な環境で
                   スケールアウトが可能な大量データの格納、
                     及び処理基盤の実現が可能となる!


? Talend 2011                               23
贬补诲辞辞辫:公司滨罢での使われ方(検証例)
                                           生データの蓄積と監査
                  生データ
                 生データ
                生データ
                                                      集計処理
                                Hadoopへの
                                                     フィルタリング
                                ローディング
                                                  クレンジング
                                                 Map&Reduce等

                       Talend
                   ターゲットエリア                RDBMSへの
                                           ローディング              レポート作成等


                Hadoop環境と非Hadoop環境のハイブリッド構成:
                オンラインアクセスが必要なデータは、利便性の良い従前のRDBMSに格納し、履歴
                データや生データなど、ITしかアクセスの必要がないデータは廉価なHadoop環境に
                格納するという使い分けで投資効果の向上を目指す

                           Talendは、両環境に対して同一のデータ処理
                              開発運用基盤を提供することに価値!

? Talend 2011                                                            24
罢补濒别苍诲が提供する贬补诲辞辞辫用コンポーネント

                           Hadoop用コンポーネント
                           ?   HDFS
                               tHDFSGet:ローカルファイルをHDFSへ転送
                               tHDFSPut: HDFSファイルをローカルFSへ転送
                           ?   Hive
                               tHiveConnection:Hive接続を開始
                               tHiveRow:HQLを自由に発行
                               tHiveClose:Hive接続を終了
                               ジョブ構築時は、Hive接続開始後のtELTxxxxコンポーネ
                               ントを組合わせて、Hadoop資源上でデータ処理を実行。
                               SQLテンプレート機能を提供
                           ?   Sqoop(Clouderaディストリビューション)
                               Coulderaディストリビューションの場合、Sqoopインタ
                               フェースを使用してデータのin/outを実行
                           ?   Pig Script(4.2:05月リリース予定)
                               tPigAggregate
                               tPigCode
                               tPigConnection
                               tPigCross
                 4.2(5月リ       tPigDistinct
4.1(現行)         リース予定)         tPigFilterRow
   MPx             MPx         tPigFilterColumns
                               tPigJoin
                               tPigSort
                               tPigStoreResult
                                ?
                                ?
                                ?

? Talend 2011                                                25
付加価値と源泉: Talend Forge
 ?   フォーラム数:11
 ?   投稿総数:40,000+(80+ポスト/日)                  http://www.talendforge.org
 ?   登録ユーザ:6,000+
 ?   βテスター:1,000+
 ?   Talend Exchangeコンポーネント:330+           Test /
                                                               QA /
 ?   Talend Babili(国際化): 単語62,000+、15ヶ国語対応 Use
                                                               Feedback




                                         Download
                                                          Code /
  コミュニティベースのプロジェクト:例                                      Components
          ? コネクタ:Actuate BIRT, Google Apps., etc.
          ? IBM DataStageからの移行ツール: ETL Converter
            ? SourceForgeよりダウンロード可能!
? Talend 2011                                                             26
Please visit !


                   http://jp.talend.com
                   http://www.talendforge.org




? Talend 2011                                   27
以降は补足スライドです
                ご参照ください




? Talend 2011                 28
SI&コンサルティングパートナー
 Talendソリューションの再販&デリバリ
   ? グローバルで200社以上
   ? あらゆる業種業態、企業規模を網羅


  グローバル         北米       欧州   日本




? Talend 2011                      29
OEMパートナー
 Powered by Talend
   ? Talend製品を各社製品の基盤に採用
   ? OEMライセンスでの提供

 Talendソリューション採用例:




? Talend 2011              30
テクノロジパートナー
 主要テクノロジベンダとの技術提携
   ? ソース&ターゲットデータストア
   ? 高度な専門性が要求される技術分野

 テクノロジパートナー例:




? Talend 2011           31
罢补濒别苍诲の厂尝础:サービス品质保証制度
                            Talend Open Studio      商用製品                  商用製品
                     GPL
  #             項目   製品               Goldサポート契約                    Platinumサポート契約

                           ■ Talend Open Studioの場合、別途契約が必要           Subscription Licenseに
  1   コスト、及び契約要不要    無償
                           ■ 商用製品の場合、Subscription Licenseに含む            追加契約が必要


  2   コミュニティサポート     有り                      有り                              有り

  3   チケット受付         無し                 Web、電子メール                 Web、電子メール、サポート専用電話

                                                               ■ Web : 24時間 × 365日
                           ■ Web : 24時間 × 365日
                                                               ■ 電子メール、サポート専用電話 :
  4   チケット受付時間       無し    ■ 電子メール : Talend株式会社の営業時間内
                                                                 Talend株式会社の営業時間内
                             (日本時間09:00-18:00)
                                                                 (日本時間09:00-18:00)
  5   初回応答保証時間       無し                    8時間以内                          4時間以内

  6   更新保証時間:重大度1    無し                    8時間以内                          4時間以内
      更新保証時間:重大度2    無し                    2日以内                           8時間以内
      更新保証時間:重大度3    無し                    オープン                              月次

  「重大度」の定義 : 概略 ※重大度の設定は、問題内容についてユーザ様と初回応答時に調整して決定します

  重大度1 : Talend商用製品に起因する、業務本番環境にて発生する回避策のない問題
  重大度2 : Talend商用製品に起因し、Talend商用製品が性能の劣化を引き起こしたり業務遂行や生産性に重大な影響を及ぼす可能性のある問題
  重大度3 : Talend商用製品に起因し、お客様の業務遂行に一部影響を与えるものの業務の継続が可能である中-低程度の問題、または業務機能に影響はあるが
         停止しない簡単な回避策がある問題
  その他 : ER(Enhanced Request)機能追加要望の受付け

? Talend 2011                                                                                32
罢补濒别苍诲製品:デュアルライセンスの相违点
   #            項目                 GPL製品                                商用製品
                                Talend Open Studio                Talend Integration Suite
   1     対象製品                  Talend Open Profiler                 Talend Data Quality
                          Talend MDM Community Edition         Talend MDM Enterprise Edition

   2     使用者のコスト負担                    無償                                    有償

                                                                 サブスクリプションライセンス
                                製品:GPL v2
   3     ライセンス形態                                          ※「Talend株式会社商用ソフトウェアライセンスおよびサー
                             生成プログラム:LGPL v2.1
                                                                      ビス契約」に基づく

                                                          「Talend株式会社商用ソフトウェアライセンスおよび
         生成プログラムの                                         サービス契約」に基づきサブスクリプションライセンス
   4                               LGPLに基づく
         使用?改変?頒布制限                                                 の所有者に永久許諾


                                  コミュニティベース
         製品機能?問題事項に                                               SLAベースのサポートを提供
   5                       (http://www.talendforge.org)
         関するお問い合わせ                                              (Support Portal, e-mail, etc.)
                         ※別途有償でのサポートメニューも提供


         ソースコード、及び                誰でも入手可能                       サブスクリプションライセンスの
   6
         実行バイナリの入手         (http://www.talendforge.org)         所有者のみTalendへ請求可能

         - 商用製品で生成するプログラムには、サブスクリプションライセンスの所有者がCopyright等を設定可能です。
   ※
         - GPL製品にて定義したメタデータ、ジョブ、コンテキスト等は、商用製品への移行が可能です。

? Talend 2011                                                                                    33   33
ライセンスポリシーにおける他社製品比较
                                                          ○ ??? 課金対象
                                                          × ??? 課金対象外

                                             Talendポリシー    他社製品
    #                   課金対象項目
                                             (MDM製品除く)     ポリシー

    1     開発?運用管理者数                              ○            ○
    2     使用年数                                   ○            ×
    3     開発支援?運用支援機能                            ○            ○
    4     CPU/コア数                                ×            ○
    5     リポジトリ数                                 ×            ○
    6     接続アプリケーション(ERP, SaaS, etc)             ×            ○
    7     接続ミドルウェア(Tibco/MOM, XML, etc)          ×            ○
    8     稼働環境(サーバ環境、M/F環境, etc)                 ×            ○
    9     年間保守料金                                ×※1           ○
    10    最新リリース取得                               ×            ○
    ※1 Talendの年間保守料金は、サブスクリプションライセンスに含まれます


? Talend 2011                                                           34   34

More Related Content

Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

  • 1. データ処理をJava+OSSで投資最適化 Talend, Global Leader in Open Source Data Management Japan Jasper Server User Group Qshu 設立記念講演 福岡セミナー @DAYS KITCHEN 2011年05月14日 Talend株式会社 コンサルティングマネージャー 正金 秀規(まさがね ひでき) hmasagane@talend.jp ? Talend 2011 1
  • 2. アジェンダ ? Talendご紹介 ? 罢补濒别苍诲データ统合製品 ? 補足スライド ? Talend 2011 2
  • 3. 罢补濒别苍诲:概要 ? OSS:Open Source Softwareを基本としたデータマネジメント製品のリーダー ? 未上場、VC支援による経営 ? グローバル展開と導入ユーザー London (Maidenhead) 営業マーケティング San Francisco (Los Altos) 技術支援 コーポレート Nuremberg Orange County (Irvine) 営業マーケティング 営業マーケティング 技術支援 R&D Bonn 技術支援 営業マーケティング Boston (Burlington) R&D 営業マーケティング 技術支援 R&D Munich New York (Tarrytown) 営業マーケティング 営業マーケティング 技術支援 Tokyo Utrecht Milan (Curno) Beijing Paris (Suresnes) 営業マーケティング 営業マーケティング R&D 営業マーケティング コーポレート 技術支援 技術支援 技術支援?L10n 営業マーケティング R&D 技術支援 3 ? Talend 2011
  • 4. 罢补濒别苍诲:沿革 Integration MDM Suite RTx Enterprise Edition Open Studio v1.0 Open Integration Profiler Suite MPx MDM 製 Community 品 Integration Data リ Quality Edition Talend Open Studio Suite リ Beta 1 ー ス 2002 2005 2006 2007 2008 2009 2010 R&D Talend SA開 第三回投資ラウンド: 設 Talend Inc Balderton Capital 開設 業 容 第一回投資ラウンド: 拡 AGF Private Equity & MDM 製品買収 大 Galileo Partners 第二回投資ラウンド 第四回投資ラウンド ? Talend 2011 4
  • 5. 罢补濒别苍诲:翱厂厂発展の道程で诞生! 2002 1970 1984 1998 2000 2003 2006 2009 オープンソース概 フリーソフトウェア オープンソース?イ オープンソースソ オープンソースソ さらに成熟したKey 経済危機の発生 念の誕生 財団設立 ニシアティブ リューションの出 フトウェア企業が プレイヤーが市場 が企業ITへのオ (リチャード?スト 創設 現 誕生 での存在感を増す ープンソース導入 ールマン) を後押し JBoss, ソースコードへの GPL, GNUの創 ビジネスとテクノロ Apacheプロジェ MySQL, JBoss, SugarCRM , フリーアクセス 設 ジの現状を踏まえ クト… SugarCRM… Jaspersoft, たポリシーの実現 Talend… について話し合い が実現 ? Talend 2011 5
  • 6. 罢补濒别苍诲:実绩ハイライト 高い市場認知度! ? 1,200万ダウンロード ? 55万以上のユーザ ? 2,000社の有償版顧客 1 ダウンロード / 分 100 新規ユーザ / 月 Talend Open Studio ? Talend 2011 6
  • 7. Talend:導入顧客例(商用製品) 金融?保険業 サービス業 製造?小売? 流通サービス 公共団体 教育機関 ? Talend 2011 7
  • 8. 罢补濒别苍诲:日本法人 【 会社名 】 Talend株式会社 英文略称:Talend K.K. 【 代表者 】 代表取締役 岩崎洋二 取締役 ベルトランド?ディアード 取締役 ビンセント?ピノウ 監査役 廣瀬一俊 【 所在地 】 〒107-0062 東京都港区南青山 5-10-13 デコパージュ南青山4F 【 連絡先 】 Tel 03-6427-6370 Fax 03-3409-6521 【 URL 】 http://jp.talend.com 【 e-mail 】 sales@talend.jp 【 資本金 】 9.9百万円 【 株主 】 仏Talend S.A. (100%) 【 決算月 】 01月 【 設立年月 】 2010年01月 【 取引銀行 】 東京三菱UFJ銀行 青山支店 【 業務内容 】 Talend社製品の開発、販売、技術支援、製品日本語化等 【 社員数 】 15名(役員含む) 【 お取引先 】 マブチモーター株式会社、三菱UFJインフォメーションテクノロ ジー株式会社、セントラル短資FX株式会社、NTTデータ先端技術 株式会社、株式会社メトロ、株式会社シー?エス?エス、株式会社 エアー、株式会社 YSLソリューション、株式会社ディーバ、新日 鉄ソリューションズ株式会社、兼松エレクトロニクス株式会社、 株式会社アシスト等(順不同、敬称略) ? Talend 2011 8
  • 9. 罢补濒别苍诲:公司滨罢におけるポジション ??? Talend製品 システム間のデータ交換 One Factデータの監理 データ クレンジング マスタデータ ハブ データの 分析?検証 CRM 業務システム 業務システム 新会計 システム A B システム 抽出 外部連携先との 変換 データ交換 ローディング レガシイシステムの 営業部門用 データマート 移行 全社 お客様 DWH レガシィ システム 財務会計 協業先 システム 国外部支店 企画部門用 データマート 等 ? Talend 2011 9
  • 10. 罢补濒别苍诲:骋笔尝&商用製品 Talend MDM Enterprise Edition 全社を俯瞰したマスタデータ管理 Talend Open Profiler GPL製品 - 権限管理?制御 データの内容?品質検証 - 妥当性ルールの定義 - GPLv2製品、無制限に使用可能 - 高度なワークフローエンジン - 品質指標の作成が可能 GPL製品 Talend MDM Community Edition Talend Data Quality コミュニティベースのマスタデータ管理 クレンジングと検知 - GPLv2製品、無制限に使用可能 - クレンジング用 - XMLベースのアクティブデータモデル コンポーネント - 業務ユーザ向け軽量GUI - 検証レポート機能 - データ品質に関する ポータル機能 Talend Unified Platform 標準テクノロジを製品基盤に採用 - GUI :Eclipse, ブラウザ - リポジトリ:Subversion, RDBMS GPL製品 Talend Open Studio Talend Integration Suite データフローの構築 ミッションクリティカルなデータ運用を実現 - GPLv2製品、無制限に使用可能 - チーム開発機能 - 多機能?高速データプロセッシング - 自動デプロイ、ロードバランシング、HA - 450+ のコンポーネントが利用可能 - ジョブフロー制御機能 - 運用監理機能 ? Talend 2011 10
  • 11. 罢补濒别苍诲データ统合製品 【 Talend Integration Suite の対象プロジェクト 】 i) データ統合/システム統合案件 ii) DWH構築案件 iii) データ連携案件 iv) データクレンジング案件 v) マスターデータ管理案件 vi) SAPマルチインスタンス統合案件 vii) フロント~バック連携案件 viii) Salesforce.com, Microsoft Dynamics CRM等、 クラウド ? オンプレミス連携案件 ix) IFRS対応に伴なう上流システムからのデータ抽出案件 x) データ移行?システム移行案件 xi) 企業合併、再編に伴なうシステム移行、統合案件 xii) 情報系?BIシステム構築、更改案件 xiii) 競合他社製品のリプレース案件等 GPL製品 Talend Open Studio Talend Integration Suite データフローの構築 ミッションクリティカルなデータ運用を実現 - GPLv2製品、無制限に使用可能 - チーム開発機能 - 多機能?高速データプロセッシング - 自動デプロイ、ロードバランシング、HA - 450+ のコンポーネントが利用可能 - ジョブフロー制御機能 - 運用監理機能 ? Talend 2011 11
  • 12. GPLv2製品:Talend Open Studio 世界初のオープンソースによるデータ統合製品: ? ビジネスモデラ Data Integration ? ビジネスフロー文書作成機能 ? ジョブデザイナ ? データ処理とジョブフローをGUIベースで定義 ? メタデータマネージャ ? スキーマ定義を自動収集 主要機能: ? ビジネスフローモデリング機能 ? 堅牢で拡張性に富んだ処理構築が可能 ? 広範にわたるシステム接続をサポート:450+コンポーネント ? 設計?設定?実行?デバッグの開発製造工程を シームレスに支援するリアルタイムデバッグ機能 ? 設計?設定内容を自動文書化 ? Talend 2011 12
  • 13. Jaspersoft ETL Jaspersoft ETL Professional : Talend Open Studio + Activity Monitoring Console Personal Edition ? TOS: Talend Open Studioの全機能、全コンポーネントを利用可能 ? AMC: Activity Monitoring Console Personal Editionが付加 ← TOS単体との違い ? AMCの付加により、ジョブ実行状況の統計情報等を適宜DBに集約し監理することが可能 Jaspersoft ETL Enterprise : Talend Integration Suite Professional Edition ? TIS: Talend Integration Suite Professional Editionの全機能、全コンポーネントを利用可能 ? 複数開発者でのチーム開発を支援する共有リポジトリ機能(Subversionベース) ? 複数ジョブの連動を時間/イベントベースで制御するJobコンダクタ機能 ? ソース/ターゲットデータのシームレスな確認が可能なData Preview機能 ? ジョブ開発時にローカルではなく、指定した環境での実行を試すことが可能なDistant Run機能 ? ソースDBでのデータ変更?追加を自動検知してサブスクライブするCDC: Change Data Capture 機能 ? TAC: Talend Administration Center(Apache Tomcatベース)にジョブ運用管理の集中管理機能 ? Talend 2011 13
  • 14. 特徴と差别化要因:技术的観点 Javaのコードジェネレータである ? 環境/プラットフォームの制限が尐ない実行ファイル形式(Javaアプリケーション) ? インタプリタコードによる実行時のオーバヘッドを削減しており、実行時のCPU資源消費が尐ない ? H/W遊休資産の流用が可能である ? Gridコントロールにより、要求に応じて必要な環境にジョブを配布し実行! 標準的かつオープンなテクノロジに立脚 (Eclipse, Java, SQL, XML, Apache Tomcat, Subversion, etc) ? 既存の技術スキルが流用可能 ? 習得?習熟に要するコストが尐ない 多機能であり非常に柔軟な拡張性(標準機能) ? 既存のJavaルーチンを埋め込むことが可能 ? 「自分で」コンポーネントの作成が可能である ? JMS/MOM連携、Loop処理、リアルタイム連携、LDAP連携等について標準機能で実現可能 ? Low CostでSalesforce.comとの連携の仕組みを実装可能 ? 勿論、コミュニティで製造されたコンポーネントも使用可能 統合化されたコンポーネント管理、運用監理機能 ? メタデータ、ジョブ、ドキュメント等、プロジェクトに必要な全ての成果物を集中管理しバージョンコントロール可能 ? 運用時の統合化された管理?監視環境を提供 ? Talend 2011 14
  • 15. 多国语対応について Talend Integration Suiteは、日本語データを含む多国語データに対応しています エンコーディング名 文字集合 意味 ※ Talend Integration Suiteは、Javaアプ Big5 Big-5 中国語(台湾) 繁体字 リケーションを生成して処理実行します。 CNS11643 CNS 11643 中国語(台湾)繁体字EUC 指定できるencodingは、使用するJVM EUC_TW CNS 11643 中国語(台湾)繁体字EUC に依存します。 GB2312 GB 2312 中国語 簡体字 EUC EUC_CN GB 2312 中国語 簡体字 EUC ※ 外字の扱いについては、一般的なJava GBK GB 2312 中国語 簡体字 アプリケーション上の扱いと変わりませ ISO2022CN ISO-2022-CN 中国語(台湾) 繁体字 ん。 ISO2022CN_GB CN-GB (GB 2312) 中国語 簡体字 ※ 指定可能なencodingについては、風 ISO2022CN_CNS ISO-2022-CN (CNS 11643) 中国語(台湾)繁体字 EUCJIS JIS X 0208 日本語EUC 間洋一氏の以下のサイトが参考になり EUC_JP JIS X 0208 日本語EUC (JIS X 0212サポート) ます。 SJIS JIS X 0208 日本語Shift-JIS (PCとWindows向け) http://www.ingrid.org/java/i18n/e JIS JIS X 0208 日本語JIS ncoding/ ISO2022JP JIS X 0208 日本語JIS (1.1.6からJIS X 0212サポート) JIS0201 JIS X 0201 日本語JIS X 0201 JIS0208 JIS X 0208 日本語JIS X 0208 JIS0212 JIS X 0212 日本語JIS X 0212 JISAutoDetect JIS X 0208 日本語JIS/Shift-JIS/日本語EUCの自動判別 KSC5601 KS C 5601-1987 韓国語ハングルEUC ISO2022KR ISO-2022-KR 韓国語ハングル Cp930 CP 930 日本語 片仮名漢字 (4370 UDCを含む、5026のスーパーセット) MS932 CP 932 Windows 日本語 Cp942 CP 942 OS/2 日本語 (932のスーパーセット) ※ 一部CJK関連を抜粋 Cp943 CP 943 OS/2 日本語 (新JIS) Cp33722 Cp33722 IBM 日本語 eucJP (5050のスーパーセット) Unicode Unicode 2.0 Unicode (入力は自動判別、出力はBigEndian) UnicodeBig Unicode 2.0 Unicode (Big Endian) UnicodeLittle Unicode 2.0 Unicode (Little Endian) UnicodeBigUnmarked Unicode 2.0 Unicode (バイトオーダーマークを含まないBig Endian) UnicodeLittleUnmarked Unicode 2.0 Unicode (バイトオーダーマークを含まないLittle Endian) UTF8 (Unicode 2.0) UTF-8 ? Talend 2011 15
  • 16. 処理性能に関する製品比較 ETL benchmarks v1.1(2009年02月時点)より考察 http://www.manapps.tm.fr/index.php?/benchmark-etl.html ? 仏ManApps社が、IBM DataStage Server & PX, Informatica PowerCenter, Talend Open Studio, Pentahoの5製品を対象に実施。Creative Commonsのライセンスにて公開済み ? 11のテストシナリオに対して10万件、100万件、500万件、2,000万件とスケールアップして検証 ? 検証環境: OS : Microsoft Windows XP Professional Edition SP2 CPU : Intel Core2 Duo 2.0GHz Memory : 4GB JVM : JVM1.6.0_87 【結果】 前提: # 製品 スコア 1. Talendは、NonチューニングでありMPxも使用していない 1 PowerCenter 8.1.1 353 points 2. Informatica社は自社のコンサルタントがチューニングを実施 3. DataStage, PowerCenterは、並列処理を使用 2 Talend Open Studio 2.4.1 333 points 3 DataStage PX 7.5 239 points 考察: 1.100万件までは、概ねTalendが最も良いスコアである 4 DataStage Server 7.5 199 points 2.集計処理は、PowerCenterが最も良いスコアである 5 Pentaho Data Integration 3.0.0 148 points 3.ELT機能は、TalendとPowerCenterが双璧である 4.処理内容が複雑になる(ルックアップしマッチしないデータをリジェクト ※1位を5point、2位を4point、、、としてスコアを集計 するなど現実的なロジック)とデータ量に依らずTalendが最も良いス コアである ※ もう尐し長いロウサイズでサーバ機で実行する必要があり、各々、現 実的な範囲でチューニングした結果の比較が必要と思われる ? Talend 2011 16
  • 17. コンポーネント例: SAP SAPインテグレーション作業支援機能: ? librfc32.dll / sapjco3.dll / sapjcorfc.dll , sapjco.jar / sapjco3.jar / sapidoc3.jarを接続基盤に使用 ? SAPから、RFC / BAPIファンクション(RFC_READ_TABLE, etc)を使用したメタデータを取得する作業をウィザード機能で提供 ? メタデータをtalendのリポジトリ内に格納 ? IDocファイルをxml / html形式でgateway server格納場所を指定 ? IDocファイルのSAPからの抽出 / 反映等 SAP用コンポーネント ? tSAPCommit row単位又はバッチレベルでcommitを発行 ? tSAPRollback Transactionのロールバックを発行 ? tSAPInput RFC又はBAPIレベルでのデータを抽出 ? tSAPOutput RFC又はBAPIレベルでのデータを書込 ? tSAPIDocInput SAPシステムからのIDocデータの抽出 ? tSAPIDocOutput SAPシステムへのIDocデータのアップロード ? tSAPConnection SAPシステムへの接続 ? Talend 2011 17
  • 18. コンポーネント例: Salesforce.com Talend Integration Suiteの役割例: クラウド間連携、クラウド?オンプレミス間連携例 ? 個別部門システムより業務要件等に従いソースデータデータを抽出統合、重複削除など Salesforce.com用コンポーネント 実施して素ファイルを作成 ? 素ファイルをSalesforce.comにオブジェクトごとに適宜挿入?更新?削除を実施。または ? tSalesforceConnection Salesforce.comへのSOAP接続を確立 Bulk APIを使用したコンポーネントで一括反映 ? tSalesforceGetServerTimestamp ? 社内システムに必要となるデータをSalesforce.comより条件指定して抽出 Salesforce.comのサーバ時間を取得 ? Salesforce.comデータを動的参照して社内システム用データを作成 ? tSalesforceGetUpdated ? Salesforce.comで発生するソースデータを抽出して社内でバックアップを構築する等 Salesforce.com内の論理更新される以前のデータ を日時分秒範囲指定で取得 ? tSalesforceGetDeleted Salesforce.com内の論理削除される以前のデータ を日時分秒範囲指定で取得 ? tSalesforceInput Salesforce.comのオブジェクト単位で抽出条件を 付けてデータを抽出 ? tSalesforceOutput Salesforce.comのオブジェクトに対してデータを挿 入/更新/削除/UPSERTを実施 ? tSalesforceBulkExec Salesforce.comのオブジェクトに対してバルクで ファイルデータを挿入/更新/UPSERTを実施 ? tSalesforceOutputBulk Salesforce.comのオブジェクトへ反映するファイル の準備を行う ? tSalesforceOutputBulkExec tSalesforceOutputBulk,tSalesforceBulkExecの 動作要素を一つで実施 ? Talend 2011 18
  • 19. 昨今のBig Dataストアは全てサポート! DWHアプライアンス製品 DBMS製品 Hadoop ? Talend 2011 19
  • 20. 商用製品:Talend Integration Suite Talend Open Studioをベースにチーム開発機能、運用?監理機能を追加し、 ミッションクリティカルな運用にも対応したデータ処理基盤! e-mail / Support Portalを通じたSLAを含むサポートサービスを提供! Data Integration Talend Open Studioに追加される主要機能: ? 各種ウィザード機能、データプレビュー機能 ? 共有リポジトリ機能 ? Joblet機能による処理の共通化 ? 自動配布機能 ? CDC:チェンジデータキャプチャ機能 ? コマンドラインI/Fの提供 ? Jobコンダクタによるタイム&イベントベーススケジューラ機能 ? 仮想サーバ化による フェイルオーバー、ロードバランシング機能 ? 運用監視ダッシュボードによる統合監理機能 Talend Integration Suiteの価値: ? 開発生産性のさらなる向上 ? 開発製造作業のチームでの共有?共通化 ? 構築ジョブの自動配布が可能 ? ミッションクリティカル基盤を提供 ? 統合運用監理基盤を提供 ? Talend 2011 20
  • 21. TOS ~ TIS * Edition:システム内容に合わせた投資選択 Edition 設計 / 文書化 製造 / 実装 検証 ジョブ配布 実行 / 運用管理 MPx Hadoop FileScale Talend アドミニストレーションセンター (TAC) Enterprise 高可用性 ロードバランシング フェイル オーバー RTx SOA マネージャ 実行計画 エラーリカバリ Professional ビジネス ルール API ディスタントラン イベントスケジューラ ダッシュボード リファレンスプロジェクト CDC コマンドライン タイムスケジューラ AMC (アクティビティ Team Auto Doc Jobデザイナ + Jobコンダクタ モニタリングコンソール) 共有リポジトリ / SVN コンポー Talend ビジネス モデラ Job デザイナ ネント コンテキスト Open Studio バージョン管理 ? Talend 2011 21
  • 22. FileScale : Benchmark with Sun Microsystems Talend Integration Suite Enterprise Edition MPx 検証環境 ? 2 CPU Xeon 5520 Quad Core / 2,26GHz / 24 GB RAM FileScale ? Sun StorageTek 2540 Fiber Channel: 12 HD SAS 136Gb 100GB超のファイルデー タを一括処理するような 場合に有効な機能 結果 ? Talend製品で唯一、独 1 10 100 300 550 自スクリプト言語: FSLangを内蔵 ロウ数 600万件 6,000万件 6億件 18億件 33億件 ? ファイルデータに対し て”ELT-like”な処理を定 義 ファイルサイズ 740MB 7.4GB 74GB 225GB 415GB ? 実装言語:C/C++ ソート処理時間 6秒 1分2秒 21分30秒 2時間1分 5時間17分 ? スケールアップ型パラ レルアーキテクチャ (Full Report) http://blogs.sun.com/aja/entry/talend_s_new_data_processing ? Talend 2011 22
  • 23. 贬补诲辞辞辫:公司滨罢导入上の课题 1. 「若い」テクノロジである 2. ハードウェアの選択、ネットワーク環境の構築に 3. マスタサーバーの障害耐性確保 4. 運用管理?監視系の仕組みが確立されていない 5. Map-Reduceの仕組みに業務ロジックを合わせるのは困難 この壁を超えれば、、、、 貢献範囲 従前の方式に比して、極めて廉価な環境で スケールアウトが可能な大量データの格納、 及び処理基盤の実現が可能となる! ? Talend 2011 23
  • 24. 贬补诲辞辞辫:公司滨罢での使われ方(検証例) 生データの蓄積と監査 生データ 生データ 生データ 集計処理 Hadoopへの フィルタリング ローディング クレンジング Map&Reduce等 Talend ターゲットエリア RDBMSへの ローディング レポート作成等 Hadoop環境と非Hadoop環境のハイブリッド構成: オンラインアクセスが必要なデータは、利便性の良い従前のRDBMSに格納し、履歴 データや生データなど、ITしかアクセスの必要がないデータは廉価なHadoop環境に 格納するという使い分けで投資効果の向上を目指す Talendは、両環境に対して同一のデータ処理 開発運用基盤を提供することに価値! ? Talend 2011 24
  • 25. 罢补濒别苍诲が提供する贬补诲辞辞辫用コンポーネント Hadoop用コンポーネント ? HDFS tHDFSGet:ローカルファイルをHDFSへ転送 tHDFSPut: HDFSファイルをローカルFSへ転送 ? Hive tHiveConnection:Hive接続を開始 tHiveRow:HQLを自由に発行 tHiveClose:Hive接続を終了 ジョブ構築時は、Hive接続開始後のtELTxxxxコンポーネ ントを組合わせて、Hadoop資源上でデータ処理を実行。 SQLテンプレート機能を提供 ? Sqoop(Clouderaディストリビューション) Coulderaディストリビューションの場合、Sqoopインタ フェースを使用してデータのin/outを実行 ? Pig Script(4.2:05月リリース予定) tPigAggregate tPigCode tPigConnection tPigCross 4.2(5月リ tPigDistinct 4.1(現行) リース予定) tPigFilterRow MPx MPx tPigFilterColumns tPigJoin tPigSort tPigStoreResult ? ? ? ? Talend 2011 25
  • 26. 付加価値と源泉: Talend Forge ? フォーラム数:11 ? 投稿総数:40,000+(80+ポスト/日) http://www.talendforge.org ? 登録ユーザ:6,000+ ? βテスター:1,000+ ? Talend Exchangeコンポーネント:330+ Test / QA / ? Talend Babili(国際化): 単語62,000+、15ヶ国語対応 Use Feedback Download Code / コミュニティベースのプロジェクト:例 Components ? コネクタ:Actuate BIRT, Google Apps., etc. ? IBM DataStageからの移行ツール: ETL Converter ? SourceForgeよりダウンロード可能! ? Talend 2011 26
  • 27. Please visit ! http://jp.talend.com http://www.talendforge.org ? Talend 2011 27
  • 28. 以降は补足スライドです ご参照ください ? Talend 2011 28
  • 29. SI&コンサルティングパートナー Talendソリューションの再販&デリバリ ? グローバルで200社以上 ? あらゆる業種業態、企業規模を網羅 グローバル 北米 欧州 日本 ? Talend 2011 29
  • 30. OEMパートナー Powered by Talend ? Talend製品を各社製品の基盤に採用 ? OEMライセンスでの提供 Talendソリューション採用例: ? Talend 2011 30
  • 31. テクノロジパートナー 主要テクノロジベンダとの技術提携 ? ソース&ターゲットデータストア ? 高度な専門性が要求される技術分野 テクノロジパートナー例: ? Talend 2011 31
  • 32. 罢补濒别苍诲の厂尝础:サービス品质保証制度 Talend Open Studio 商用製品 商用製品 GPL # 項目 製品 Goldサポート契約 Platinumサポート契約 ■ Talend Open Studioの場合、別途契約が必要 Subscription Licenseに 1 コスト、及び契約要不要 無償 ■ 商用製品の場合、Subscription Licenseに含む 追加契約が必要 2 コミュニティサポート 有り 有り 有り 3 チケット受付 無し Web、電子メール Web、電子メール、サポート専用電話 ■ Web : 24時間 × 365日 ■ Web : 24時間 × 365日 ■ 電子メール、サポート専用電話 : 4 チケット受付時間 無し ■ 電子メール : Talend株式会社の営業時間内 Talend株式会社の営業時間内 (日本時間09:00-18:00) (日本時間09:00-18:00) 5 初回応答保証時間 無し 8時間以内 4時間以内 6 更新保証時間:重大度1 無し 8時間以内 4時間以内 更新保証時間:重大度2 無し 2日以内 8時間以内 更新保証時間:重大度3 無し オープン 月次 「重大度」の定義 : 概略 ※重大度の設定は、問題内容についてユーザ様と初回応答時に調整して決定します 重大度1 : Talend商用製品に起因する、業務本番環境にて発生する回避策のない問題 重大度2 : Talend商用製品に起因し、Talend商用製品が性能の劣化を引き起こしたり業務遂行や生産性に重大な影響を及ぼす可能性のある問題 重大度3 : Talend商用製品に起因し、お客様の業務遂行に一部影響を与えるものの業務の継続が可能である中-低程度の問題、または業務機能に影響はあるが 停止しない簡単な回避策がある問題 その他 : ER(Enhanced Request)機能追加要望の受付け ? Talend 2011 32
  • 33. 罢补濒别苍诲製品:デュアルライセンスの相违点 # 項目 GPL製品 商用製品 Talend Open Studio Talend Integration Suite 1 対象製品 Talend Open Profiler Talend Data Quality Talend MDM Community Edition Talend MDM Enterprise Edition 2 使用者のコスト負担 無償 有償 サブスクリプションライセンス 製品:GPL v2 3 ライセンス形態 ※「Talend株式会社商用ソフトウェアライセンスおよびサー 生成プログラム:LGPL v2.1 ビス契約」に基づく 「Talend株式会社商用ソフトウェアライセンスおよび 生成プログラムの サービス契約」に基づきサブスクリプションライセンス 4 LGPLに基づく 使用?改変?頒布制限 の所有者に永久許諾 コミュニティベース 製品機能?問題事項に SLAベースのサポートを提供 5 (http://www.talendforge.org) 関するお問い合わせ (Support Portal, e-mail, etc.) ※別途有償でのサポートメニューも提供 ソースコード、及び 誰でも入手可能 サブスクリプションライセンスの 6 実行バイナリの入手 (http://www.talendforge.org) 所有者のみTalendへ請求可能 - 商用製品で生成するプログラムには、サブスクリプションライセンスの所有者がCopyright等を設定可能です。 ※ - GPL製品にて定義したメタデータ、ジョブ、コンテキスト等は、商用製品への移行が可能です。 ? Talend 2011 33 33
  • 34. ライセンスポリシーにおける他社製品比较 ○ ??? 課金対象 × ??? 課金対象外 Talendポリシー 他社製品 # 課金対象項目 (MDM製品除く) ポリシー 1 開発?運用管理者数 ○ ○ 2 使用年数 ○ × 3 開発支援?運用支援機能 ○ ○ 4 CPU/コア数 × ○ 5 リポジトリ数 × ○ 6 接続アプリケーション(ERP, SaaS, etc) × ○ 7 接続ミドルウェア(Tibco/MOM, XML, etc) × ○ 8 稼働環境(サーバ環境、M/F環境, etc) × ○ 9 年間保守料金 ×※1 ○ 10 最新リリース取得 × ○ ※1 Talendの年間保守料金は、サブスクリプションライセンスに含まれます ? Talend 2011 34 34