No sql with mysql cluster (MyNA?JPUG合同DB勉強会)
4 likes6,098 views
MySQL?PostgreSQLユーザーグループ（MyNA?JPUG）合同DB勉強会 in 東京 テーマ： NoSQL
![デモ用スクリプト(トランザクション処理)
? トランザクションを明示することも可能
– begin()
– commit()
– rollback()
? トランザクションのロールバックを指示することも可能
– setRollbackOnly()
– getRollbackOnly()
※ これらの関数が使用されない場合、それぞれの処理が単一トランザクションとして扱われる。
Transaction: There is one transaction per session at any point in time. By default, each operation
(query, insert, update, or delete) is run under a new transaction.
[Annotation]
Employee.class
Employee.java
[Application]
Main.class
Main.java
[Connection]
clusterj.properties
ここでは、パフォーマンスを
考慮して、トランザクションを
1つにまとめ、データベースに
1回で書き込まれるようにし
ています。](https://image.slidesharecdn.com/nosqlwithmysql-150626063007-lva1-app6892/85/No-sql-with-mysql-cluster-MyNA-JPUG-DB-24-320.jpg)
![[C21] MySQL Cluster徹底活用術 by Mikiya Okuno](https://cdn.slidesharecdn.com/ss_thumbnails/c21mysql-cluster-techniques-rev3-131206023325-phpapp02-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to No sql with mysql cluster (MyNA?JPUG合同DB勉強会) (20)
More from Shinya Sugiyama (20)
No sql with mysql cluster (MyNA?JPUG合同DB勉強会)
- 1. NoSQL with MySQL Cluster トランザクション対応NoSQLとしてのMySQL Cluster MyNA?JPUG合同DB勉強会 in 東京 Twitter: @RDBMS 2015/06/26
- 3. Agenda - MySQL Cluster概要 概要、特性、アーキテクチャー - MySQL Clusterへの接続 SQL , NoSQL - デモ(ClusterJによるデータ処理) 環境、トランザクション、デモ＆確認
- 5. 5
- 6. History of MySQL Cluster ”NDB” 90年代後期 Ericsson (Alzato) にて設計/開発 2003年 MySQL ABが NDB Cluster ProjectをEricssonから引き継ぎ 開発 (MySQL 4.1) 2008年 SunがNDB Cluster Projectを引き継 ぎ開発(MySQL 5.1/Cluster 6.x～ ) 2010年 OracleがNDB Cluster Projectを引き 継ぎ 開発(MySQL 5.1 / Cluster 7.x～) Original design paper: Design and Modelling of a Parallel Data Server for Telecom Application MySQL Clusterの基礎となっている技術は、通信機器ベンダのエリクソンで携帯通信網の加入者 データベース向けに開発されたEricsson Network Data Base(NDB)と呼ばれていた技術が起源 Changes in MySQL 5.0.9 (2005-07-15) Changes in MySQL 5.0.8 (Not released) Changes in MySQL 5.0.7 (2005-06-10)
- 7. MySQL Clusterとは？ ? MySQLとは開発ツリーの異なる別製品 ? 共有ディスクを使わずに、アクティブ-アクティブのクラスタ構成が組める ? 元々はSQLを使わないデータベース(NOSQL)だったが、MySQLと統合され SQLも追加で使えるようになった(NoSQLとSQL共に使えるデータベース) ? 各テーブルのストレージエンジンを選択する事が出来る(InnoDB or NDB) ? SQL, NoSQL共にACID処理可能なインメモリーデータベース 適したシステム ? 高可用性が求められるシステム ? 同時多発的に大量の短いトランザクションが発生するシステム ? 読込み処理だけでなく、書込み処理に対しても拡張性が求められるシステム 参照：MySQL Cluster Evaluation Guide
- 8. 補足：MySQLから見たNDB(Storage Engine) 参考：18.1.5.1. NDB および InnoDB ストレージエンジンの違い NDB (ndbcluster) in-memory clustered storage engine called NDB (which stands for “Network DataBase”). NDB ClusterはMySQL Clusterの基礎となる分散データベース·システムです。 NDB API (C++)を経由してアクセスする事で,MySQLから独立して利用する事が可能です。 MySQLサーバの観点からは,NDB Clusterは行のテーブルを格納するためのストレージエンジンです。 NDB Clusterの観点からは、MySQLサーバインスタンスがクラスタに接続されているAPIのプロセスの 一つです。 (NDB)
- 9. MySQL Clusterの特徴 ? 自動シャーディング、マルチマスタ ? ACIDトランザクション、OLTPとリアルタイム分析 参照更新性能の 高い拡張性 ? シェアードナッシング、単一障害点無し ? 自動復旧、オンラインメンテナンス99.999% の可用性 ? インメモリ処理に最適化＋ディスク併用可能 ? 低レイテンシリアルタイム ? キー?バリュー型＋複雑なリレーショナルな処理 ? SQL+Memcached+JavaScript+Java+HTTP/REST&C++ SQL + NoSQL ? オープンソース＋商用版運用支援ツール ? 特殊なハードウェア不要、管理監視ツール群、サポート低コスト
- 10. MySQL Cluster アーキテクチャ データ?ノード (冗長化?データ分散) ノード?グループ1 F1 F3 F3 F1 ノード1ノード2 ノード?グールプ 2 F2 F4 F4 F2 ノード3ノード4 アプリケーション?ノード (SQL, NoSQL) RESTJPA 管理ノード 管理ノード (構成、調停) Sync Sync
- 11. Data Nodeの拡張(例) SMALL Medium Large 例) Max 200M QPM and 20M UPM. 例) Max 600M QPM and 55M UPM. 例) Max 1100M QPM and 110M UPM Data nodeは最大48台まで増設可能 (Node IDは、1～48を使用) → ノードを増やすことで、処理とデータの分散を行うので負荷を分散する事が可能 例) 100GB/Node 例) 100GB/2Group=50GB/Node 例) 100GB/4Group=25GB/Node
- 13. ? インメモリーテーブル – 永続性のあるインメモリテーブル – ディスクテーブルも併用可能 ? 大規模なOTLP処理に向く ? 分析のためにJOINも可能 ? インデックスが使えない検索は 並列でスキャン ? MySQL Cluster 7.4 FlexAsych – 2億NoSQL 読込み/秒 MySQL Cluster 7.4 NoSQL パフォーマンス 2億NoSQL読込み/秒 - 50,000,000 100,000,000 150,000,000 200,000,000 250,000,000 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 Readspersecond Data Nodes FlexAsync Reads
- 14. ? インメモリーテーブル – 永続性のあるインメモリテーブル – ディスクテーブルも併用可能 ? 大規模なOTLP処理に向く ? 分析のためにJOINも可能 ? インデックスが使えない検索は 並列でスキャン ? MySQL Cluster 7.4 DBT2 BM – 250万SQL/秒 MySQL Cluster 7.4 SQL パフォーマンス 250万SQL/秒 - 500,000 1,000,000 1,500,000 2,000,000 2,500,000 3,000,000 2 4 6 8 10 12 14 16 SQLStatements/sec Data Nodes DBT2 SQL Statements per Second
- 15. Connect to MySQL Cluster アプリケーションノード
- 17. NoSQL & SQL Access to MySQL Cluster data Ndbcluster (NDB)
- 18. 本日は時間も限られているので,ClusterJ にフォーカスして説明させて頂きます。 Memcachedに関しては,次のセッションで ご確認下さい。 【参考】 概要： MySQL Cluster API Developer Guide Java: 4.2.1. Getting, Installing, and Setting Up MySQL Cluster Connector for Java Node.JS: Using JavaScript and Node.js with MySQL Cluster – First steps MySQL NoSQL Connector for node.js Memcached: Chapter 6. ndbmemcache—Memcache API for MySQL Cluster NDB API: Chapter 2. The NDB API JPA: 4.2.3. Using JPA with MySQL Cluster
- 19. ? ドメイン?オブジェクト?モデル – Java API – 高パフォーマンス、低レイテンシ – 豊富な機能 – ClusterJ ? ClusterJの上位レイヤーとしてJPA インターフェース – JPA準拠 (Persistence API) ? OpenJPA のプラグインとして実装 – 可能な場合はClusterJを使用、 いくつかの処理はJDBC経由に迂回する。 – 全体としてJDBC単独よりも高速化を狙う – Javaアプリ開発者にとってより扱いやすく – WebアプリでのMySQL Cluster利用を簡素化 NoSQL: Connector for Java (ClusterJ/JPA) clusterj: Required for building MySQL Cluster with ClusterJ support. openjpa: Required for building MySQL Cluster with ClusterJPA support.
- 20. NoSQL: Connector for Java (ClusterJ/JPA) 参照： http://dev.mysql.com/doc/ndbapi/en/mccj.htmlJTie: framework for mapping any C++ API to Java
- 21. SQL: MySQL Connection すべての標準MySQLコネクタへの接続を提供します。一般的なWeb 開発言語および フレームワーク：PHP, Perl, Python, Django, Ruby, Ruby on Rails等JDBC (または EclipseLink、Hibernate等を含むORMへの追加的接続性); .NET, ODBC等 CREATE TABLE `T20150319` ( `id` int(11) NOT NULL AUTO_INCREMENT, `memo` varchar(100) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=ndbcluster AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4
- 22. デモ
- 23. デモ環境 抜粋： IANA 仮想サーバー #3 ClusterJ Client java version "1.6.0_35“ 192.168.56.108 仮想サーバー #1 SQL / Data / Mgt 192.168.56.114 仮想サーバー #2 SQL / Data 192.168.56.115 データ 書き込み 処理 @@version: 5.6.24-ndb-7.4.6-cluster-commercial-advanced
- 24. デモ用スクリプト(トランザクション処理) ? トランザクションを明示することも可能 – begin() – commit() – rollback() ? トランザクションのロールバックを指示することも可能 – setRollbackOnly() – getRollbackOnly() ※ これらの関数が使用されない場合、それぞれの処理が単一トランザクションとして扱われる。 Transaction: There is one transaction per session at any point in time. By default, each operation (query, insert, update, or delete) is run under a new transaction. [Annotation] Employee.class Employee.java [Application] Main.class Main.java [Connection] clusterj.properties ここでは、パフォーマンスを 考慮して、トランザクションを 1つにまとめ、データベースに 1回で書き込まれるようにし ています。
- 25. デモ内容 ClusterJによるデータ処理 ~ NoSQL処理確認~ 1. データINSERT処理 (1件) 2. データ更新処理 (1件) 3. データINSERT LOOP処理(100件) 4. データ削除処理 (全件) ※NoSQLにて処理したデータをSQLコマンドにて並行して確認。(各処理後) ※ndbinfo.memory_per_fragmentからデータ分散状況確認。(3でデータを投入後) ※SQL側の処理が無い事を、Generalログにて確認。(最後) MySQL Cluster Data Nodes Data Layer Apps Apps Apps Apps JPA Cluster JPA JDBC Cluster J MySQL JNI NDB API (C++)
- 26. まとめ MySQL Clusterは,NoSQL,SQL共にトランザクショ ン処理可能なデータベースです。 また、システム運用において重要な高可用性 と,柔軟なスケールアウトをサポートします。 コミュニティ、コマーシャル共に利用可能ですので, 是非お試しください。 ※コマーシャル版では、管理ツール(MCM)が利用可能です。 【ダウンロード】 http://dev.mysql.com/downloads/cluster/ https://edelivery.oracle.com/ 【MySQL Cluster Manager】 https://www-jp.mysql.com/products/cluster/mcm/
- 28. 有难うございました