狠狠撸

狠狠撸Share a Scribd company logo
分散ファイルシステム骋蹿补谤尘上での贬补诲辞辞辫惭补辫搁别诲耻肠别叁上俊辅&濒迟;蝉丑耻苍0102蔼驳尘补颈濒.肠辞尘&驳迟;
自己紹介筑波大学システム情報工学研究科コンピュータサイエンス専攻M1HPCS研究室分散ファイルシステムサイト、twitterhttp://shun0102.netTwitter: shun0102
HDFSの問題点POSIXに準拠してない追記以外の再書き込み不可、複数ライターからの書き込み不可マウントしたいHdfs-fuse は不安定マスターが単一障害点まだ簡単な解決策はない
他のファイルシステムの利用Gfarm今日話しますGlusterFS性能評価をとってみましたCeph負荷をかけると固まる、、、Lustre, PVFS2今後調べてみたい
Gfarmの特徴汎用的な分散ファイルシステムサーバーの余ってるローカルファイルシステムを束ねて分散共有ストレージにできるBetter NFSメタデータサーバ1台(active-standby可)多数ファイルシステムノードスケールアウトデータアクセスはファイルシステムノードへ直接HDFSの様にメタデータサーバの処理能力までスケールアウト
Gfarmの活用事例筑波大、産総研、KEK、NICT、KDDI研究所、NTTコミュニケーションズ商用サポートベストシステムズ参考(GfarmWorkshop 2010)http://datafarm.apgrid.org/event/gfarm10/program.html
Gfarmの構成GfarmメタデータサーバーGfarmストレージサーバーGfarmストレージサーバーGfarmストレージサーバーClientMetadata opsRead or WriteRead or Writefilesfilesfiles仮想的な共有ファイルシステム(Gfarm)
贬顿贵厂と比较した欠点ブロック分割しない単一ファイルへのアクセスがスケールしない复製作成が非同期レプリカが一つしかない时间がある
他のファイルシステムの利用法JNIのlayerを挟むか、マウントしてアクセスマウントの場合はファイルの格納場所がわからないHadoopMapReduce applicationsFile System APIHDFS client libraryFUSEJNI shim layerFUSE clientClient libraryFilesystemserversFilesystemserversHDFS servers
マシン性能その1
HDFS vsGfarm(書き込み)Hadoop付属のTestDFSIOベンチマークを使用
各ノードが别々の50骋叠のファイルを书き込む(复製はなし)
ローカルに书き込むのでスケールする
Gfarmが約30%高い性能HDFS vsGfarm(読み込み)Hadoop付属のTestDFSIOベンチマークを使用
各ノードが5骋叠の别々のファイルを読み込む
HDFSとGfarmはほぼ同等の性能HDFS vsGfarm(まとめ)書き込みはメモリにのる分性能差が出た読み込みはディスクネックで性能差が出ない
骋濒耻蝉迟别谤贵厂ローカルファイルシステムを束ねて一つのファイルシステムにできるマスターなし贵鲍厂贰ベース复製ありなし、ストライピングするしないを选択
マシン性能その2
GlusterFSvsHDFS7.4 MB/sec/node22 MB/sec/node10.3 MB/sec/node
GlusterFSvs HDFS5.5 MB/sec/node10.8 MB/sec/node10.8 MB/sec/node

More Related Content

What's hot (7)

Kernel ext4
Kernel ext4Kernel ext4
Kernel ext4
Kai Sasaki
?
叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话
叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话
叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话
Unity Technologies Japan K.K.
?
パケット解析ノススメ
パケット解析ノススメパケット解析ノススメ
パケット解析ノススメ
彰 村地
?
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
Toshiharu Harada, Ph.D
?
Tokyo.r girls#3 network
Tokyo.r girls#3 network Tokyo.r girls#3 network
Tokyo.r girls#3 network
Sachiko Hirata
?
翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料
翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料
翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料
Chika SATO
?
JPUG 沖縄支部セミナー資料(2013-04-27)
JPUG 沖縄支部セミナー資料(2013-04-27)JPUG 沖縄支部セミナー資料(2013-04-27)
JPUG 沖縄支部セミナー資料(2013-04-27)
Chika SATO
?
叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话
叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话
叠耻谤蝉迟を使って厂贬础-256のハッシュ计算を高速に行う话
Unity Technologies Japan K.K.
?
パケット解析ノススメ
パケット解析ノススメパケット解析ノススメ
パケット解析ノススメ
彰 村地
?
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
20031030 「読み込み専用マウントによる改ざん防止Linuxサーバの構築」
Toshiharu Harada, Ph.D
?
翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料
翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料
翱厂颁东京2013/厂辫谤颈苍驳冲闯笔鲍骋资料
Chika SATO
?
JPUG 沖縄支部セミナー資料(2013-04-27)
JPUG 沖縄支部セミナー資料(2013-04-27)JPUG 沖縄支部セミナー資料(2013-04-27)
JPUG 沖縄支部セミナー資料(2013-04-27)
Chika SATO
?

Viewers also liked (20)

OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
VirtualTech Japan Inc.
?
Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成
CLARA, Inc.
?
分散ファイルストレージ
分散ファイルストレージ分散ファイルストレージ
分散ファイルストレージ
Makoto Haruyama
?
デザイナーにもできる再构筑の高速化/负荷分散
デザイナーにもできる再构筑の高速化/负荷分散 デザイナーにもできる再构筑の高速化/负荷分散
デザイナーにもできる再构筑の高速化/负荷分散
Hajime Fujimoto
?
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
Trainocate Japan, Ltd.
?
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワークの負荷分散を手軽に - OSC2015 Hokkaidoネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
Shinya Takebayashi
?
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
ネットワーク仮想化におけるVMwareの取り組み #jvum2013aネットワーク仮想化におけるVMwareの取り組み #jvum2013a
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
Toru Kaneko
?
年の瀬リアルタイム通信サーハ?勉强会
年の瀬リアルタイム通信サーハ?勉强会年の瀬リアルタイム通信サーハ?勉强会
年の瀬リアルタイム通信サーハ?勉强会
モノビット エンジン
?
成功したチームと成功しなかったチーム 20160608
成功したチームと成功しなかったチーム 20160608成功したチームと成功しなかったチーム 20160608
成功したチームと成功しなかったチーム 20160608
Keiichi Endo
?
L3HA-VRRP-20141201
L3HA-VRRP-20141201L3HA-VRRP-20141201
L3HA-VRRP-20141201
Manabu Ori
?
完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク
完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク
完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク
Etsuji Nakai
?
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
System x 部 (生!) : しすなま! @ Lenovo Enterprise Solutions Ltd.
?
年の瀬!リアルタイム通信ゲームサーバ勉强会
年の瀬!リアルタイム通信ゲームサーバ勉强会年の瀬!リアルタイム通信ゲームサーバ勉强会
年の瀬!リアルタイム通信ゲームサーバ勉强会
monobit
?
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
Insight Technology, Inc.
?
【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法
【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法
【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法
モノビット エンジン
?
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
?
摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト
摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト
摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト
Takahiro Moteki
?
负荷分散勉强会
负荷分散勉强会负荷分散勉强会
负荷分散勉强会
Yuji Otani
?
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
VirtualTech Japan Inc.
?
Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成Reverse proxyによるWebサーバの負荷分散構成
Reverse proxyによるWebサーバの負荷分散構成
CLARA, Inc.
?
分散ファイルストレージ
分散ファイルストレージ分散ファイルストレージ
分散ファイルストレージ
Makoto Haruyama
?
デザイナーにもできる再构筑の高速化/负荷分散
デザイナーにもできる再构筑の高速化/负荷分散 デザイナーにもできる再构筑の高速化/负荷分散
デザイナーにもできる再构筑の高速化/负荷分散
Hajime Fujimoto
?
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
[G-Tech2014講演資料] Microsoft Azureで負荷分散された仮想マシンを作ってみよう ~Amazon Web Servicesと比べな...
Trainocate Japan, Ltd.
?
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワークの負荷分散を手軽に - OSC2015 Hokkaidoネットワークの負荷分散を手軽に - OSC2015 Hokkaido
ネットワークの負荷分散を手軽に - OSC2015 Hokkaido
Shinya Takebayashi
?
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
ネットワーク仮想化におけるVMwareの取り組み #jvum2013aネットワーク仮想化におけるVMwareの取り組み #jvum2013a
ネットワーク仮想化におけるVMwareの取り組み #jvum2013a
Toru Kaneko
?
成功したチームと成功しなかったチーム 20160608
成功したチームと成功しなかったチーム 20160608成功したチームと成功しなかったチーム 20160608
成功したチームと成功しなかったチーム 20160608
Keiichi Endo
?
L3HA-VRRP-20141201
L3HA-VRRP-20141201L3HA-VRRP-20141201
L3HA-VRRP-20141201
Manabu Ori
?
完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク
完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク
完全分散エッジ処理で実现する狈别耻迟谤辞苍仮想ネットワーク
Etsuji Nakai
?
年の瀬!リアルタイム通信ゲームサーバ勉强会
年の瀬!リアルタイム通信ゲームサーバ勉强会年の瀬!リアルタイム通信ゲームサーバ勉强会
年の瀬!リアルタイム通信ゲームサーバ勉强会
monobit
?
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう! by ...
Insight Technology, Inc.
?
【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法
【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法
【颁贰顿贰颁2013】20対20リアルタイム通信対戦オンラインケ?ームのサーハ?开発&运営技法
モノビット エンジン
?
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
?
摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト
摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト
摆社内勉强会闭贰尝叠と础尝叠と数万スハ?イク负荷テスト
Takahiro Moteki
?
负荷分散勉强会
负荷分散勉强会负荷分散勉强会
负荷分散勉强会
Yuji Otani
?

More from shunsuke Mikami (6)

アクセス解析システムの裏側 (公開用)
アクセス解析システムの裏側 (公開用)アクセス解析システムの裏側 (公開用)
アクセス解析システムの裏側 (公開用)
shunsuke Mikami
?
Fluent plugin-dstat
Fluent plugin-dstatFluent plugin-dstat
Fluent plugin-dstat
shunsuke Mikami
?
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
shunsuke Mikami
?
贬顿贵厂のスケーラビリティとマルチマスタへの取り组み
贬顿贵厂のスケーラビリティとマルチマスタへの取り组み贬顿贵厂のスケーラビリティとマルチマスタへの取り组み
贬顿贵厂のスケーラビリティとマルチマスタへの取り组み
shunsuke Mikami
?
アクセス解析システムの裏側 (公開用)
アクセス解析システムの裏側 (公開用)アクセス解析システムの裏側 (公開用)
アクセス解析システムの裏側 (公開用)
shunsuke Mikami
?
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
広域分散ファイルシステムGfarm上でのMapReduceを用いた大規模分散データ処理 @ SWoPP2010
shunsuke Mikami
?
贬顿贵厂のスケーラビリティとマルチマスタへの取り组み
贬顿贵厂のスケーラビリティとマルチマスタへの取り组み贬顿贵厂のスケーラビリティとマルチマスタへの取り组み
贬顿贵厂のスケーラビリティとマルチマスタへの取り组み
shunsuke Mikami
?

分散ファイルシステムGfarm上でのHadoop MapReduce