際際滷

オトナのService Fabric
kyrt / Takekazu Omi
takekazu.omi@kyrt.in
2015/9/5 R.1.1

徭失�B初
除臭冷匯
JAZUG Azure Storage 毅輝�徭各�
Microsoft MVP for Azure
http://www.slideshare.net/takekazuomi
kyrt.in
github.com/takekazuomi
white paper
�O�U
2015/9/5 kyrt inc. 4

Azure Service Fabric とは
Very Short Introductions
2015/9/5 kyrt inc. 5

Service Fabric 古勣
蛍柊侏システムプラットフォ�`ム
1. スケ�`ラブル
2. 佚�m來が互く
3. 砿尖しやすい
｀エンタ�`プライズクラスの Tier-1 クラウドスケ�`ルサ�`ビス
を��B、砿尖のための肝弊旗のミドルウェアプラットフォ�`ム¨
2015/9/5
https://azure.microsoft.com/ja-jp/documentation/articles/service-fabric-overview/
kyrt inc. 6

Battle-hardened for over 5 years
Azure Core Infrastructure thousands of machines
Azure Document DB billions transactions/week
Intune 800k devices
Skype for Business Hybrid Ops
Event Hubs 20bn events/day
Azure SQL Database 1.4 million databases
Bing Cortana 500m evals/sec
PowerBI
2015/9/5
竃灸: BUILD 2015 2-640 Microsoft Azure Service Fabric Architecture
kyrt inc. 7

Applications composed of microservices
2015/9/5
https://azure.microsoft.com/ja-jp/documentation/articles/service-fabric-overview/
kyrt inc. 8

クラウドアプリケ�`ションの嶷勣な�n�}
?プロビジョニング
?デプロイ
?�O�
?アップグレ�`ド
?�茅
2015/9/5
Service Fabric
プラットフォ�`ム
kyrt inc. 9

2015/4/20 Azure Service Fabric を�k燕
? Service Fabric は、互業な崙囮プラットフォ�`ム
? �_�k宀や ISV は、��來とカスタマイズ來の互いクラウド
サ�`ビスを��B辛
? ミッションクリティカルなクラウドサ�`ビスを戻工してきた
マイクロソフトの�U�Yを児�Aとして�_�k
? 5 定參貧にわたって�g�Hに�\喘
? 児�Pとなるテクノロジは、Azure のコアインフラストラク
チャに聞喘��g�^�g�
? Skype for Business、Intune、Event Hubs、DocumentDB、Azure
SQL Database 、Bing Cortana などの児�Pで旋喘
? �庵� 5 �|指を階える�u��魗苗椶��來を隔つ
2015/9/5
http://blogs.msdn.com/b/windowsazurej/archive/2015/04/23/announcing-azure-service-fabric-reducing-complexity-in-a-hyper-scale-world.aspx
kyrt inc. 10

書晩は、Service Fabricの函り�Mんでいる�n�}
のうち、プロビジョニングとデプロイのあ
たりで��}になることを嶄伉に�します
2015/9/5 kyrt inc. 11

ソフトウェアの弊順では寄きなのは挫まれ
ず弌さいのが挫まれる。蛍護は耳
?1000佩の�v方１つより、�}方の�v方に蛍かれ
ていた圭がいい
?Multics より、Unix
?monolithic kernel より、micro kernel
?畜�Y栽より�E�Y栽�SOA)
2015/9/5 kyrt inc. 12

互畜業なアプリケ�`ションのデプロイ
リソ�`スの嗤�神繒�
2015/9/5 kyrt inc. 14

Cloud Service (PaaSv1)
モダンなクラウドアプリケ�`ションでは、互辛喘、スケ�`ラブルを�g�Fするために、
仝Immutable InfrastructureとDisposable Components々という�藺圓鯣，蠅泙后�Azureだと、
Web/Worker Roleで�g廾されるCloud Serviceがそれです。
この�藺圓任蓮��Nodeは彜�Bを隔たず、Node嬾墾の��呂鉾殯廚亡桄�Nodeを護り輝て
て��鬉任①�I尖嬬薦が怎りない��呂�Nodeを弖紗することでスケ�`ルすることができ
ます。
PaaSv1では、畠てのRoleは�∀襯泪轡鵑��嗤
塘崔です。(Node=Instance)
そのため、OSの�O協やランタイムのインスト�`
ルなど�かいことを徭喇にできるという寄きな
メリットがありますが仝もう富し塘崔に徭喇業
が圀しいよね々というのが書指の�しです。
2015/9/5 kyrt inc. 15

箭�Availability
?辛喘來を隠った��撹とするためには、恷詰２
つのNodeに塘崔する駅勣があります
?その�Y惚、Roleの腺業を弌さくするとNode(=
インスタンス)の方が��えます
?CDP: Compute Partitioning Guidance で冱う、
logical decomposition と、physical partition の
深�]並�が�}�jに
? https://msdn.microsoft.com/en-us/library/dn589773.aspx
2015/9/5 kyrt inc. 16

Static Partitioning ��}
?このようにRoleの蛍護が床議に佩われているのを、
Static Partitioning �床議蛍護��と冱います。
?Static Partitioning は、Role を��やせば、��すほど
�Qいづらくなります。ワ�`クロ�`ドを並念に嚠�y
することが�yしい��呂發△蝓▲螢秋`スの旋喘��
楕という�Q泣からはムダが伏じやすい碧�Mみです。
?A:�}方のRoleをNodeに秘れてしまえばいいので
は�
2015/9/5 kyrt inc. 17

Major subsystems of Service Fabric
2015/9/5
竃灸�https://azure.microsoft.com/en-us/documentation/articles/service-fabric-architecture/
kyrt inc. 18

Cluster: federation
A set of independent
machines; physical or
virtual
Clusters can scale to
1000s of machines
2015/9/5
Node
Node
Node
Node
Node
Node
128 bit DTH
kyrt inc. 19

Federation subsystem
? 蛍柊システム坪で�}方のノ�`ドを�Qうためにシステムの匯�したビュ�`を
戻工
? Transport subsystem を聞って、ノ�`ドをステッチ��ぎあわせて�
? 麿のsubsystemが旋喘する蛍柊システムのプリミティブな�C嬬を戻工 �` 嬾
墾�奮�� leader election、 consistent routing
? 128ビット token space の Distributed Hash Tables (DTH) を��B、リングトポ
ロジを聞喘
? リング坪の光ノ�`ドに、token space のサブセットの侭嗤�悗鮓遒蟲韻�
? 絞嬾�奮�里燭瓩法�layerはheart beatingベ�`スのリ�`スと�{唯を旋喘
? フェデレ�`ション，サブシステムは、intricate join and departure protocols に
よって、ト�`クンが�g匯の侭嗤宀に｢奉することを隠�^し、これによって
leader election と consistent routing の隠�^
2015/9/5 kyrt inc. 20

Reliability subsystem
? reliability subsystemは、 replicator, failover manager, resource balancer の�C��を圷に、Service
Fabric の互辛喘なサ�`ビスを戻工
? Replicator
? primary service replica の彜�Bの�筝釮��啜弔� secondary replica に�}�uされ、 replica set 坪の
primary と secondary のレプリカの�gの匯�來が隠たれることを隠�^する。Replicator は、replica-set
坪の replica �gの quorum management を毅輝している。
? failover unit が、replicate 荷恬のリストを函誼するには、 reconfiguration agent (RA) が replica-set の
��撹 (�}�uに駅勣なそれぞれのreplicaの荷恬)を戻工
? Service Fabric では、Fabric Replicator と柵ばれるデフォルトの replicator が戻工
? Failover Manager
? クラスタ�`にノ�`ドが弖紗、�茅されたときに、贋壓するノ�`ドに�塞が徭�啜弔穆拇箍爾気譴襪�
とを隠�^する。クラスタ�`坪のノ�`ドに嬾墾が�k伏した�r、クラスタ�`は辛喘來が払われないよう
に徭�啜弔縫稀`ビスのレプリカを壅��撹する
? Resource Balancer
? Resource Balancer は、クラスタ坪の failure domain 畠悶にサ�`ビスのレプリカを塘崔し、すべての
failover units が屎械に�嘛�靴討い襪海箸魃Ｔ^します。Resource Balancer はまた、クラスタノ�`ド
の和にある慌嗤プ�`ル畠悶で恷�mで譲匯な�塞蛍柊を�g�Fする
2015/9/5 kyrt inc. 21

Hosting subsystem
?Management subsystem の cluster manaer
が、 Hosting subsystem (光ノ�`ドの) に��
して、蒙協のNodeでmanageされる service
を宥岑。
?そのNode貧のApplicationのlife cycle を砿尖。
reliability と health components と宥佚し、
replica の塘崔と宗畠來を�_�J
2015/9/5 kyrt inc. 22

Cluster: System View
2015/9/5
Failover
manager
Cluster
manager
Naming
Image store
System Services
kyrt inc. 23

麿を�てみる
Apache Mesos, Hadoop YARN, Spark
2015/9/5 kyrt inc. 25

Apache Mesos
2015/9/5 kyrt inc. 26

Apache Mesos
? Apache Mesos は、twitter 芙などで聞われている Cluster
Manager です。Service Fabric と貌た了崔に奉するOSSのプロ
ダクトです。BUILD 2015/3-612では、Cluster Orchestration で�K
んでました。書指の�Y創では、Cluster Managerと柵んでます。
? ちょっと用�して、仝Mesos 聞うとStatic Partitioning から�_
慧されるぜ々という�しが中易かったので�B初。
? Building and Deploying Application to Apache Mesos
? 仝Static Partition IS BAD、 Operating System === Datacenter 、
Mesos => data center のkernelだ々というようなことが��い討�
ります。
? http://www.slideshare.net/charmalloc/buildingdeployingapplications
mesos
2015/9/5 kyrt inc. 27

VMs and VM Scale Sets
Azure Public CloudAzure-Consistent Private Cloud
VM Extensions
SCALR, RightScale,
Mesos, Swarm
Service Fabric
(VMs and Containers)
BatchApp Service
Media
Web
Apps
Mobile
Apps
Apprenda, CloudFoundry
Jelastic, Marathon
Infrastructure
IaaS and
IaaS+
General
Compute PaaS
Vertical
compute PaaS
Open Choice at Every Layer
Cluster
Orchestration
歌孚�https://channel9.msdn.com/Events/Build/2015/3-618

Mesos Overview
? Mesosは、master daemon と、光 cluster
node 貧で�g佩される slave daemon、お
よびこれらのslave 貧で task を�g佩する
Mesosの application(framework とも柵ば
れます�で��撹
? cluster nodeは、 containerizer で�嘛�掘�
linux のcontrol cgroups や namespaces で
蛍�xされたもので、Docker で蛍�xされた
ものが喘吭。(Mesos containerizer ,
Docker containerizer)
? slave のリソ�`ス彜�rに栽わせて、 �}方
のアプリケ�`ションをnode に塘崔する
ことができ、互畜業塘崔が辛嬬
http://mesos.apache.org/documentation/latest/mesos-architecture/
2015/9/5 kyrt inc. 29

Hadoop YARN
Hadoop 伏まれの Resource Manager for Cluser
2015/9/5 kyrt inc. 30

YARN - Yet-Another-Resource-Negotiator
2015/9/5 kyrt inc. 31

YARN (2)
? 寄�庁なClusterでは、Job Tracker がボトルネックになる
? 販吭の蛍柊�I尖フレ�`ムワ�`クやアプリケ�`ションの恬撹を否叟に
する仟しいフレ�`ムワ�`ク �MR��喘ではない、Sparkでも旋喘辛�
? YARNは、��探弔雰嵒▲▲廛螢羽`ションの�_�kや、そのようなアプ
リケ�`ションからの�メモリやCPUといった�リソ�`ス勣箔のハン
ドリング、スケジュ�`リングを佩い、�g佩を�O興するためのデ�`モ
ンとAPIを戻工
? YARN の�B初
? http://www.ibm.com/developerworks/jp/analytics/library/bd-yarn-intro/
? MR2とYARNの返玉な盾�h
? http://www.cloudera.co.jp/blog/mr2-and-yarn-briefly-explained.html
2015/9/5 kyrt inc. 32

Apache Spark
Cluster Manager 貧で�咾�OSS
2015/9/5 kyrt inc. 34

Spark + Mesos、YARNの旋喘
Spark は、 MesosでもYARNでも�咾��Cluster Manager と柵ばれる�
? Standalone
? a simple cluster manager included with Spark that makes it easy to set up a
cluster.
? Apache Mesos
? ��辰� cluster manager、 Hadoop MapReduce and service applications.
? Hadoop YARN
? the resource manager in Hadoop 2.
? Amazon EC2
? In addition, Spark¨s EC2 launch scripts make it easy to launch a standalone
cluster on Amazon EC2.
2015/9/5 kyrt inc. 35

Apache Spark Overview
Spark には、アプリケ�`ションをcluster 貧で�咾�垢燭�
に、Cluster Manger というコンポ�`ネントがある
2015/9/5
http://spark.apache.org/docs/latest/cluster-overview.html
kyrt inc. 36

Cluster Manger
?Clusterから駅勣な�麻リソ�`スを護輝
?CPU(core)、memory
?クラスタ�`貧で�g佩されるタスクの�{屁
?タスクの�_兵峺幣、タスクの�g佩のモニタ�`、
払�，靴織織好�淋揄_
?揖匯Cluster貧での�}方のアプリケ�`ション
�嘛�
2015/9/5 kyrt inc. 37

Service Fabricは、蛍護されたサ�`ビスの�_�k、
クラスタ�`への塘崔、�\喘をサポ�`トする
プラットフォ�`ムです。
Service Fabricの旋喘で、蛍護による�_�k、�\
喘コストの��紗を雙えて、旋吩を�鞭でき
ることができ、それによって、Monolithic(匯
旦冫) と、Micro�蛍護�のどちらを�x�kす
るかのバランスが�笋錣蠅泙后�
2015/9/5 kyrt inc. 38

歌深�Y創
2015/9/5 kyrt inc. 40

Service Fabric Explorer
? Clusterの彜�rが�
える
? Nodeを壅軟�咾垢�
とPrimaryが�笋錣�
? Stateful は3Node��
撹
? LSN�ている
? QueueでLOG塘下っ
ぽい
2015/9/5 kyrt inc. 41

Regional Network Manager Microservices
2015/9/5
ONS 2015: Wednesday Keynote - Mark Russinovich https://youtu.be/RffHFIhg5Sc
kyrt inc. 42

?Service Fabric documentation
http://azure.microsoft.com/en-
us/documentation/services/service-fabric/
?BUILD 2015, The Next Generation of Azure Compute
Platform with Mark Russinovich
https://channel9.msdn.com/Events/Build/2015/3-618
?Microsoft Azure Service Fabric Architecture
?Deep Dive into Microsoft Azure Service Fabric
Reliable Actors
2015/9/5 kyrt inc. 43

? 寄�庁蛍柊システムの�F壓 �C Twitter, 来表音屈健
? http://www.slideshare.net/maruyama097
? Evolution of The Twitter Stack,
Chris Aniszczyk
? http://www.slideshare.net/caniszczyk/twitter-opensourcestacklinuxcon2013
? GoogleがBorgの��を巷�_, Abel Avram
? http://www.infoq.com/jp/news/2015/04/google-borg
? mesos, omega, borg: a survey, Andrew Wang
? http://www.umbrant.com/blog/2015/mesos_omega_borg_survey.html
? YARN の�B初
? http://www.ibm.com/developerworks/jp/analytics/library/bd-yarn-intro/
2015/9/5 kyrt inc. 44

際際滷

Service Fabric での互畜業塘崔

Recommended

More Related Content

What's hot (16)

Similar to Service Fabric での互畜業塘崔 (20)

More from Takekazu Omi (20)

Service Fabric での互畜業塘崔

Editor's Notes