Tour of Distributed Systems 3 - Apache Kafka
?
2 likes?1,494 views
蛍柊システムのツア` #3 - Apache Kafka
Tour of Distributed Systems 3 - Apache Kafka
- 1. Apache Kafka 蛍柊システムのツア` #3 Chris 2014/10/15 #m3dev https://github.com/m3dev/distrib-systems-tour
- 2. Kafka ¢ PubSubメッセ`ジ?キュ` ¢ LinkedInk ¢ 咾 ＄ パフォ`マンス ＄ スケ`ラビリティ ＄ 喟A來 ＄ 悲な塘下モデル坤灰鵐轡紿`マ?グル`プ ¢ Scalag廾、謹冱Zのクライアント
- 3. ア`キテクチャ Producer Producer Producer Producer Kafka cluster Broker Broker Broker Consumer Group 1 Consumer Group 2 Consumer Consumer Consumer Consumer ZooKeeper HDD HDD HDD
- 4. コンシュ`マ?グル`プ ¢ 畠てのメッセ`ジを畠てのconsumer group┐ consumerのいずれかに塘下する ¢ 箭 ＄ メッセ`ジ 1, 2, 3, 4 ＄ コンシュ`マグル`プ A, B ＄ Aにコンシュ`マ２岬A1, A2 ＄ Bにコンシュ`マ２岬B1, B2 Group A Group B A1 A2 B1 B2 ∠ ∠
- 5. コンシュ`マ?グル`プ ¢ スペシャルケ`ス ＄ 畠てのコンシュ`マが揖じグル`プに侭奉 ＊ 噸宥のキュ` ＄ コンシュ`マはそれぞれeグル`プ ＊ 噸宥のPub-Sub
- 6. ┐箸△ consumer group の嶄のです パ`ティション ¢ トピックを}方の partition に蛍ける ¢ Producer が message ? partition の尅り蛍け をQめる ¢ Kafka broker が partition ? consumer の尅り 蛍けをQめる ¢ 崙泯Consumer方 Q Partition方 Producer Producer Partition 1 Partition 2 Consumer Partition 3 Consumer
- 7. 喟A來 ¢ Brokerはメッセ`ジをファイルにきzむ ¢ Consumerがメッセ`ジをMしても、匯協豚g brokerに火る ¢ Consumerが徭附のU^を砿尖するので、き して壅iみzみができる
- 8. パフォ`マンス $ brew install kafka $ cd /usr/local/opt/kafka $ bin/start-zookeeper-server.sh libexec/config/zookeeper.properties & $ bin/kafka-server-start.sh libexec/config/server.properties & $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test $ bin/kafka-producer-perf-test.sh --broker-list localhost:9092 --topics test --messages 1000000 Y惚49,568 messages/sec (Late 2011 MBP, 100 byte msgs)
- 10. 聞い侭坤螢▲襯織ぅ猴岑
- 11. 聞い侭坤譽櫞`ティング
- 12. 聞い侭唆狡慎張ぅ戰鵐隼醵
- 13. ハンズオン OSX: brew install kafka or, AWS貧に借P嶄のKafka を聞う 192.168.51.119:9092 https://github.com/m3dev/distrib-systems-tour