![OpenStack Entegrasyonu (9)
●
Keystone kimlik doğrulama (ceph.conf)
[client.radosgw.*]
rgw_cache_enabled = true
rgw_cache_lru_size = 100000
rgw_thread_pool_size = 256
rgw_enable_ops_log = false
rgw_frontends = civetweb port=80
[client.rgw.cephmonitor01]
rgw_frontends = "civetweb port=443s ssl_certificate=/etc/ssl/private/radosgw.domain.tld"
#rgw dns name = radosgw.domain.tld
rgw_keystone_url = http://controller:35357
rgw_keystone_admin_user = ceph
rgw_keystone_admin_password = {openstack_ceph_user_password}
rgw_keystone_admin_project = admin
rgw_keystone_admin_domain = default
rgw_keystone_api_version = 3
rgw_keystone_accepted_roles = admin, user
rgw_s3_auth_use_keystone = true
rgw_keystone_make_new_tenants = true](https://image.slidesharecdn.com/istanbul2-171015120620/85/Ceph-Turkiye-2-meetup-Istanbul-42-320.jpg)
Ceph Türkiye 2.meetup İstanbul
- 1. Dr. Hüseyin ÇOTUK 11.10.2017 İstanbul Ceph Türkiye Meetup Ceph Yapıtaşları, Ceph Mimarisi ve Ceph Üzerinde Veri ۱ş
- 2. Gündem • Ceph Yapıtaşları • Ceph Mimarisi • Ceph Üzerinde Veri ۱ş – CRUSH Algoritması – CRUSH MAP • OpenStack Entegrasyonu • Soru/Cevap
- 3. Ceph: The Future of the Storage
- 4. Ceph Yapıtaşları • RADOS (Reliable Autonomic Distributed Object Store) • LIBRADOS (Rados Library) • OSD (Object Storage Device) • MON (Monitor) • RGW (Rados Gateway) • RBD (Rados Block Device) • MDS (Metadata Server) • FS (File System)
- 5. RADOS ● Ceph kümesinin en temel yapıtaşı ● Nesnelerin saklanmasından sorumlu ● Verinin her zaman tutarlı ve güvenli kalmasını sağlayan katman ● Tutarlılık – Replikasyon – Hata tespiti – Onarma (recovery) – Veri taşıma – Yük dengeleme
- 7. LibRADOS ● RADOS katmanına erişimi sağlayan kütüphane ● Diğer katmanlar için native erişim sağlar. – RadosGW, RBD, CephFS ● LibRADOS API doğrudan RADOS katmanına erişim sağlar (custom interface) ● Desteklenen diller – PHP – Ruby – Java – Python – C ve C++
- 8. OSD ● Gerçek kullanıcı verisinin saklandığı bileşen ● Diske erişimi yönetir. ● Her disk başına OSD kullanımı önerilir. ● Monitör sunucularına disklerin durumu ile ilgili bilgi sağlar. ● Sistemdeki OSD sayısı genel kabülde toplam disk sayısının göstergesidir.
- 9. MON ● Tüm Ceph kümesinin sağlıklı çalışmasını takip etmekle yükümlü ● Kümedeki durum hakkında bilgi veren farklı haritalar (map) tutar. – OSD, MON, PG ve CRUSH map ● Kümedeki her bileşen kendisi ile ilgili bilgiyi monitör sunucularına raporlar ve durumundaki her değişikliği hemen bildirir. ● Kümedeki her bileşen için harita halinde farklı farklı bilgiler tutar. ● Monitör üzerinde kullanıcı verisi saklanmaz.
- 10. Ceph Mon Stats
- 11. RGW ● RADOS katmanına erişmek için RESTful API sağlayan bileşendir. ● Amazon S3 (Simple Storage Service) ve OpenStack Object Storage API (Swift) ile uyumludur. ● Multitenancy ve OpenStack Keystone ile kimlik doğrulama desteği vardır. ● OpenStack arkasında Swift gibi kullanılabilir.
- 13. RBD ● Fiziksel ve sanal sunucularda kullanılmak üzere blok aygıt desteği sağlayan bileşendir. ● Sunucudaki herhangi bir disk gibi map edilerek istenilen dosya sistemi ile formatlanıp mount edilerek kullanılabilir. ● Ticari ürünlerde bulunan thin provisioning ve snapshot gibi özellikleri destekler. ● OpenStack, CloudStack, Proxmox desteği mevcuttur.
- 14. RBD Images
- 15. MDS ● Dosya hiyerarşisini izleyerek sadece CephFS için metadata bilgisini tutmakla yükümlüdür. ● Ceph RBD ve RadosGW metadata kullanımı gerektirmez. ● FS kullanımına bağlı opsiyonel olarak sisteme eklenir. ● İstemciler ile etkileşimi olmadığı için diğer dağıtık sistemlerdeki SPOF problemi, RBD ve Rados erişimi için ortadan kaldırılmıştır.
- 16. FS ● Her boyutta, POSIX-uyumlu dağıtık dosya sistemi desteği sağlayan bileşendir. ● Dosya hiyerarşisini takip edebilmek amacıyla Ceph MDS’e ihtiyaç duyar. ● Uzun süreli denemeler sonrası 2016 ilk çeyreğinde Jewel sürümü ile production ortamlarında kullanıma sunulmuştur. ● Kernel mount veya FUSE ● OpenStack Manila ile kullanıldığında dosya sistemine birden fazla sanal sunucu üzerinden eş zamanlı erişim sağlar.
- 17. Ceph Status
- 20. Örnek Mimari
- 21. Ceph OSD – Journal İlişkisi
- 22. Ceph Üzerinde Veri ۱ş ● Yerleşim Grupları (Placement Groups-PG) – Havuz ve OSD arasında verileri gruplamak üzere kullanılan yapıtaşları ● Veri Havuzları (Pools) – İmajları barındıran mantıksal ayraçlar – Büyüklükle orantılı PG’ye sahip – Havuz bazında farklı replika sayısı seçilebilir ● İmajlar (Images) – Havuz içinde farklı verilerin tutulduğu yapıtaşları ● Kural Grupları (Rulesets) – Veriyi istenilen hiyerarşik yapıda dağıtmaya imkan veren kurallar
- 23. Ceph Üzerinde Veri ۱ş
- 24. CRUSH Algoritması ● Controlled Replication Under Scalable Hashing
- 25. CRUSH Örnek ● “huseyin” isimli nesneyi “cotuk” isimli havuza yazma – PG Sayısı : 32768 – Cotuk pool id : 5 – hash(‘huseyin’) = 0x894513ce – 0x894513ce mod 32768 = 0x13CE – PG → 5.13CE – CRUSH(‘5.13CE’, {CLUSTER_TOPOLOGY} ) ● OSD 7 ● OSD 26 ● OSD 16
- 26. CRUSH Map ● Her hiyerarşik yapı için tanımlanan kurallarla birlikte Ceph’in veriyi nasıl saklayacağını belirler. ● Çok aşamalı olabileceği gibi en az bir düğüm ve yaprak hiyerarşisine sahip olmalıdır. ● Hiyerarşideki her düğüm sepet (bucket) olarak adlandırılır ve her sepetin bir tipi vardır. ● Verileri tutan nesneler disklere verilebilecek ağırlıklara göre disklere dağıtılır. ● İhtiyaca göre istenilen esneklikte hiyerarşik yapı tanımlanabilir. Tek kısıt en alttaki yaprak ismi verilen düğümler OSD’leri temsil etmelidir. ● Her yaprak düğüm bir sunucuya ya da başka bir tipteki sepete bağlı olmalıdır.
- 28. CRUSH Failure Domains ● Verinin hangi hiyerarşide yedekleneceğini belirler. ● Varsayılan olarak verinin replikaları farklı sunucularda tutulacak şekilde dağıtılır. ● İstenirse rack bazında, hatta arada yeterli bağlantı varsa DC veya region bazında bile kopyalar dağıtılabilir. ● Kurallar içerisinde tanım yapılır.
- 29. Ceph Rules
- 30. Ceph OSD Tree
- 31. Havuz – Kural Eşleme #ceph osd pool create bench_hdd 100 100 #ceph osd pool set bench_hdd crush_ruleset 0 #ceph osd pool create bench_ssd 100 100 #ceph osd pool set bench_ssd crush_ruleset 1
- 32. Neden OpenStack + Ceph ? ● OpenStack Depolama Gereksinimleri – Ephemeral (Nova+Glance) – Block (Cinder) – File (Manila) – Object (Swift) ● Gelişmiş özellikler – Live migration – Direct snapshot & restore – Mirroring – HA – Replication failover
- 33. Neden OpenStack + Ceph ? OpenStack Kullanıcı Anketi 2017
- 34. OpenStack Entegrasyonu (1) ● Ceph üzerinde: ● OpenStack sunucular üzerinde: – ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf – apt-get install python-rbd ceph-common ● Ceph Client Authentication – ceph auth get-or-create client.glance mon 'profile rbd' osd 'profile rbd pool=images' – ceph auth get-or-create client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images' – ceph auth get-or-create client.cinder-backup mon 'profile rbd' osd 'profile rbd pool=backups'
- 35. OpenStack Entegrasyonu (2) ● Keyring ekleme – ceph auth get-or-create client.glance | ssh {your-glance-api- server} sudo tee /etc/ceph/ceph.client.glance.keyring – ssh {your-glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring – ceph auth get-or-create client.cinder | ssh {your-volume- server} sudo tee /etc/ceph/ceph.client.cinder.keyring – ssh {your-cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring – ceph auth get-or-create client.cinder-backup | ssh {your- cinder-backup-server} sudo tee /etc/ceph/ceph.client.cinder- backup.keyring – ssh {your-cinder-backup-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring – ceph auth get-or-create client.cinder | ssh {your-nova- compute-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
- 36. OpenStack Entegrasyonu (3) ● Compute sunucularda – uuidgen ● 457eb676-33da-42ec-9a8c-9293d545c337 – cat > secret.xml <<EOF <secret ephemeral='no' private='no'> <uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid> <usage type='ceph'> <name>client.cinder secret</name> </usage> </secret> EOF – sudo virsh secret-define --file secret.xml Secret 457eb676-33da-42ec-9a8c-9293d545c337 created – sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c- 9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml
- 37. OpenStack Entegrasyonu (4) ● Glance ● Enable COW ● Disable cache
- 38. OpenStack Entegrasyonu (5) ● Cinder – Cephx authentication
- 39. OpenStack Entegrasyonu (6) ● Cinder Backup (cinder.conf) ● Volume üzerinden boot için
- 40. OpenStack Entegrasyonu (7) ● Nova (ceph.conf) ● nova.conf ● Live migration ● Tüm servisler restart
- 41. OpenStack Entegrasyonu (8) # openstack service create --name=swift --description="Swift Service" object-store # openstack endpoint create --region {region-name} --publicurl "https://radosgw.domain.tld:443/swift/v1" --adminurl "https://radosgw.domain.tld:443/swift/v1" --internalurl "https://radosgw.domain.tld:443/swift/v1" swift
- 42. OpenStack Entegrasyonu (9) ● Keystone kimlik doğrulama (ceph.conf) [client.radosgw.*] rgw_cache_enabled = true rgw_cache_lru_size = 100000 rgw_thread_pool_size = 256 rgw_enable_ops_log = false rgw_frontends = civetweb port=80 [client.rgw.cephmonitor01] rgw_frontends = "civetweb port=443s ssl_certificate=/etc/ssl/private/radosgw.domain.tld" #rgw dns name = radosgw.domain.tld rgw_keystone_url = http://controller:35357 rgw_keystone_admin_user = ceph rgw_keystone_admin_password = {openstack_ceph_user_password} rgw_keystone_admin_project = admin rgw_keystone_admin_domain = default rgw_keystone_api_version = 3 rgw_keystone_accepted_roles = admin, user rgw_s3_auth_use_keystone = true rgw_keystone_make_new_tenants = true
- 44. Ceph Benchmark: Optimizasyon Öncesi 1 fio + 4 farklı pool rbd bench + 3 node cephfs üzerinden dd aynı anda çalıştırılıp throughput ölçümü (4.372 GB/sn)
- 45. Ceph Benchmark: Optimizasyon Sonrası 1 fio + 4 farklı pool rbd bench + 3 node cephfs üzerinden dd aynı anda çalıştırılıp throughput ölçümü (6.521 GB/sn)
- 46. Ceph Türkiye 1. Meetup Ankara ● Video kaydı ve sunum için: – http://huseyincotuk.com/index.php/2017/10/07/ ceph-turkiye-1-meetup-ankara-ilk-bakista-ceph/
- 47. Soru / Cevap ● Teşekkürler ● Dr. Hüseyin ÇOTUK – http://www.huseyincotuk.com – huseyin@huseyincotuk.com – https://twitter.com/huseyin_cotuk ● Sorular