ݺߣ

ݺߣShare a Scribd company logo

Tomáš Fejfar - Elk - Víc než jen logy (4. sraz přátel Symfony v Praze)

•
•
éá첹ř
éá첹ř

Jakmile máte větší aplikaci rozdělenou na více workerů nebo oddělené microservices běžící jako samostatné aplikace brzy se přestanete orientovat v množství logů, které servery generují. Navíc co se nedá měřit, to se nedá řídit. A logy se měřit dají. A já vám ukážu jak.

1 of 15
Download to read offline
ELK Víc než jen logy
Co je ELK? ● Elasticsearch - dokumentová databáze s mocnou agregační vrstvou ● Logstash - parsování logů (+logstash-forwarder) ● Kibana - tenký klient na vizualizaci dat z elasticsearche
Proč ELK? ● přijde warning z icingy ○ Problem: web1 load is CRITICAL ○ Problem: CRON failed on web3 ● PANIKA! ● Odpovědi. Rychle.
Proč ELK ● Parsování access logů? sed, awk, grep? OMG WTF?! ● Do kterého logu to padá? ● Padá tam jen to důležité? ● Co je důležité?
Jak používá Shopio ● primárně: access a error logy na jednom místě ● odpověď na otázku: máme na serveru najednou velký load - je tam jen najednou víc lidí, nebo je problém jinde?
Proč ELK? STOP! DEMOTIME!
Co nás nejvíc í ● perfektní hledání a agregace ○ jaké byly user agenty a IP v posledních 5min requestů na tenhle projekt? ○ který projekt přenesl nejvíc dat za poslední měsíc? ○ jak se poslední měsíc vyvíjí časy requestů, potom co jsme přidali dva nové eshopy? Kolik je 90-percentil? ○ nejpomalejší requesty za poslední hodinu?
Co nás nejvíc í ● Instantní manažerské grafíky™ ○ V jakém poměru je projekt A a projekt B, co se týče počtu requestů (abychom jim podle toho mohli upravit cenu) ○ kdy tam měl tu neohlášenou 200x návštěvnost z žena.cz?
Co nás nejvíc í
Proč ELK? STOP! SYMFONY DEMOTIME! https://github.com/tomasfejfar/monolog-logstash-demo
Co nás nejvíc trápí? ● Paměť - 1 den logů (=~2GB) a co není v paměti, je pomalé ● Logstash a Elastic na stejném serveru - oboje je Java a každé má ~ 2GB paměti ● Podivně nestabilní logstash - připojí se jako elasticsearch node do clusteru a občas nám ho shodí
Co nás ještě trápí? ● logstash ○ grok ○ blbě se to debuguje (nebo to dělám špatně :)) ○ občas vypadá, že nestíhá zpracovávat ○ řešení? rsyslog + elasticsearch
Takže? ● ELK je skvělý ● je vám schopný dát odpovědi na některé zásadní otázky ● není to “zadarmo” ● ve výsledku záleží, jestli to uplatíte. Pokud ano, tak do toho jděte! (a k tomu collectd)
Dotazy? twitter: @tomasfejfar web: tomasfejfar.cz
Díky za pozornost! twitter: @tomasfejfar web: tomasfejfar.cz

More Related Content

Tomáš Fejfar - Elk - Víc než jen logy (4. sraz přátel Symfony v Praze)

  • 2. Co je ELK? ● Elasticsearch - dokumentová databáze s mocnou agregační vrstvou ● Logstash - parsování logů (+logstash-forwarder) ● Kibana - tenký klient na vizualizaci dat z elasticsearche
  • 3. Proč ELK? ● přijde warning z icingy ○ Problem: web1 load is CRITICAL ○ Problem: CRON failed on web3 ● PANIKA! ● Odpovědi. Rychle.
  • 4. Proč ELK ● Parsování access logů? sed, awk, grep? OMG WTF?! ● Do kterého logu to padá? ● Padá tam jen to důležité? ● Co je důležité?
  • 5. Jak používá Shopio ● primárně: access a error logy na jednom místě ● odpověď na otázku: máme na serveru najednou velký load - je tam jen najednou víc lidí, nebo je problém jinde?
  • 7. Co nás nejvíc í ● perfektní hledání a agregace ○ jaké byly user agenty a IP v posledních 5min requestů na tenhle projekt? ○ který projekt přenesl nejvíc dat za poslední měsíc? ○ jak se poslední měsíc vyvíjí časy requestů, potom co jsme přidali dva nové eshopy? Kolik je 90-percentil? ○ nejpomalejší requesty za poslední hodinu?
  • 8. Co nás nejvíc í ● Instantní manažerské grafíky™ ○ V jakém poměru je projekt A a projekt B, co se týče počtu requestů (abychom jim podle toho mohli upravit cenu) ○ kdy tam měl tu neohlášenou 200x návštěvnost z žena.cz?
  • 11. Co nás nejvíc trápí? ● Paměť - 1 den logů (=~2GB) a co není v paměti, je pomalé ● Logstash a Elastic na stejném serveru - oboje je Java a každé má ~ 2GB paměti ● Podivně nestabilní logstash - připojí se jako elasticsearch node do clusteru a občas nám ho shodí
  • 12. Co nás ještě trápí? ● logstash ○ grok ○ blbě se to debuguje (nebo to dělám špatně :)) ○ občas vypadá, že nestíhá zpracovávat ○ řešení? rsyslog + elasticsearch
  • 13. Takže? ● ELK je skvělý ● je vám schopný dát odpovědi na některé zásadní otázky ● není to “zadarmo” ● ve výsledku záleží, jestli to uplatíte. Pokud ano, tak do toho jděte! (a k tomu collectd)
  • 15. Díky za pozornost! twitter: @tomasfejfar web: tomasfejfar.cz