Introduction to Hadoop Map Reduce, Pig, Hive and HBase technologies.
Workshop deck prepared and presented on May 30th 2015 by Radosaw Stankiewicz.
During that day participants had also possibility to go through prepared tutorials and test their analysis on real cluster.
Konrad Kokosa - Pami w .NET - od og坦lu do szczeg坦u- 4developers2016PROIDEA
油
.NET ma zarzdzan pami, to wie ka甜dy. Ale jak to wszystko naprawd dziaa? Czy mamy si w og坦le czym przejmowa? Czy znajomo szczeg坦坦w implementacyjnych Garbage Collectora jest nam do czego potrzebna i co z tego wynika dla codziennego 甜ycia .NET deva? Przygldajc si temu jak CLR zarzdza pamici z tej i owej strony poznamy przy okazji kilka smaczk坦w, ciekawostek ale i zagro甜e.
Apache Spark to coraz bardziej popularny framework do tworzenia przetwarza Big Data. Gdy wywalaj si executory, zwikszamy ilo pamici. Gdy job wykonuje si zbyt wolno, zwikszamy ilo executor坦w. Zwikszenie iloci zasob坦w to 甜adna optymalizacja i z czasem nasz klaster Hadoop jest w peni utylizowany i nie mo甜na uruchamia kolejnych przetwarza. A przecie甜 da si inaczej! Klaster Hadoop w Allegro to setki job坦w uruchomionych jednoczenie, z czego wikszo to joby Sparkowe. Opowiemy histori kilku z nich i przemiany, kt坦re przeszy. W tym najbardziej spektakularn: od 2500 do 240GB RAM.
Monitoring systemu. Dlaczego m坦j kardiolog jest bogatym czowiekiem?The Software House
油
Wojciech W坦jcik: W temacie monitorowania system坦w IT powiedziano ju甜 oceany s坦w na niezliczonych prezentacjach. Przedstawi wam jednak opowie o mitologicznym Prometheuszu. Opowie, kt坦ra mogaby konkurowa z Gr o tron, a Koron Kr坦l坦w zjadaby na przystawk. W jej trakcie zdradz wam sekrety monitorowania Kubernetes, ale i nie tylko. Miejcie jednak na uwadze, 甜e nie wszystkie potyczki si wygrywa dziki czemu zaszczyc was te甜 mo甜liwoci wysuchania ciekawych historii o fuckupach.
Znaki mocy dla laik坦w Programowanie funkcyjne w JavaScriptThe Software House
油
Presentation from Uszanowanko Programowanko meetup - http://www.uszanowanko.pl/z-biblioteki-cechu-ubijacza-potworow
Wiktor Toporek - Znaki mocy dla laik坦w
Programowanie funkcyjne nierzadko postrzegane jest jako dziwna oraz trudna do opanowania technika, tymczasem ka甜dy mo甜e korzysta z jej dobrodziejstw.
Prezentacja z webinaru "GraphQL w React z wykorzystaniem Apollo" przeprowadzonej przez Michaa Tomsie i Michaa Czmiela.
Czy wiesz, 甜e mo甜na zbudowa aplikacj bazujc na danych dotyczcych eksploracji kosmosu?
Dowiedz si jak to zrobi wykorzystujc technologie takie jak React, GraphQL, Apollo Client i Apollo Server.
--
Join Boldare's newsletter to learn about a C-level point of view on user-centered design, software outsourcing services and the future of business.
Subscribe now --> https://go.boldare.com/newsletter-slideshare/
Architektura aplikacji z wykorzystaniem wzorca redux i implementacji angular 2+ oraz ngrx. Prezentacja ze szkolenia przeznaczonego dla programist坦w angular1.
Allegro Tech Talks Pozna #4: Jak przyspieszy SOLRa w kilku prostych krokach. allegro.tech
油
40 milion坦w wyszukiwa dziennie, setki tysicy uaktualizacji indeksu czyni z Allegro.pl drug co do wielkoci wyszukiwark w Polsce. Nie wszyscy wiedz, 甜e g坦wn wyszukiwark ofertow w Allegro.pl napdza Apache SOLR. Opowiemy o naszych dowiadczeniach z optymalizacj zapyta do SOLRa, o tym jak udao nam si znacznie zmniejszy czasy odpowiedzi i zwikszy stabilno dziaania naszego searcha. W czasie prezentacji poruszymy kwestie zwizane z tworzeniem schematu, wykorzystaniem odpowiednich typ坦w danych, wykorzystania cachea, efektywnego filtrowania i innych optymalizacji, kt坦re udao nam si wdro甜y z sukcesem.
Wygoszono w trakcie czwartej edycji Allegro Tech Talks w Poznaniu.
Adam Dudczak - Starszy programista w Grupie Allegro, pracuje z Jav i technologiami powizanymi od 2004 roku. Na codzie pracuje nad wyszukiwark allegro.pl. Jeden z lider坦w Pozna JUG (http://www.jug.poznan.pl) i wsp坦organizator konferencji GeeCON (http://geecon.org).
Przemysaw Szeremiota - Starszy programista w Grupie Allegro od 2008. Zaczyna prac w zespole wydajnoci programujc w C/C++, prze甜y fascynacj Javascriptem i zazna Javy, obecnie doskonale czuje si pywajc w mieszance Basha i JQ. W wolnych chwilach przetumaczy ponad 70 ksi甜ek technicznych.
W ostatnich latach TypeScript bez wtpienia coraz czciej staje si standardowym narzdziem w JavaScriptowych rodowiskach. Pomaga wyapa wiele bd坦w nim aplikacja zostanie uruchomiona, ale niestety samo jego u甜ycie w projekcie nie jest panaceum na wszystkie tego typu bdy. Dlatego te甜 podczas prezentacji przyjrzymy si technikom, kt坦re pozwalaj zaprojektowa kod, kt坦ry prowadzi programist坦w za rczk do wiata w kt坦rym bdy w trybie runtime s rzadkoci.
Jeste frontendowcem i masz zamiar pisa w Nodzie? A mo甜e wczeniej pisae w PHP? Ta prezentacja pomo甜e ci zrozumie podstawowe reguy rzdzce wiatem Node'a, jak i nadrobi zalegoci. Przygotuj si na pozytywnego kopniaka!
4Developers 2015: Orleans - aplikacje, kt坦re skaluj i dystrybuuj si same -...PROIDEA
油
Krzysztof Suszka
Language: Polish
Du甜a dostpno chmur spowodowaa, 甜e tworzenie olbrzymich, skalowalnych system坦w stao si dostpne dla ka甜dego. Jednak sama chmura nie rozwizuje wszystkich problem坦w. Nadal trzeba wo甜y sporo wysiku w tak konstrukcj systemu, kt坦ra pozwoli z tej chmury efektywnie korzysta. Orleans jest eksperymentaln platform, kt坦ra pr坦buje odnie si do tego problemu, zrzucajc z programisty obowizek mylenia o fizycznej dystrybucji element坦w aplikacji. Orleans dostarcza API zbudowane w oparciu o sprawdzony Actor Model. W czasie prelekcji przedstawione zostan podstawowe mechanizmy dziaania tej platformy oraz prosty przykad pokazujcy fragment jej mo甜liwoci.
Pawe Kucharski: Oswajamy Sonia czyli po co nam HadoopAnalyticsConf
油
Wprowadzenie do Apache Hadoop i ekosystemu projekt坦w z nim powizanych w oparciu o nasze dowiadczenia przechodzenia na Hadoop'a z tradycynego SQLa. Opowiem czym jest Hadoop i czym r坦zni si od relacyjnych baz danych, dlaczego zdecydowalimy si na Hadoop'a, co zyskalismy i jakie problemy napotkalismy pracujc z Hadoop'em.
Nowe, pot甜ne narzdzia do tworzenia stron internetowych pojawiaj si niemal codziennie. My w zespole postanowilimy jednak cofn si o krok i postawi na to co proste, ale u甜yteczne. Efekt? Korzyci dla zespou i dla klienta. Podczas prezentacji opowiem o tym, co zyskalimy oraz wprowadz suchaczy w wiat Hugo nowoczesnego generatora stron statycznych.
infoShare AI Roadshow 2018 - Magdalena W坦jcik (Data Love) - Data Science na d...Infoshare
油
"Od czasu kiedy kupiam sobie Fitbita, jestem zafascynowana ile przydatnych informacji o moim zdrowiu i 甜yciu dostarcza. Nie byabym sob, gdybym pozostaa tylko przy informacjach z algorytm坦w appki producenta. Musiaam cign dane 添r坦dowe i sprawdzi z czym jeszcze koreluj m坦j sen i ttno. W ramach prezentacji poka甜 hands-on analiz danych z trackera aktywnoci Fitbit w jzyku Python - tak, 甜eby ka甜dy m坦g p坦添niej przeanalizowa dane o swoim zdrowiu."
Webpack - Czym jest webpack i dlaczego chcesz go u甜ywa? - wersja kr坦tkaMarcin Gajda
油
Narzdzia takie jak Grunt i Gulp s coraz czciej wypierane z u甜ycia przez swojego nastpce, webpacka. Wynika to z prostego powodu w kwestii pakowania asset坦w rozwizuje on domylnie wiele problem坦w, z kt坦rymi tamte narzdzia radz sobie gorzej. Ta prezentacja omawia te zagadnienia i pokazuje jak skonfigurowa webpacka od zera.
Codepot - Pig i Hive: szybkie wprowadzenie / Pig and Hive crash courseSages
油
Szybkie wprowadzenie do technologii Pig i Hive z ekosystemu Hadoop. Prezentacja wykonana w ramach warsztat坦w Codepot w dniu 29.08.2015. Prezentacja wykonana przez Radosawa Stankiewicza oraz Bartomieja Tartanusa.
Znaki mocy dla laik坦w Programowanie funkcyjne w JavaScriptThe Software House
油
Presentation from Uszanowanko Programowanko meetup - http://www.uszanowanko.pl/z-biblioteki-cechu-ubijacza-potworow
Wiktor Toporek - Znaki mocy dla laik坦w
Programowanie funkcyjne nierzadko postrzegane jest jako dziwna oraz trudna do opanowania technika, tymczasem ka甜dy mo甜e korzysta z jej dobrodziejstw.
Prezentacja z webinaru "GraphQL w React z wykorzystaniem Apollo" przeprowadzonej przez Michaa Tomsie i Michaa Czmiela.
Czy wiesz, 甜e mo甜na zbudowa aplikacj bazujc na danych dotyczcych eksploracji kosmosu?
Dowiedz si jak to zrobi wykorzystujc technologie takie jak React, GraphQL, Apollo Client i Apollo Server.
--
Join Boldare's newsletter to learn about a C-level point of view on user-centered design, software outsourcing services and the future of business.
Subscribe now --> https://go.boldare.com/newsletter-slideshare/
Architektura aplikacji z wykorzystaniem wzorca redux i implementacji angular 2+ oraz ngrx. Prezentacja ze szkolenia przeznaczonego dla programist坦w angular1.
Allegro Tech Talks Pozna #4: Jak przyspieszy SOLRa w kilku prostych krokach. allegro.tech
油
40 milion坦w wyszukiwa dziennie, setki tysicy uaktualizacji indeksu czyni z Allegro.pl drug co do wielkoci wyszukiwark w Polsce. Nie wszyscy wiedz, 甜e g坦wn wyszukiwark ofertow w Allegro.pl napdza Apache SOLR. Opowiemy o naszych dowiadczeniach z optymalizacj zapyta do SOLRa, o tym jak udao nam si znacznie zmniejszy czasy odpowiedzi i zwikszy stabilno dziaania naszego searcha. W czasie prezentacji poruszymy kwestie zwizane z tworzeniem schematu, wykorzystaniem odpowiednich typ坦w danych, wykorzystania cachea, efektywnego filtrowania i innych optymalizacji, kt坦re udao nam si wdro甜y z sukcesem.
Wygoszono w trakcie czwartej edycji Allegro Tech Talks w Poznaniu.
Adam Dudczak - Starszy programista w Grupie Allegro, pracuje z Jav i technologiami powizanymi od 2004 roku. Na codzie pracuje nad wyszukiwark allegro.pl. Jeden z lider坦w Pozna JUG (http://www.jug.poznan.pl) i wsp坦organizator konferencji GeeCON (http://geecon.org).
Przemysaw Szeremiota - Starszy programista w Grupie Allegro od 2008. Zaczyna prac w zespole wydajnoci programujc w C/C++, prze甜y fascynacj Javascriptem i zazna Javy, obecnie doskonale czuje si pywajc w mieszance Basha i JQ. W wolnych chwilach przetumaczy ponad 70 ksi甜ek technicznych.
W ostatnich latach TypeScript bez wtpienia coraz czciej staje si standardowym narzdziem w JavaScriptowych rodowiskach. Pomaga wyapa wiele bd坦w nim aplikacja zostanie uruchomiona, ale niestety samo jego u甜ycie w projekcie nie jest panaceum na wszystkie tego typu bdy. Dlatego te甜 podczas prezentacji przyjrzymy si technikom, kt坦re pozwalaj zaprojektowa kod, kt坦ry prowadzi programist坦w za rczk do wiata w kt坦rym bdy w trybie runtime s rzadkoci.
Jeste frontendowcem i masz zamiar pisa w Nodzie? A mo甜e wczeniej pisae w PHP? Ta prezentacja pomo甜e ci zrozumie podstawowe reguy rzdzce wiatem Node'a, jak i nadrobi zalegoci. Przygotuj si na pozytywnego kopniaka!
4Developers 2015: Orleans - aplikacje, kt坦re skaluj i dystrybuuj si same -...PROIDEA
油
Krzysztof Suszka
Language: Polish
Du甜a dostpno chmur spowodowaa, 甜e tworzenie olbrzymich, skalowalnych system坦w stao si dostpne dla ka甜dego. Jednak sama chmura nie rozwizuje wszystkich problem坦w. Nadal trzeba wo甜y sporo wysiku w tak konstrukcj systemu, kt坦ra pozwoli z tej chmury efektywnie korzysta. Orleans jest eksperymentaln platform, kt坦ra pr坦buje odnie si do tego problemu, zrzucajc z programisty obowizek mylenia o fizycznej dystrybucji element坦w aplikacji. Orleans dostarcza API zbudowane w oparciu o sprawdzony Actor Model. W czasie prelekcji przedstawione zostan podstawowe mechanizmy dziaania tej platformy oraz prosty przykad pokazujcy fragment jej mo甜liwoci.
Pawe Kucharski: Oswajamy Sonia czyli po co nam HadoopAnalyticsConf
油
Wprowadzenie do Apache Hadoop i ekosystemu projekt坦w z nim powizanych w oparciu o nasze dowiadczenia przechodzenia na Hadoop'a z tradycynego SQLa. Opowiem czym jest Hadoop i czym r坦zni si od relacyjnych baz danych, dlaczego zdecydowalimy si na Hadoop'a, co zyskalismy i jakie problemy napotkalismy pracujc z Hadoop'em.
Nowe, pot甜ne narzdzia do tworzenia stron internetowych pojawiaj si niemal codziennie. My w zespole postanowilimy jednak cofn si o krok i postawi na to co proste, ale u甜yteczne. Efekt? Korzyci dla zespou i dla klienta. Podczas prezentacji opowiem o tym, co zyskalimy oraz wprowadz suchaczy w wiat Hugo nowoczesnego generatora stron statycznych.
infoShare AI Roadshow 2018 - Magdalena W坦jcik (Data Love) - Data Science na d...Infoshare
油
"Od czasu kiedy kupiam sobie Fitbita, jestem zafascynowana ile przydatnych informacji o moim zdrowiu i 甜yciu dostarcza. Nie byabym sob, gdybym pozostaa tylko przy informacjach z algorytm坦w appki producenta. Musiaam cign dane 添r坦dowe i sprawdzi z czym jeszcze koreluj m坦j sen i ttno. W ramach prezentacji poka甜 hands-on analiz danych z trackera aktywnoci Fitbit w jzyku Python - tak, 甜eby ka甜dy m坦g p坦添niej przeanalizowa dane o swoim zdrowiu."
Webpack - Czym jest webpack i dlaczego chcesz go u甜ywa? - wersja kr坦tkaMarcin Gajda
油
Narzdzia takie jak Grunt i Gulp s coraz czciej wypierane z u甜ycia przez swojego nastpce, webpacka. Wynika to z prostego powodu w kwestii pakowania asset坦w rozwizuje on domylnie wiele problem坦w, z kt坦rymi tamte narzdzia radz sobie gorzej. Ta prezentacja omawia te zagadnienia i pokazuje jak skonfigurowa webpacka od zera.
Codepot - Pig i Hive: szybkie wprowadzenie / Pig and Hive crash courseSages
油
Szybkie wprowadzenie do technologii Pig i Hive z ekosystemu Hadoop. Prezentacja wykonana w ramach warsztat坦w Codepot w dniu 29.08.2015. Prezentacja wykonana przez Radosawa Stankiewicza oraz Bartomieja Tartanusa.
Wprowadzenie do technologii Big Data / Intro to Big Data EcosystemSages
油
Introduction to Hadoop Map Reduce, Pig, Hive and Ambari technologies.
Workshop deck prepared and presented on September 5th 2015 by Radosaw Stankiewicz.
During that the day participants had also the possibility to go through prepared tutorials and test their analysis on real cluster.
Wprowadzenie do technologi Big Data i Apache HadoopSages
油
The document introduces concepts related to Big Data technology including volume, variety, and velocity of data. It discusses Hadoop architecture including HDFS, MapReduce, YARN, and the Hadoop ecosystem. Examples are provided of common Big Data problems and how they can be solved using Hadoop frameworks like Pig, Hive, and Ambari.
Vert.x v3 - high performance polyglot application toolkitSages
油
Vert.x is a polyglot application toolkit for building reactive applications on the JVM. It is designed for developing asynchronous and event-driven applications with non-blocking code using a lightweight and fast thread pool. Vert.x allows building distributed applications by deploying Verticles across multiple nodes that communicate via a distributed event bus.
This is my presentation about Red Gate SQL Doc that I have presented on one of the meatings of Lodzka Grupa Profesjonalistow IT & .NET. Presentation in Polish.
Jak nie narobi sobie problem坦w korzystajc z EntityFrameworkHighWheelSoftware
油
Dziki ORM teoretycznie nie musimy przejmowa si tym, jak budowa zapytania SQL. Niestety z niekt坦rymi konstrukcjami te biblioteki radz sobie sabo. Przedstawi przykady zapyta w EF, kt坦re doprowadziy do nieoczekiwanego kodu SQL, oraz jak mo甜na je zapisa lepiej. Poka甜 te甜 kilka puapek specyfiki jzyka SQL, kt坦ry zachowuje si inaczej ni甜 intuicja (programisty .NET) podpowiada.
ukasz Grala - WSKIZ 2009-04-07 It Academic - SQL Server 2008 - Nowoci Adm...ukasz Grala
油
ukasz Grala - SQL Server 2008 - Nowoci administracyjne.
Prezentacja z konferencji IT Academic Day organizowanej w Wy甜szej Szkole Komunikacji Zarzdzania w Poznaniu
PLNOG22 - Piotr Stolarek - Bezpieczestwo u甜ytkowania platform usugowych Tel...PROIDEA
油
Prelekcja poprzez szybkie nakrelenie architektury platformy Openshift omawia rozwizania wykorzystane do zabezpieczenia aplikacji dziaajcych na kontenerach zarzdzanych przez sam platform. Podczas ich opisu szczeg坦lna uwaga zwracana jest na zagadnienia zwizane z ruchem sieciowym, kt坦re mog mie istotne znaczenie przy osadzaniu na niej aplikacji usugowych bran甜y telekomunikacyjnej. 1. Wprowadzenie do architektury sieciowej platformy Openshift 2. Wyjanienie poprzez jakie mechanizmy architektura Openshift zapewnia bezpieczestwo oraz integralno aplikacji na niej osadzonych a) separacja na poziomie sieciowym b) separacja na poziomie dostpu do zasob坦w systemowych oraz dyskowych 3. Sposoby kontroli oraz zabezpiecze ruchu sieciowego pomidzy aplikacjami osadzonymi na kontenerach (Istio/Service mesh)
7. Node Packaged
Modules
system zarzdzania zale甜nociami dla油
server-side js
zale甜noci opisywane w油pliku package.json
npm install - instaluje pakiety, kt坦rych
jeszcze nie ma w projekcie
npm update - sprawdza, czy istniej nowsze
wersje pakiet坦w + instaluje
npm install nazwa-pakietu save-dev
- instaluje pakiet, dodaje go do package.json
8. Bower
npm install -g bower
zarzdzanie zale甜nociami dla油client-side js
zale甜noci opisywane w bower.json
bower install - instaluje pakiety, kt坦rych jeszcze
nie ma w projekcie
bower update - sprawdza, czy istniej nowsze
wersje pakiet坦w + instaluje
bower install nazwa-pakietu --save
- instaluje pakiet, dodaje go do bower.json
pakiety instalowane s do katalogu
/bower_components/nazwa-pakietu/
- stamtd nale甜y je linkowa w plikach html
11. Moduy, struktura aplikacji
Moduy wskazuj na zale甜noci od zewntrznych bibliotek
Moduy nie separuj zawieranych komponent坦w
(namespaces)
Poszczeg坦lne fragmenty aplikacji jako moduy,
o hierarchii odzwierciedlonej w strukturze katalog坦w
Form Follows Function
OPINIA
18. Usugi
Miejsce na logik biznesow
Metody pomocnicze,
powtarzalny kod
Wsp坦dzielone dane / model
Po co? Jak?
.constant(
.value(
.service(
.factory(
.provider(
usugi wbudowane: https://docs.angularjs.org/api/ng/service
33. Co dalej?
wicej na temat organizacji kodu i innych dobrych praktyk:
https://github.com/toddmotto/angularjs-styleguide
https://github.com/johnpapa/angularjs-styleguide
34. Co dalej?
Regularne szkolenia w grupach 4-8 os坦b
Wicej materiau
Wicej case坦w
Wicej elastycznoci i czasu
Wicej lunchy :)