際際滷

際際滷Share a Scribd company logo

Zero, One, Many - Machine Learning in Produzione (Luca Palmieri)

MeetupDataScienceRoma
MeetupDataScienceRoma

Talk dal Meetup del Machine Learning / Data Science Meetup di Roma - Giugno 2019: https://www.meetup.com/it-IT/Machine-Learning-Data-Science-Meetup/events/262120815/

1 of 24
Download to read offline
Zero, One, Many Machine Learning in Produzione Luca Palmieri @algo_luca / LukeMathWalker
Gartners Hype Cycle
Ieri
Ieri
Oggi
Domani? Come facciamo il salto da Slope of enlightenment a Plateau of productivity?
Production Lambiente di produzione 竪 dove gli utenti 鍖nali possono interagire ed utilizzare un prodotto.
Production Lambiente di produzione 竪 dove si genera valore.
Production - Zero to One Problem de鍖nition Training Testing Production
Il deployment ha avuto successo? Production - Zero to One
Quali sono le prestazioni del modello in produzione? Le prestazioni sono costanti nel tempo o peggiorano progressivamente? Quali sono i data points pi湛 ostici per il modello? Quanto tempo ci vuole per generare una predizione? Quanta potenza di calcolo e necessaria per servire la nostra utenza? Cosa succede se c竪 un picco di tra鍖co? [...] Production - Zero to One
Production - One to Many Nessun prodotto nasce perfetto.
Production - One to Many Se la prima versione ha successo, gli utenti chiederanno una nuova versione con pi湛 funzionalit o meno difetti. Se la prima versione e un fallimento, faremo un nuovo tentativo, provando una strada diversa.
Production - One to Many Problem de鍖nition Training Testing Production
Il ML lifecycle si scontra con gli stessi ostacoli del Software lifecycle. Referenze: Accelerate: The Science of Lean Software and Devops Production - One to Many
MLOps MLOps (machine learning + operationalization) is the practice of operationalizing and managing the lifecycle of ML in production. Source: www.mlops.org
Le s鍖de: Reproducibility Change management Observability MLOps
Code: git, mercurial (or ?) Environment: virtual machines, Docker Data Referenze: I dont like notebooks (Joel Grus / JupyterCon 2018) If not notebooks, then what? (Joel Grus / AAAI 2019) Demystifying Docker for Data Scientists (Microsoft) Reproducibility
Le prestazioni in fase di testing sono predittive delle prestazioni in produzione? A parit di prestazioni, quali sono le di鍖erenze tra il vecchio e il nuovo modello? Come viene rilasciato il nuovo modello? Referenze: Machine Learning: The High Interest Credit Card of Technical Debt (Google AI / 2014) Machine Learning Logistics (MapR) Change management
Quali sono le failure modes di un modello di ML? Quali metriche vanno monitorate per intervenire in modo tempestivo? Referenze: Instrumentation, Observability & Monitoring of Machine Learning Models (Josh Willis / InfoQ 2019) Observability
MLOps 竪 ancora agli esordi. Moltissime domande restano ancora senza risposta. Molti strumenti devono ancora essere sviluppati. In conclusione
In un mondo in cui tutti hanno adottato il Machine Learning, la capacit di esecuzione diventa un vantaggio competitivo. In conclusione
Question time! Luca Palmieri @algo_luca / LukeMathWalker
Luca Palmieri lpalmieri@truelayer.com Funding: $35 milioni (Maggio 2019 / Serie C) Nuovo u鍖cio in Italia (Roma/MIlano) [Settembre/Ottobre 2019] Accettiamo candidature! [ www.truelayer.workable.com ] - Machine Learning Engineer - Software Engineer - Product Manager

More Related Content

Zero, One, Many - Machine Learning in Produzione (Luca Palmieri)

  • 1. Zero, One, Many Machine Learning in Produzione Luca Palmieri @algo_luca / LukeMathWalker
  • 6. Domani? Come facciamo il salto da Slope of enlightenment a Plateau of productivity?
  • 7. Production Lambiente di produzione 竪 dove gli utenti 鍖nali possono interagire ed utilizzare un prodotto.
  • 8. Production Lambiente di produzione 竪 dove si genera valore.
  • 9. Production - Zero to One Problem de鍖nition Training Testing Production
  • 10. Il deployment ha avuto successo? Production - Zero to One
  • 11. Quali sono le prestazioni del modello in produzione? Le prestazioni sono costanti nel tempo o peggiorano progressivamente? Quali sono i data points pi湛 ostici per il modello? Quanto tempo ci vuole per generare una predizione? Quanta potenza di calcolo e necessaria per servire la nostra utenza? Cosa succede se c竪 un picco di tra鍖co? [...] Production - Zero to One
  • 12. Production - One to Many Nessun prodotto nasce perfetto.
  • 13. Production - One to Many Se la prima versione ha successo, gli utenti chiederanno una nuova versione con pi湛 funzionalit o meno difetti. Se la prima versione e un fallimento, faremo un nuovo tentativo, provando una strada diversa.
  • 14. Production - One to Many Problem de鍖nition Training Testing Production
  • 15. Il ML lifecycle si scontra con gli stessi ostacoli del Software lifecycle. Referenze: Accelerate: The Science of Lean Software and Devops Production - One to Many
  • 16. MLOps MLOps (machine learning + operationalization) is the practice of operationalizing and managing the lifecycle of ML in production. Source: www.mlops.org
  • 17. Le s鍖de: Reproducibility Change management Observability MLOps
  • 18. Code: git, mercurial (or ?) Environment: virtual machines, Docker Data Referenze: I dont like notebooks (Joel Grus / JupyterCon 2018) If not notebooks, then what? (Joel Grus / AAAI 2019) Demystifying Docker for Data Scientists (Microsoft) Reproducibility
  • 19. Le prestazioni in fase di testing sono predittive delle prestazioni in produzione? A parit di prestazioni, quali sono le di鍖erenze tra il vecchio e il nuovo modello? Come viene rilasciato il nuovo modello? Referenze: Machine Learning: The High Interest Credit Card of Technical Debt (Google AI / 2014) Machine Learning Logistics (MapR) Change management
  • 20. Quali sono le failure modes di un modello di ML? Quali metriche vanno monitorate per intervenire in modo tempestivo? Referenze: Instrumentation, Observability & Monitoring of Machine Learning Models (Josh Willis / InfoQ 2019) Observability
  • 21. MLOps 竪 ancora agli esordi. Moltissime domande restano ancora senza risposta. Molti strumenti devono ancora essere sviluppati. In conclusione
  • 22. In un mondo in cui tutti hanno adottato il Machine Learning, la capacit di esecuzione diventa un vantaggio competitivo. In conclusione
  • 24. Luca Palmieri lpalmieri@truelayer.com Funding: $35 milioni (Maggio 2019 / Serie C) Nuovo u鍖cio in Italia (Roma/MIlano) [Settembre/Ottobre 2019] Accettiamo candidature! [ www.truelayer.workable.com ] - Machine Learning Engineer - Software Engineer - Product Manager