Visual recognition voor erfgoedcollecties:
0 likes784 views
Beeldherkenning voor erfgoed collecties: presentatie Informatie aan Zee 2019
Visual recognition voor erfgoedcollecties:
- 1. ./DATABLE./DATABLE VR4CH Arti鍖ci谷le Intelligentie voor Cultureel Erfgoed: het gebruik van Visual Recognition Services Informatie aan Zee 20 september 2019 Dieter Suls (MoMu) - Henk Vanstappen (Datable)
- 2. ./DATABLE./DATABLE Visual Recognition? Innovatief partnerproject: VR4CH Ontwikkelingsgericht erfgoedproject: VRS
- 4. ./DATABLE
- 6. ./DATABLE advertising 99.8 black&white 99.9 children 98.0 play 95.3
- 7. ./DATABLE advertising 99.8 black&white 99.9 children 98.0 play 95.3
- 8. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 children 98.0 play 95.3
- 9. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 children 98.0 play 95.3 age 12 95.3 age 11 98.3
- 10. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 emotion: happy 86.3 children 98.0 play 95.3 age 12 95.3 age 11 98.3 emotion: happy 84.2
- 11. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 emotion: happy 86.3 children 98.0 play 95.3 age 12 95.3 age 11 98.3
- 12. ./DATABLE
- 13. ./DATABLE Visual recognition: toepassingen bewaking en toegangscontrole medische beeldverwerking navigatie (zelfsturende voertuigen) productieprocessen landbouw suitable for web ...
- 15. ./DATABLE VRS out of the box Training/test data Feature extraction Model Classifier Classified data Production data Evaluation REST API VRS
- 17. ./DATABLE
- 19. ./DATABLE./DATABLE Visual Recognition Services + no/low coding + cloud based + documentatie +/- kost +/- out of the box training - blackbox
- 20. ./DATABLE./DATABLE VR4CH - Visual Recognition for Cultural Heritage Innovatieve partnerprojecten call 2018
- 21. ./DATABLE VR4CH: onderzoeksvraag Zijn Visual Recognition Services bruikbaar voor metadata creatie in de cultureel erfgoedsector ? Wat is de kwaliteit van untrained VRS ? Is de kwaliteit van VRS meetbaar ? Mogelijke toepassingen ?
- 24. ./DATABLE
- 28. RESULTATEN Resultaten: Nastasia Vanderperren, onderzoek classificatie Huis van Alijn (Clarifai trained model)
- 29. ./DATABLE./DATABLE VR4CH: conclusies + sneller, goedkoper + andere soorten trefwoorden + veel nieuwe toepassingen mogelijk - veel ruis - niet even geschikt voor alle beeldmateriaal - vervangt menselijke registrator niet (helemaal)
- 30. ./DATABLE./DATABLE VRS - Operationalisering van beeldherkenning in de registratiepraktijk Projectsubsidie Cultureel erfgoedwerking
- 31. ./DATABLE./DATABLE VRS: onderzoeksvraag Hoe kan VRS praktisch ingezet worden in de registratiepraktijk? 4 use cases 4 content partners end-to-end oplossing
- 32. ./DATABLE
- 33. ./DATABLE Erfgoedcel Brugge Collectie Beeldbank Brugge Doel Meer fotos volgens bestaande categorie谷n beschikbaar maken Methode - Tagging door Clarifai - Tags manueel aan Categorie谷n toegekend - Classificatie van fotos in post-processing - Verwerkt tot CSV Resultaat 100.000 fotos geclassificeerd >95% correct
- 34. ./DATABLE
- 35. ./DATABLE
- 36. ./DATABLE
- 37. ./DATABLE FOMU Collectie Suzy Embo: post-Cobra beweging Doel Personen doorzoekbaar (face recognition) Methode - Cropping en grouping faces (Python) - Training Microsoft Vision model - Tagging beeldcollectie - Verwerking tags tot Adlib import file Resultaat XXX fotos geclassificeerd ? % correct
- 38. ./DATABLE
- 39. ./DATABLE
- 40. ./DATABLE
- 41. ./DATABLE MOMU Collectie Documentair beeldmateriaal Doel Beelden filteren of sorteren op kwaliteit Methode - Harvesting beelden uit ResourceSpace - Kwalificatie door Everypixel - verwerking tot CSV met score 0-5 - import CSV in DAMS Resultaat 5558 fotos gelabeld redelijk correct
- 42. ./DATABLE
- 43. ./DATABLE
- 44. ./DATABLE Netwerk oorlogsbronnen Collectie Arolsen archives: archief van gedeporteerden WOII Doel Verschillende types formulieren classificeren Methode - Webscraping beeldarchief - Model getrained met Clarifai GUI, - Classificatie met Clarifai API, - Verwerkt tot CSV + import Resultaat Classificatie van 125.474 formulieren in 4 types (100% correct)
- 46. ./DATABLE Conclusies toegankelijke, betaalbare technologie kwaliteit training vaak meerwaarde minder geschikt voor gra鍖sch beeldmateriaal model afstemmen op use case mens vs. machine afhankelijk van eisen vangst/precisie ef鍖ci谷nter voor grote volumes mens & machine
- 47. ./DATABLE Conclusies: meer use cases ontsluiten op collectieniveau onderscheiden beeldtype (foto, tekening, tekst) voorbereiden collectieregistratie combinatie crowdtagging herkennen landmarks tags omzetten naar Linked Data ...
- 48. ./DATABLE./DATABLE dank aan Alexander Derveaux (FOMU) Ann Deckers (FOMU) Dieter Suls (MOMU) Katrien Steelandt (EGC Brugge) Lizzy Jongma (NOB) Michiel Demaeght (FOMU) Nastasia Vanderperren (PACKED) Tobias Hendrickx (MOMU)
- 50. ./DATABLE VR4CH/VRS technology stack tranining & classification Clarifai/Azure/GVision data processing KNIME data MongoDB validation Google Sheets images webserver image & metadata Omeka/Picturae/ ResourceSpace metadata Adlib/TMS CSV/XML FTP viewer javascript FTP