際際滷

際際滷Share a Scribd company logo

Scanning on demand Stadsarchief Amsterdam

Download as PPT, PDF
Marc Holtman
Marc Holtman

Presentatie gehouden op studiedag digitaliseren van archief. VVBAD, Leuven, 28 april 2011.

1 of 33
Download to read offline
U vraagt Digitaliseren op aanvraag van de klant, principes, en werkproces Wij Scannen Leuven 28 april 2011
U vraagt Wij scannen Leuven 28 april 2011 Scanning op verzoek van de klant, principes Uitgangspunten, workflow en praktische zaken
Leuven 28 april 2011 2009 2010 2008 2007 17.958 2006 25.014 2002 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
Leuven 28 april 2011 2009 2010 2008 2007 512.592 17.958 2006 224.050 25.014 2002 40.048 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
Leuven 28 april 2011 106.000 2009 125.000 2010 118.312 2008 92.678 2007 512.592 17.958 2006 224.050 25.014 2002 40.048 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
Leuven 28 april 2011 531.143 106.000 2009 710.453 125.000 2010 538.483 118.312 2008 520.483 92.678 2007 512.592 17.958 2006 224.050 25.014 2002 40.048 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
De tijd dat digitalisering een optie was is voorbij. Het aantal gebruikers van de website stijgt sterk. Maar ook de verwachting dat de stukken online te raadplegen zijn. We want to use the internet to facilitate historical research; Everybody should be able to use all archival collections at home 24/7 Leuven 28 april 2011
V. Hoe lang duurt het om alles te digitaliseren 1 meter = 7.000 scans Productie = 10.000 scans per week A. 431 jaar V. Hoeveel scans levert digitalisering van 32 kilometer archief A. 224.000.000 scans Leuven 28 april 2011
Lage incidentele en structurele kosten U vraagt Leuven 28 april 2011 Als we er voor kunnen zorgen dat Alle inventarisnummers voor digitalisering kunnen worden aangevraagd De levertijd kort blijft De kosten voor de gebruiker laag blijven Dan kunnen we stellen dat we geen achterstand in digitalisering hebben, en dat de doelstelling dat alle inventarisnummers voor onderzoek digitaal beschikbaar zijn is gehaald Noodzakelijk:
U vraagt Leuven 28 april 2011 Lage incidentele kosten Kwaliteitsnorm is leesbaarheid Effici谷nt ingericht werkproces Grootschalige aanpak: contstante productie Lage structurele kosten Opslagkosten beperken: formaat is JPEG Scanning is uitbesteed Interne werkzaamheden digitalisering onderbrengen in lijntaken
Naast digitalisering op aanvraag ook digitalisering op basis van Wij scannen Leuven 28 april 2011 Digitalisering bij het Stadsarchief Amsterdam Subsidies (vaak voor specifieke onderwerpen, zoals WWII) Selecties beeldmateriaal voor de Beeldbank Samenwerking met Amsterdamse diensten en bedrijven
Projecten met verschillende doelstellingen, documenttypen, leveranciers Gestroonlijnd, efficient ingericht werkproces is voorwaarde voor grootschalig digitaliseren Beschikbare richtlijnen en best practices houden vaak onvoldoende rekeningen met deze complexe factoren bij grootschalig werken We hebben een werkproces ingericht waarin standaardisatie en grootschaligheid uitganspunten zijn Alle projecten digitalisering volgen dit proces Ontwikkeling van het werkproces Leuven 28 april 2011 Wij scannen
De volgende voorwaarden en uitgangspunten zijn het aan proces gesteld Uitgangspunten Leuven 28 april 2011 Wij scannen Volledige inventarisnummers worden gedigitaliseerd Proces wordt zoveel mogelijk gekoppeld aan de SAA beheeromgeving Proces wordt ondersteund met een (te ontwikkelen) workflow tool Uitgaan van bestaande metadata
Alle openbare inventarisnrs kunnen voor digitalisering worden aangevraagd Eenvoudig: klik op digitaliseren Productie van 15.000 scans op wekelijkse basis 1. Aanvragen voor digitalisering Leuven 28 april 2011 Wij scannen
Digitalisering start vanuit de technische beheeromgeving Elke eenheid krijgt een ordernummer Functies ordernummer Alle te digitaliseren eenheden krijgen een orderbon 2. Uitgifte ordernummers Leuven 28 april 2011 Communicatie digitaliseerder Scanning Toekennen bestandsnamen Registratie bestandsnamen Facturering door digitaliseerder Wij scannen
Digitalisering start vanuit de technische beheeromgeving Elke eenheid krijgt een ordernummer Functies ordernummer Alle te digitaliseren eenheden krijgen een orderbon 2. Uitgifte ordernummers Leuven 28 april 2011 Communicatie digitaliseerder Scanning Toekennen bestandsnamen Registratie bestandsnamen Facturering door digitaliseerder Wij scannen
Vanuit het workflowsysteem worden ophaal- en terugzetlijsten gegenereerd Op basis hiervan worden originelen uit de depots verzameld Wij scannen 3. Logistiek: ophalen en terugbrengen van originelen Leuven 28 april 2011
Leuven 28 april 2011 Speciale werkruimte Beoordeling originelen, transport voorbereiding Wij scannen 4. Beoordelen van de originelen
Leuven 28 april 2011 Informatie in de beheersystemen is niet altijd volledig Aanvragen van inventarisnummer die in een van deze categorien vallen worden niet honoreerd B. Materiaal Daarom vindt standaard een globale check plaats A. Inhoud Wij scannen 4. Beoordelen van de originelen Copyright Openbaarheid Privacy Beoordeling kwetsbaarheid originelen / risico op beschadiging bij transport of digitalisering in standaard set-up.
Leuven 28 april 2011 Informatie in de beheersystemen is niet altijd volledig Aanvragen van inventarisnummer die in een van deze categorien vallen worden niet honoreerd B. Materiaal Daarom vindt standaard een globale check plaats A. Inhoud Wij scannen 4. Beoordelen van de originelen Copyright Openbaarheid Privacy Beoordeling kwetsbaarheid originelen / risico op beschadiging bij transport of digitalisering in standaard set-up.
Materiele voorbereiding is minimaal Wij scannen 4. Beoordelen van de originelen Leuven 28 april 2011 Nietjes worden verwijderd Kleine reparaties worden uitgevoerd door medewerkers conservering De volgorde van de originelen wordt niet gecontroleerd of gewijzigd Wij doen Wij doen niet De originelen worden niet genummerd
Maar dan mogen er geen fouten worden gemaakt bij het nummeren Nummeren van de originelen heeft een groot voordeel: Wij scannen De originelen worden niet genummerd Leuven 28 april 2011 De volledigheid van de scans (tov de originelen) kan worden gegarandeerd Dubbel nummers toekennen leidt tot onlogische aantallen (100 scans, maar laatse paginanr is 99) Experimenten met nummering hebben geleerd dat foutloos nummeren niet haalbaar is. Een nummer overgeslagen leidt al snel tot de conclusie dat een scan ontbreekt (wat niet zo is)
Transport vindt plaatst in speciale, afsluitbare karren Wij scannen 5. Transport Leuven 28 april 2011
Er mag geen twijfel bestaan over wat die bestandsnaam moet zijn Na scanning moeten de juiste bestandsnamen worden toegekend Anders moeten bestandsnamen gewijzigd bij mutatie op deze informatie Uitgangspunt: bestandsnamen bevatten geen inhoudelijke, veranderlijke informatie Wij scannen 6. / 7. Scanning en toekenning bestandsnamen Leuven 28 april 2011 Bestandsnamen vormen de sleutel tussen scan en metadata
Bestandsnaamtoekenning Stadsarchief Amsterdam Leuven 28 april 2011 Aanvraag digitalisering Beheersystemen First 6#: ordernr Last 6#: serial nr Orderbon Filename Scanning A20758000001 A20758000002 A20758000003 Range A20758000001 A20758999999 Archief 195 Inv Nr 836 Order: A20758 A20758000004 A20758000005 Scanrapport A20758000001 A20758000002 A20758000003 A20758000004 A20758000005 12 digits Registratie bestandsnamen Import
Samenwerking met leverancier: focus op PROCES Scans en metadata worden op gerichtte, efficiente wijze gecontroleerd Waar mogelijk zijn controles geautomatiseerd 10. 11. Controle van scans en metadata Basic checks Wij scannen Leuven 28 april 2011 Check Methode Virussen Virus checker Data integriteit MD-5 checksumvergelijking Validiteit bestandsformaat Jhove Kwaliteit scans Check referentie scans Visuele check productiescans Volledigheid Afhankelijk van project Bestandsnamen Script
Na import is de order voor digitalisering afgerond Na goekeuring worden alle scans en metadata (bestandsnamen) in de beheersystemen geimporteerd Imports vinden geautomatiseerd plaats, op basis van scripts en standaard protocollen 13. 14. Importeren van scans en metadata in de beheersystemen Wij scannen Leuven 28 april 2011
Na import worden de metadata geoptimaliseerd voor het zoeksysteem Uitwisseling van inventarissen vindt plaats mbv EAD Lokatie onafhankelijk, direct via het CMS van de website De website wordt gehost op een externe lokatie Metadata worden geupload via standaard HTTP protocol 18. Import metadata in de website Wij scannen Leuven 28 april 2011
Na import worden afgeleiden gemaakt De scans worden via harddisk of FTP upload in de website geimporteerd Een aantal basis checks wordt uitgevoerd 17. Import scans in the website Wij scannen Leuven 28 april 2011
Leuven 28 april 2011 De aanvrager kan besluiten wel of niet te kopen Zogauw scans en metadata geimporteerd zijn krijg te klant geautomatiseerd een email De mail bevat een link naar het gedigitaliseerde inventarisnr in de website Aanvraag geleverd! De gelukkige klant: Wij scannen
Leuven 28 april 2011 De aanvrager kan besluiten wel of niet te kopen Zogauw scans en metadata geimporteerd zijn krijg te klant geautomatiseerd een email De mail bevat een link naar het gedigitaliseerde inventarisnr in de website Aanvraag geleverd! De gelukkige klant: Wij scannen
Weekproductie Productieschema Maandag Dinsdag Woensdag Donderdag Vrijdag Ophalen originelen Beoordelen originelen Transport Uitgifte order nummers Controles Afronding aanvragen Einde, online Originelen terugzetten Imports metadata en scans Exports Start imports in website Zat / zon Verwerken scans en metadata in website Selecteren nieuwe aanvragen Leuven 28 april 2011
Marc Holtman [email_address] Leuven 28 april 2011

More Related Content

Scanning on demand Stadsarchief Amsterdam

  • 1. U vraagt Digitaliseren op aanvraag van de klant, principes, en werkproces Wij Scannen Leuven 28 april 2011
  • 2. U vraagt Wij scannen Leuven 28 april 2011 Scanning op verzoek van de klant, principes Uitgangspunten, workflow en praktische zaken
  • 3. Leuven 28 april 2011 2009 2010 2008 2007 17.958 2006 25.014 2002 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
  • 4. Leuven 28 april 2011 2009 2010 2008 2007 512.592 17.958 2006 224.050 25.014 2002 40.048 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
  • 5. Leuven 28 april 2011 106.000 2009 125.000 2010 118.312 2008 92.678 2007 512.592 17.958 2006 224.050 25.014 2002 40.048 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
  • 6. Leuven 28 april 2011 531.143 106.000 2009 710.453 125.000 2010 538.483 118.312 2008 520.483 92.678 2007 512.592 17.958 2006 224.050 25.014 2002 40.048 26.598 1998 27.738 1992 29.788 1988 24.027 1982 Website Reading rooms Year Visitors
  • 7. De tijd dat digitalisering een optie was is voorbij. Het aantal gebruikers van de website stijgt sterk. Maar ook de verwachting dat de stukken online te raadplegen zijn. We want to use the internet to facilitate historical research; Everybody should be able to use all archival collections at home 24/7 Leuven 28 april 2011
  • 8. V. Hoe lang duurt het om alles te digitaliseren 1 meter = 7.000 scans Productie = 10.000 scans per week A. 431 jaar V. Hoeveel scans levert digitalisering van 32 kilometer archief A. 224.000.000 scans Leuven 28 april 2011
  • 9. Lage incidentele en structurele kosten U vraagt Leuven 28 april 2011 Als we er voor kunnen zorgen dat Alle inventarisnummers voor digitalisering kunnen worden aangevraagd De levertijd kort blijft De kosten voor de gebruiker laag blijven Dan kunnen we stellen dat we geen achterstand in digitalisering hebben, en dat de doelstelling dat alle inventarisnummers voor onderzoek digitaal beschikbaar zijn is gehaald Noodzakelijk:
  • 10. U vraagt Leuven 28 april 2011 Lage incidentele kosten Kwaliteitsnorm is leesbaarheid Effici谷nt ingericht werkproces Grootschalige aanpak: contstante productie Lage structurele kosten Opslagkosten beperken: formaat is JPEG Scanning is uitbesteed Interne werkzaamheden digitalisering onderbrengen in lijntaken
  • 11. Naast digitalisering op aanvraag ook digitalisering op basis van Wij scannen Leuven 28 april 2011 Digitalisering bij het Stadsarchief Amsterdam Subsidies (vaak voor specifieke onderwerpen, zoals WWII) Selecties beeldmateriaal voor de Beeldbank Samenwerking met Amsterdamse diensten en bedrijven
  • 12. Projecten met verschillende doelstellingen, documenttypen, leveranciers Gestroonlijnd, efficient ingericht werkproces is voorwaarde voor grootschalig digitaliseren Beschikbare richtlijnen en best practices houden vaak onvoldoende rekeningen met deze complexe factoren bij grootschalig werken We hebben een werkproces ingericht waarin standaardisatie en grootschaligheid uitganspunten zijn Alle projecten digitalisering volgen dit proces Ontwikkeling van het werkproces Leuven 28 april 2011 Wij scannen
  • 13. De volgende voorwaarden en uitgangspunten zijn het aan proces gesteld Uitgangspunten Leuven 28 april 2011 Wij scannen Volledige inventarisnummers worden gedigitaliseerd Proces wordt zoveel mogelijk gekoppeld aan de SAA beheeromgeving Proces wordt ondersteund met een (te ontwikkelen) workflow tool Uitgaan van bestaande metadata
  • 14. Alle openbare inventarisnrs kunnen voor digitalisering worden aangevraagd Eenvoudig: klik op digitaliseren Productie van 15.000 scans op wekelijkse basis 1. Aanvragen voor digitalisering Leuven 28 april 2011 Wij scannen
  • 15. Digitalisering start vanuit de technische beheeromgeving Elke eenheid krijgt een ordernummer Functies ordernummer Alle te digitaliseren eenheden krijgen een orderbon 2. Uitgifte ordernummers Leuven 28 april 2011 Communicatie digitaliseerder Scanning Toekennen bestandsnamen Registratie bestandsnamen Facturering door digitaliseerder Wij scannen
  • 16. Digitalisering start vanuit de technische beheeromgeving Elke eenheid krijgt een ordernummer Functies ordernummer Alle te digitaliseren eenheden krijgen een orderbon 2. Uitgifte ordernummers Leuven 28 april 2011 Communicatie digitaliseerder Scanning Toekennen bestandsnamen Registratie bestandsnamen Facturering door digitaliseerder Wij scannen
  • 17. Vanuit het workflowsysteem worden ophaal- en terugzetlijsten gegenereerd Op basis hiervan worden originelen uit de depots verzameld Wij scannen 3. Logistiek: ophalen en terugbrengen van originelen Leuven 28 april 2011
  • 18. Leuven 28 april 2011 Speciale werkruimte Beoordeling originelen, transport voorbereiding Wij scannen 4. Beoordelen van de originelen
  • 19. Leuven 28 april 2011 Informatie in de beheersystemen is niet altijd volledig Aanvragen van inventarisnummer die in een van deze categorien vallen worden niet honoreerd B. Materiaal Daarom vindt standaard een globale check plaats A. Inhoud Wij scannen 4. Beoordelen van de originelen Copyright Openbaarheid Privacy Beoordeling kwetsbaarheid originelen / risico op beschadiging bij transport of digitalisering in standaard set-up.
  • 20. Leuven 28 april 2011 Informatie in de beheersystemen is niet altijd volledig Aanvragen van inventarisnummer die in een van deze categorien vallen worden niet honoreerd B. Materiaal Daarom vindt standaard een globale check plaats A. Inhoud Wij scannen 4. Beoordelen van de originelen Copyright Openbaarheid Privacy Beoordeling kwetsbaarheid originelen / risico op beschadiging bij transport of digitalisering in standaard set-up.
  • 21. Materiele voorbereiding is minimaal Wij scannen 4. Beoordelen van de originelen Leuven 28 april 2011 Nietjes worden verwijderd Kleine reparaties worden uitgevoerd door medewerkers conservering De volgorde van de originelen wordt niet gecontroleerd of gewijzigd Wij doen Wij doen niet De originelen worden niet genummerd
  • 22. Maar dan mogen er geen fouten worden gemaakt bij het nummeren Nummeren van de originelen heeft een groot voordeel: Wij scannen De originelen worden niet genummerd Leuven 28 april 2011 De volledigheid van de scans (tov de originelen) kan worden gegarandeerd Dubbel nummers toekennen leidt tot onlogische aantallen (100 scans, maar laatse paginanr is 99) Experimenten met nummering hebben geleerd dat foutloos nummeren niet haalbaar is. Een nummer overgeslagen leidt al snel tot de conclusie dat een scan ontbreekt (wat niet zo is)
  • 23. Transport vindt plaatst in speciale, afsluitbare karren Wij scannen 5. Transport Leuven 28 april 2011
  • 24. Er mag geen twijfel bestaan over wat die bestandsnaam moet zijn Na scanning moeten de juiste bestandsnamen worden toegekend Anders moeten bestandsnamen gewijzigd bij mutatie op deze informatie Uitgangspunt: bestandsnamen bevatten geen inhoudelijke, veranderlijke informatie Wij scannen 6. / 7. Scanning en toekenning bestandsnamen Leuven 28 april 2011 Bestandsnamen vormen de sleutel tussen scan en metadata
  • 25. Bestandsnaamtoekenning Stadsarchief Amsterdam Leuven 28 april 2011 Aanvraag digitalisering Beheersystemen First 6#: ordernr Last 6#: serial nr Orderbon Filename Scanning A20758000001 A20758000002 A20758000003 Range A20758000001 A20758999999 Archief 195 Inv Nr 836 Order: A20758 A20758000004 A20758000005 Scanrapport A20758000001 A20758000002 A20758000003 A20758000004 A20758000005 12 digits Registratie bestandsnamen Import
  • 26. Samenwerking met leverancier: focus op PROCES Scans en metadata worden op gerichtte, efficiente wijze gecontroleerd Waar mogelijk zijn controles geautomatiseerd 10. 11. Controle van scans en metadata Basic checks Wij scannen Leuven 28 april 2011 Check Methode Virussen Virus checker Data integriteit MD-5 checksumvergelijking Validiteit bestandsformaat Jhove Kwaliteit scans Check referentie scans Visuele check productiescans Volledigheid Afhankelijk van project Bestandsnamen Script
  • 27. Na import is de order voor digitalisering afgerond Na goekeuring worden alle scans en metadata (bestandsnamen) in de beheersystemen geimporteerd Imports vinden geautomatiseerd plaats, op basis van scripts en standaard protocollen 13. 14. Importeren van scans en metadata in de beheersystemen Wij scannen Leuven 28 april 2011
  • 28. Na import worden de metadata geoptimaliseerd voor het zoeksysteem Uitwisseling van inventarissen vindt plaats mbv EAD Lokatie onafhankelijk, direct via het CMS van de website De website wordt gehost op een externe lokatie Metadata worden geupload via standaard HTTP protocol 18. Import metadata in de website Wij scannen Leuven 28 april 2011
  • 29. Na import worden afgeleiden gemaakt De scans worden via harddisk of FTP upload in de website geimporteerd Een aantal basis checks wordt uitgevoerd 17. Import scans in the website Wij scannen Leuven 28 april 2011
  • 30. Leuven 28 april 2011 De aanvrager kan besluiten wel of niet te kopen Zogauw scans en metadata geimporteerd zijn krijg te klant geautomatiseerd een email De mail bevat een link naar het gedigitaliseerde inventarisnr in de website Aanvraag geleverd! De gelukkige klant: Wij scannen
  • 31. Leuven 28 april 2011 De aanvrager kan besluiten wel of niet te kopen Zogauw scans en metadata geimporteerd zijn krijg te klant geautomatiseerd een email De mail bevat een link naar het gedigitaliseerde inventarisnr in de website Aanvraag geleverd! De gelukkige klant: Wij scannen
  • 32. Weekproductie Productieschema Maandag Dinsdag Woensdag Donderdag Vrijdag Ophalen originelen Beoordelen originelen Transport Uitgifte order nummers Controles Afronding aanvragen Einde, online Originelen terugzetten Imports metadata en scans Exports Start imports in website Zat / zon Verwerken scans en metadata in website Selecteren nieuwe aanvragen Leuven 28 april 2011
  • 33. Marc Holtman [email_address] Leuven 28 april 2011

Editor's Notes

  1. I will take you a step deeper into the workprocess of creating large amounts of scans. Ill tell you about starting points and choises we have made and Ill show you the result of some research we have done, particularyu towards image quality and filesize. Also, Ill sohw you some back- and frontoffice tools from our webstie.
  2. I will take you a step deeper into the workprocess of creating large amounts of scans. Ill tell you about starting points and choises we have made and Ill show you the result of some research we have done, particularyu towards image quality and filesize. Also, Ill sohw you some back- and frontoffice tools from our webstie.