際際滷

際際滷Share a Scribd company logo
Nya datak辰llor  nya
m旦jligheter
Lilli Japec, Dr
Surveyf旦reningens kvalitetsseminarium
190207
Inledning
 F旦r辰ndringar i omv辰rlden och statistikbranschen
 Strategier f旦r att hantera utmaningarna
 Exempel fr奪n bl.a. BigSurv18 om hur nya datak辰llor kan anv辰ndas i
statistikproduktionen
Omv辰rlden f旦r辰ndras
K辰lla: Smart Slab. SapienStone
http://www.moley.com/
Exempel p奪 nya datak辰llor
1. Sociala n辰tverk t.ex. Facebook, Twitter, bloggar, foton, videofilmer,
Youtube och internets旦kningar.
2. Traditionella f旦retagssystem t.ex. transaktioner, kundregister,
kreditkortsdata, medical records
3. Internet of Things d.v.s. olika typer av sensordata t.ex. v辰der, trafik,
旦vervakning, mobiltelefoner, bilar och satellitbilder
K辰lla: UNECE classification of Big Data
Statistikbranschen f旦r辰ndras
 Bortfallet i unders旦kningar 旦kar speciellt sv奪rt i unders旦kningar som
kr辰ver omfattande insatser fr奪n uppgiftsl辰mnare
 Dyrt att samla in data
 Med 旦kat bortfall 旦kar risken f旦r fel i skattningarna
 Nya datak辰llor  hur kan dessa anv辰ndas i statistikproduktion?
Olika initiativ och strategier f旦r att
m旦ta utmaningar 
 AAPOR rapport om Big Data
 ESSNet on Big Data
hackathons
 team med t.ex. computer scientist, programmerare
och 辰mneskompetens
 en begr辰nsad uppgift som ska l旦sas under en kort
begr辰nsad tidsperiod
 uppgiften g奪r ofta ut p奪 att hitta en kreativ l旦sning t.ex.
ta fram ett verktyg eller att visualisera data p奪 nytt s辰tt
Big Data Centers och partnerskap
..konferenser
Sponsorer:
BigSurv18
 Monografi (Wiley)
 The new survey landscape
 Total error and data quality
 Big data in official statistics
 Combining big data with survey statistics: methods and applications
 Combining big data with survey statistics: tools
 Regulations, ethics, privacy
 Special nummer i Social Science Computer Review
 BigSurv20  Statistics Canada 辰r v辰rd f旦r konferensen som kommer att
h奪llas i oktober 2020
Surveys are the last
resort
Tom Smith (2018)
Wider, Deeper, Better,
Quicker and Cheaper
Tim Holt 2007
Wider and Deeper
Textanalys och webscraping
 En viktig ekonomisk indikator i ett land 辰r antal innovativa f旦retag
 I EU samlar vi in den typen av uppgifter via en unders旦kning till f旦retag
med fler 辰n 10 anst辰llda (Community Innovation Survey-CIS).
 Kan man skrapa av f旦retags webbsidor f旦r att identifiera innovativa
f旦retag? (van der Doef et al 2018)
 Genom att skrapa av n辰tet och 辰ven inkludera sm奪 f旦retag samt
geografisk information s奪 f奪r man mer detaljerad information 辰n vad CIS
kan ge
Wider and Deeper
 Vakansstatistik genom att skrapa av
n辰tet
 Arbetsf旦rmedlingens platsdatabank och
Vakansunders旦kningen (Wu, Jansson
och Elezovic 2018)
Better
AIS-data
 EU-projekt f旦r att utv辰rdera om AIS-data (Automatic Identification
System) kan anv辰ndas f旦r officiell statistikproduktion
 Statistik om sj旦fartstrafik f旦r att skatta utsl辰pp eller f旦r att identifiera
omr奪den med tung trafik
 Hamnsstatistik f旦r att t.ex. se hur fartyg r旦r sig mellan olika hamnar
K辰lla:
www.marinetraffic.com
Better
Human wearables
 Att samla in data om fysisk aktivitet 辰r sv奪rt i en unders旦kning
 Det finns en tendens att 旦verrapportera
 Kan Fitbit-data ge en b辰ttre bild av fysisk aktivitet? (Eckman, Amaya and
Furberg 2018). Man studerade 辰ven s旦mndata.
 Kan aktivitetsm辰tare anv辰ndas f旦r att m辰ta ungdomars fysiska aktivitet
(the Millenium Cohort Study)? (Calderwood and Gilbert 2018)
Quicker
Road density data
 Kan man snabba upp produktionen av BNP? (Luomaranta et al 2018)
 I Finland anv辰nde man bl.a. road density data f旦r att modellera
kvartals-BNP och man kunde snabba upp produktionstiden med 45
dagar
 Konstigt?
 Motsvarande studie har gjorts i Slovenien med liknande resultat
Cheaper
 Kan data fr奪n smarta elm辰tare
anv辰ndas f旦r att producera
energistatistik? (Ilves and Kirt, 2016)
Average monthly electricity consumption by private
persons in Estonia, January 2014
Cheaper
Kodning
 I finska Arbetskraftsunders旦kningen (AKU) fr奪gar man uppgiftsl辰mnarna
bl.a. om deras yrke
 15% av arbetstiden i den finska AKU g奪r till att koda yrke och
n辰ringsgren (K辰rkimaa and Larja, 2018).
 Kan man anv辰nda machine learning f旦r att effektivisera
kodningsarbetet?
Kvalitet
 Studier har gett mer kunskap om olika felk辰llor d奪 man anv辰nder big
data f旦r statistikproduktion
 Kvalitetsramverk
 Kvalitet i olika indikatorer
Ny upps辰ttning juridiska och etiska
fr奪gor
 Data samlas ofta in f旦r ett 辰ndam奪l men kombineras med andra
datak辰llor och anv辰nds f旦r ett annat 辰ndam奪l
 Man kan fundera p奪 vem som 辰ger eller borde 辰ga den h辰r typen av
data
 GDPR n辰mner inte uttryckligen big data
Slutligen
 Hypen kring big data har avtagit
 Var 辰r vi idag p奪 kurvan?
Source: Wikipedia
Gartners hype curve
http://www.moley.com/
Ad

Recommended

Forum 旦ppna data 12 april 2013
Forum 旦ppna data 12 april 2013
Erik Bor辰lv
ppna data p奪 Konferensen om den officiella statistiken 2526 april 2013
ppna data p奪 Konferensen om den officiella statistiken 2526 april 2013
Erik Bor辰lv
ppna data webbstrategidagarna offentlig sektor 2013
ppna data webbstrategidagarna offentlig sektor 2013
Erik Bor辰lv
3 thomas-laitila-orebro-universitet
3 thomas-laitila-orebro-universitet
Alf Fyhrlund
3 thomas-laitila-orebro-universitet
3 thomas-laitila-orebro-universitet
Alf Fyhrlund
VINNOVA presenterar oppnadata.se p奪 Sundsvall42 2013
VINNOVA presenterar oppnadata.se p奪 Sundsvall42 2013
Erik Bor辰lv
Varf旦r ska vi g旦ra offentliga data tillg辰ngliga?
Varf旦r ska vi g旦ra offentliga data tillg辰ngliga?
fresan
Competitive Intelligence in the Age of Social Computing
Competitive Intelligence in the Age of Social Computing
johammarlund
Introduktion till datajournalistik f旦r JMM
Introduktion till datajournalistik f旦r JMM
Kristofer Sj旦holm
Datajournalistik f旦r yrkesverksamma
Datajournalistik f旦r yrkesverksamma
Kristofer Sj旦holm
Bankdagen 2018, Charlotte Svensson, Bonnier News
Bankdagen 2018, Charlotte Svensson, Bonnier News
Tieto Corporation
Effektiv informationss旦kning i en komplex organisation
Effektiv informationss旦kning i en komplex organisation
Kristian Norling
Session 44 Andreas Allstr旦m
Session 44 Andreas Allstr旦m
Andreas Allstr旦m
Kom ig奪ng med 旦ppna data - Webbdagarna Offentlig sektor 27 november 2014
Kom ig奪ng med 旦ppna data - Webbdagarna Offentlig sektor 27 november 2014
Pernilla N辰sfors stmar
Meetup med Trafiklab 20171004
Meetup med Trafiklab 20171004
Elias Arnestrand
2018 03-15-noda-att-leda-datajournalistiska-projekt-kristofer-sjoholm
2018 03-15-noda-att-leda-datajournalistiska-projekt-kristofer-sjoholm
Kristofer Sj旦holm
1 Next Generation BI
1 Next Generation BI
Lincube
IBM Smarter Business 2012 - Anv辰nd Big Data som en m旦jligg旦rare f旦r din kundf...
IBM Smarter Business 2012 - Anv辰nd Big Data som en m旦jligg旦rare f旦r din kundf...
IBM Sverige
Big data - PlannerFed av Mats R旦nne
Big data - PlannerFed av Mats R旦nne
Robert Dysell
Effektivisera s旦kfunktionen och ge anv辰ndarna tillg奪ng till r辰tt information ...
Effektivisera s旦kfunktionen och ge anv辰ndarna tillg奪ng till r辰tt information ...
Kristian Norling
ppna data
ppna data
Jan Kallberg
ppen data - Peter Krantz
ppen data - Peter Krantz
Digisam
Riksdagens 旦ppna data 20130412
Riksdagens 旦ppna data 20130412
Hannabergander
Dra nytta av din information mha s旦kteknik
Dra nytta av din information mha s旦kteknik
Anders H辰ggdahl
Customer Insight
Customer Insight
Lincube
Malgrupper for oppna data
Malgrupper for oppna data
Andreas Krohn
Kap8
Kap8
jnkz00
Datalabb
Datalabb
Erik Bor辰lv
8 sophie-hedestad-meltwater
8 sophie-hedestad-meltwater
Alf Fyhrlund
5 gunnar-ehrnborg-ericsson
5 gunnar-ehrnborg-ericsson
Alf Fyhrlund

More Related Content

Similar to 1 lilli-japec-scb (20)

Introduktion till datajournalistik f旦r JMM
Introduktion till datajournalistik f旦r JMM
Kristofer Sj旦holm
Datajournalistik f旦r yrkesverksamma
Datajournalistik f旦r yrkesverksamma
Kristofer Sj旦holm
Bankdagen 2018, Charlotte Svensson, Bonnier News
Bankdagen 2018, Charlotte Svensson, Bonnier News
Tieto Corporation
Effektiv informationss旦kning i en komplex organisation
Effektiv informationss旦kning i en komplex organisation
Kristian Norling
Session 44 Andreas Allstr旦m
Session 44 Andreas Allstr旦m
Andreas Allstr旦m
Kom ig奪ng med 旦ppna data - Webbdagarna Offentlig sektor 27 november 2014
Kom ig奪ng med 旦ppna data - Webbdagarna Offentlig sektor 27 november 2014
Pernilla N辰sfors stmar
Meetup med Trafiklab 20171004
Meetup med Trafiklab 20171004
Elias Arnestrand
2018 03-15-noda-att-leda-datajournalistiska-projekt-kristofer-sjoholm
2018 03-15-noda-att-leda-datajournalistiska-projekt-kristofer-sjoholm
Kristofer Sj旦holm
1 Next Generation BI
1 Next Generation BI
Lincube
IBM Smarter Business 2012 - Anv辰nd Big Data som en m旦jligg旦rare f旦r din kundf...
IBM Smarter Business 2012 - Anv辰nd Big Data som en m旦jligg旦rare f旦r din kundf...
IBM Sverige
Big data - PlannerFed av Mats R旦nne
Big data - PlannerFed av Mats R旦nne
Robert Dysell
Effektivisera s旦kfunktionen och ge anv辰ndarna tillg奪ng till r辰tt information ...
Effektivisera s旦kfunktionen och ge anv辰ndarna tillg奪ng till r辰tt information ...
Kristian Norling
ppna data
ppna data
Jan Kallberg
ppen data - Peter Krantz
ppen data - Peter Krantz
Digisam
Riksdagens 旦ppna data 20130412
Riksdagens 旦ppna data 20130412
Hannabergander
Dra nytta av din information mha s旦kteknik
Dra nytta av din information mha s旦kteknik
Anders H辰ggdahl
Customer Insight
Customer Insight
Lincube
Malgrupper for oppna data
Malgrupper for oppna data
Andreas Krohn
Kap8
Kap8
jnkz00
Datalabb
Datalabb
Erik Bor辰lv
Introduktion till datajournalistik f旦r JMM
Introduktion till datajournalistik f旦r JMM
Kristofer Sj旦holm
Datajournalistik f旦r yrkesverksamma
Datajournalistik f旦r yrkesverksamma
Kristofer Sj旦holm
Bankdagen 2018, Charlotte Svensson, Bonnier News
Bankdagen 2018, Charlotte Svensson, Bonnier News
Tieto Corporation
Effektiv informationss旦kning i en komplex organisation
Effektiv informationss旦kning i en komplex organisation
Kristian Norling
Session 44 Andreas Allstr旦m
Session 44 Andreas Allstr旦m
Andreas Allstr旦m
Kom ig奪ng med 旦ppna data - Webbdagarna Offentlig sektor 27 november 2014
Kom ig奪ng med 旦ppna data - Webbdagarna Offentlig sektor 27 november 2014
Pernilla N辰sfors stmar
Meetup med Trafiklab 20171004
Meetup med Trafiklab 20171004
Elias Arnestrand
2018 03-15-noda-att-leda-datajournalistiska-projekt-kristofer-sjoholm
2018 03-15-noda-att-leda-datajournalistiska-projekt-kristofer-sjoholm
Kristofer Sj旦holm
1 Next Generation BI
1 Next Generation BI
Lincube
IBM Smarter Business 2012 - Anv辰nd Big Data som en m旦jligg旦rare f旦r din kundf...
IBM Smarter Business 2012 - Anv辰nd Big Data som en m旦jligg旦rare f旦r din kundf...
IBM Sverige
Big data - PlannerFed av Mats R旦nne
Big data - PlannerFed av Mats R旦nne
Robert Dysell
Effektivisera s旦kfunktionen och ge anv辰ndarna tillg奪ng till r辰tt information ...
Effektivisera s旦kfunktionen och ge anv辰ndarna tillg奪ng till r辰tt information ...
Kristian Norling
ppen data - Peter Krantz
ppen data - Peter Krantz
Digisam
Riksdagens 旦ppna data 20130412
Riksdagens 旦ppna data 20130412
Hannabergander
Dra nytta av din information mha s旦kteknik
Dra nytta av din information mha s旦kteknik
Anders H辰ggdahl
Customer Insight
Customer Insight
Lincube
Malgrupper for oppna data
Malgrupper for oppna data
Andreas Krohn
Kap8
Kap8
jnkz00

More from Alf Fyhrlund (14)

8 sophie-hedestad-meltwater
8 sophie-hedestad-meltwater
Alf Fyhrlund
5 gunnar-ehrnborg-ericsson
5 gunnar-ehrnborg-ericsson
Alf Fyhrlund
2 dan-hedlin-stockholms-universitet
2 dan-hedlin-stockholms-universitet
Alf Fyhrlund
Daniel Thorburn, SU: r bayesianska metoder anv辰ndbara?
Daniel Thorburn, SU: r bayesianska metoder anv辰ndbara?
Alf Fyhrlund
Lars Lyberg, Inizio: Ett f旦r辰nderligt surveylandskap
Lars Lyberg, Inizio: Ett f旦r辰nderligt surveylandskap
Alf Fyhrlund
Lars Lyberg, Inizio: Rapport fr奪n konferensen BigSurv18
Lars Lyberg, Inizio: Rapport fr奪n konferensen BigSurv18
Alf Fyhrlund
Anders Holmberg, Statistisk Sentralbyr奪, Norge: Att finna och utforska transa...
Anders Holmberg, Statistisk Sentralbyr奪, Norge: Att finna och utforska transa...
Alf Fyhrlund
Web panel surveys patrick sturgis
Web panel surveys patrick sturgis
Alf Fyhrlund
Web panel surveys maja fromseier petersen
Web panel surveys maja fromseier petersen
Alf Fyhrlund
Web panel surveys maja fromseier petersen
Web panel surveys maja fromseier petersen
Alf Fyhrlund
Dwg 2012-oct-07 - european commission open data and public sector information
Dwg 2012-oct-07 - european commission open data and public sector information
Alf Fyhrlund
Mpu oh 111220
Mpu oh 111220
Alf Fyhrlund
Sveriges Riksbank: Monetary Policy Update December 2011
Sveriges Riksbank: Monetary Policy Update December 2011
Alf Fyhrlund
Sveriges Riksbank - Monetary Policy Report October 2011
Sveriges Riksbank - Monetary Policy Report October 2011
Alf Fyhrlund
8 sophie-hedestad-meltwater
8 sophie-hedestad-meltwater
Alf Fyhrlund
5 gunnar-ehrnborg-ericsson
5 gunnar-ehrnborg-ericsson
Alf Fyhrlund
2 dan-hedlin-stockholms-universitet
2 dan-hedlin-stockholms-universitet
Alf Fyhrlund
Daniel Thorburn, SU: r bayesianska metoder anv辰ndbara?
Daniel Thorburn, SU: r bayesianska metoder anv辰ndbara?
Alf Fyhrlund
Lars Lyberg, Inizio: Ett f旦r辰nderligt surveylandskap
Lars Lyberg, Inizio: Ett f旦r辰nderligt surveylandskap
Alf Fyhrlund
Lars Lyberg, Inizio: Rapport fr奪n konferensen BigSurv18
Lars Lyberg, Inizio: Rapport fr奪n konferensen BigSurv18
Alf Fyhrlund
Anders Holmberg, Statistisk Sentralbyr奪, Norge: Att finna och utforska transa...
Anders Holmberg, Statistisk Sentralbyr奪, Norge: Att finna och utforska transa...
Alf Fyhrlund
Web panel surveys patrick sturgis
Web panel surveys patrick sturgis
Alf Fyhrlund
Web panel surveys maja fromseier petersen
Web panel surveys maja fromseier petersen
Alf Fyhrlund
Web panel surveys maja fromseier petersen
Web panel surveys maja fromseier petersen
Alf Fyhrlund
Dwg 2012-oct-07 - european commission open data and public sector information
Dwg 2012-oct-07 - european commission open data and public sector information
Alf Fyhrlund
Sveriges Riksbank: Monetary Policy Update December 2011
Sveriges Riksbank: Monetary Policy Update December 2011
Alf Fyhrlund
Sveriges Riksbank - Monetary Policy Report October 2011
Sveriges Riksbank - Monetary Policy Report October 2011
Alf Fyhrlund
Ad

1 lilli-japec-scb

  • 1. Nya datak辰llor nya m旦jligheter Lilli Japec, Dr Surveyf旦reningens kvalitetsseminarium 190207
  • 2. Inledning F旦r辰ndringar i omv辰rlden och statistikbranschen Strategier f旦r att hantera utmaningarna Exempel fr奪n bl.a. BigSurv18 om hur nya datak辰llor kan anv辰ndas i statistikproduktionen
  • 3. Omv辰rlden f旦r辰ndras K辰lla: Smart Slab. SapienStone http://www.moley.com/
  • 4. Exempel p奪 nya datak辰llor 1. Sociala n辰tverk t.ex. Facebook, Twitter, bloggar, foton, videofilmer, Youtube och internets旦kningar. 2. Traditionella f旦retagssystem t.ex. transaktioner, kundregister, kreditkortsdata, medical records 3. Internet of Things d.v.s. olika typer av sensordata t.ex. v辰der, trafik, 旦vervakning, mobiltelefoner, bilar och satellitbilder K辰lla: UNECE classification of Big Data
  • 5. Statistikbranschen f旦r辰ndras Bortfallet i unders旦kningar 旦kar speciellt sv奪rt i unders旦kningar som kr辰ver omfattande insatser fr奪n uppgiftsl辰mnare Dyrt att samla in data Med 旦kat bortfall 旦kar risken f旦r fel i skattningarna Nya datak辰llor hur kan dessa anv辰ndas i statistikproduktion?
  • 6. Olika initiativ och strategier f旦r att m旦ta utmaningar AAPOR rapport om Big Data ESSNet on Big Data
  • 7. hackathons team med t.ex. computer scientist, programmerare och 辰mneskompetens en begr辰nsad uppgift som ska l旦sas under en kort begr辰nsad tidsperiod uppgiften g奪r ofta ut p奪 att hitta en kreativ l旦sning t.ex. ta fram ett verktyg eller att visualisera data p奪 nytt s辰tt
  • 8. Big Data Centers och partnerskap
  • 10. BigSurv18 Monografi (Wiley) The new survey landscape Total error and data quality Big data in official statistics Combining big data with survey statistics: methods and applications Combining big data with survey statistics: tools Regulations, ethics, privacy Special nummer i Social Science Computer Review BigSurv20 Statistics Canada 辰r v辰rd f旦r konferensen som kommer att h奪llas i oktober 2020
  • 11. Surveys are the last resort Tom Smith (2018)
  • 12. Wider, Deeper, Better, Quicker and Cheaper Tim Holt 2007
  • 13. Wider and Deeper Textanalys och webscraping En viktig ekonomisk indikator i ett land 辰r antal innovativa f旦retag I EU samlar vi in den typen av uppgifter via en unders旦kning till f旦retag med fler 辰n 10 anst辰llda (Community Innovation Survey-CIS). Kan man skrapa av f旦retags webbsidor f旦r att identifiera innovativa f旦retag? (van der Doef et al 2018) Genom att skrapa av n辰tet och 辰ven inkludera sm奪 f旦retag samt geografisk information s奪 f奪r man mer detaljerad information 辰n vad CIS kan ge
  • 14. Wider and Deeper Vakansstatistik genom att skrapa av n辰tet Arbetsf旦rmedlingens platsdatabank och Vakansunders旦kningen (Wu, Jansson och Elezovic 2018)
  • 15. Better AIS-data EU-projekt f旦r att utv辰rdera om AIS-data (Automatic Identification System) kan anv辰ndas f旦r officiell statistikproduktion Statistik om sj旦fartstrafik f旦r att skatta utsl辰pp eller f旦r att identifiera omr奪den med tung trafik Hamnsstatistik f旦r att t.ex. se hur fartyg r旦r sig mellan olika hamnar K辰lla: www.marinetraffic.com
  • 16. Better Human wearables Att samla in data om fysisk aktivitet 辰r sv奪rt i en unders旦kning Det finns en tendens att 旦verrapportera Kan Fitbit-data ge en b辰ttre bild av fysisk aktivitet? (Eckman, Amaya and Furberg 2018). Man studerade 辰ven s旦mndata. Kan aktivitetsm辰tare anv辰ndas f旦r att m辰ta ungdomars fysiska aktivitet (the Millenium Cohort Study)? (Calderwood and Gilbert 2018)
  • 17. Quicker Road density data Kan man snabba upp produktionen av BNP? (Luomaranta et al 2018) I Finland anv辰nde man bl.a. road density data f旦r att modellera kvartals-BNP och man kunde snabba upp produktionstiden med 45 dagar Konstigt? Motsvarande studie har gjorts i Slovenien med liknande resultat
  • 18. Cheaper Kan data fr奪n smarta elm辰tare anv辰ndas f旦r att producera energistatistik? (Ilves and Kirt, 2016) Average monthly electricity consumption by private persons in Estonia, January 2014
  • 19. Cheaper Kodning I finska Arbetskraftsunders旦kningen (AKU) fr奪gar man uppgiftsl辰mnarna bl.a. om deras yrke 15% av arbetstiden i den finska AKU g奪r till att koda yrke och n辰ringsgren (K辰rkimaa and Larja, 2018). Kan man anv辰nda machine learning f旦r att effektivisera kodningsarbetet?
  • 20. Kvalitet Studier har gett mer kunskap om olika felk辰llor d奪 man anv辰nder big data f旦r statistikproduktion Kvalitetsramverk Kvalitet i olika indikatorer
  • 21. Ny upps辰ttning juridiska och etiska fr奪gor Data samlas ofta in f旦r ett 辰ndam奪l men kombineras med andra datak辰llor och anv辰nds f旦r ett annat 辰ndam奪l Man kan fundera p奪 vem som 辰ger eller borde 辰ga den h辰r typen av data GDPR n辰mner inte uttryckligen big data
  • 22. Slutligen Hypen kring big data har avtagit Var 辰r vi idag p奪 kurvan? Source: Wikipedia Gartners hype curve http://www.moley.com/