ݺߣ

ݺߣShare a Scribd company logo

13.2.2024 Datajournalismin pikakurssi, Tilastokeskus

•
•
Tilastokeskus
Tilastokeskus

Avoimen datan ja tilastotiedon lähteitä, kehittämispäällikkö Markku Huttunen, Tilastokeskus

1 of 15
Download to read offline
Avoimen datan ja tilastotiedon lähteitä Markku Huttunen, Tilastokeskus, 13.2.2024
13.2.2024 Datajournalismin pikakurssi, Tilastokeskus
Tiedon jalostus, tilastointi ja rahoitus 13.2.2024 markku.huttunen@stat.fi Rekisterit Tiedonkeruut Muut tiedot mm. Big data INPUT TEMPUT OUTPUT Asiantuntija - palvelut TIEDONLÄHTEET TILASTOKESKUS TUOTTEET Palvelut tutkijoill e Tilastot Tietotuotte et Avoin tieto Estimointi Analyysi Laskenta Jäsennys Varastointi Suojaus Yhdistely Täydennys Anonymisointi Ryhmittely Korjaus Kuvailu Luokittelu Jalostus Laadun tarkastus
Avoin data ja tilastotoimi • Tavoitteet - Tiedon käytön tukeminen ja edistäminen - Tiedon käyttö päätöksenteon tukena - Aineistojen saatavuus, saavutettavuus ja käytettävyys - Aineistojen mahdollisimman laaja käyttö, tiedon vaikuttavuuden lisääminen • EU-komissio on laatinut suosituksen Euroopan avoimen datan direktiivistä 2003 sekä laajennettuna 2013 - Ns. PSI-direktiiviä (public sector information) on päivitetty useaan kertaan - Viimeisimpänä ns. HVD-direktiivi (high value datasets eli arvokkaat tietoaineistot), joka astuu voimaan 2024 13.2.2024 markku.huttunen@stat.fi
Tilastokeskuksen avoin data • Uudet tilastotiedot julkaistaan klo 8 • Julkaisuaikataulu julkistamiskalenterissa • Kaikilla tilastoilla oma kotisivu - Tuoreimmat tiedot ja aiemmat julkaisut - Tietoa tiedonkeruusta, menetelmistä ja tietolähteistä - Valmiit tietokannasta automaattisesti päivittyvät kuvioit ja taulukot • Tilastokeskus tarjoaa avointa tilastotietoa päätöksentekoa ja tutkimusta varten. • Avoimia tilastoaineistoja on saatavilla eri aihealueittain koko Suomesta - Kunnittain ja muilla aluejaoilla mm. postinumeroalueittain tai karttaruuduittain • Tilastokeskuksessa on käytössä avoimen tietoaineiston käyttölupa – CC By 4.0 -lisenssi. - dataa voi vapaasti käyttää kaikin mahdollisin tavoin edellyttäen, että lähde mainitaan. 13.2.2024 markku.huttunen@stat.fi
tilastokeskus.fi - tilastotietoa verkossa 1/2 13.2.2024 markku.huttunen@stat.fi • Tilastot ja tietotuotteet • Tilastot • Kokeelliset tilastot • Tilastotietokannat • YK-indikaattorit (SDG) • Julkaisut • Tiedonhaun oppaat • Laskurit • Avoin data • Avoimet tietokanta-aineistot • Paikkatietoaineistot • Luokitukset • Muut (esim. opetus-aineistot ja SISU-mikrosimulointimalli) • Ajankohtaista tilastoista • Julkistamiskalenteri • Uutiskirje • Tieto&trendit - artikkelit ja blogit • Juttukooste • Tilastotohtori (FB) • Twitter • Instagram
tilastokeskus.fi - tilastotietoa verkossa 2/2 13.2.2024 markku.huttunen@stat.fi • Asiantuntijapalvelut • Palvelut tutkijoille • Taika – tutkimusaineisto-katalogi • Tilastointipalvelut • Tilastoselvitykset • Rekisteripalvelut • Oppilaitosrekisteri • Yrityshaku • Yritysrekisteri • Opi käyttämään tilastoja • Tilastojen kuvaukset • Luokitukset • Käsitteet ja määritelmät • Tilastokoulutus • Kysy tilastoista
Kuntien avainluvut • Palvelussa voi vertailla kuntia keskenään tai suhteessa koko Suomen lukuihin. • Keskeiset avainluvut kaikista kunnista taulukkomuodossa ja kuvioina 1987-2022. • Tiedot ovat päivitetyillä aluejaoilla vuosilta 2015 -2023. • Taulukon saa omaan sovellukseen rajapinnan kautta. 13.2.2024 markku.huttunen@stat.fi
Paavo-postinumero-aluetilastot • Tilastotietoa postinumeroalueittain • Aineistot ladattavissa ilman rekisteröitymistä: - Tilastokeskuksen PxWeb-palvelusta tietokantataulukkona - Paikkatietojen rajapintapalvelun kautta paikkatietomuodossa - Katseltavissa myös Paikkatietoikkunassa • Taulukkotietokanta olemassa viideltä vuodelta - 2010 – 2022 - Postinumeroalueita noin 3000 kpl - Historia-aineistoja voi tilata maksusta • Postinumeroalueen kuntatieto määräytyy pinta-alan mukaan 13.2.2024 markku.huttunen@stat.fi
7 tapaa käyttää PxWebiä Tapa 1: PxWeb-käyttöliittymä 13.2.2024 markku.huttunen@stat.fi
7 tapaa käyttää PxWebiä Tapa 2: Rajapintojen (API) käyttö • Miten API toimii? • PxWeb API description (SCB) - ” This manual describes how to use the PxWeb API. The manual is primarily intended for people who want an introduction on how to use the API. The reader is not required to have any type of PxWeb experience to understand the content, but it helps. It also helps to have some knowledge of the HTTP protocol.” https://pxdata.stat.fi/API-description_SCB.pdf - PxWeb käyttöohjeet Tilastokeskus: https://www.stat.fi/tup/tilastotietokannat/kayttoohjeet.html • API-hakukyselyn asetukset ja rajoitukset • API-kyselyn rakenne • Sisäiset ja ulkoiset PX-Web-APIt listattuna XML-muodossa • Datan haku kannasta [POST] • Kyselyn teko PX-Webin graafisessa käyttöliittymässä + koodi taulukon hakemista ja upottamista varten 13.2.2024 markku.huttunen@stat.fi
7 tapaa käyttää PxWebiä Tapa 3: Lataa kokonaisia taulukoita tietokannasta • Tiedostorajapinta, jolla ladataan kätevästi automaattisesti päivittyvä yli 5000 tietokantataulukoinlistaus (csv) - https://pxdata.stat.fi/database/StatFin/StatFin_rap.csv - Listauksen kautta voi ladata kokonaisia metatietorikkaita taulukoita suoraan px-tiedostomuodossa rajoituksitta • Rajapintahakujen (API) kautta voi esimerkiksi hakea hakemistopuun kätevästi - https://pxdata.stat.fi/pxweb/api/v1/fi/StatFin/?query=*&filter=* • Mitkä ne muut tavat ovat? - Tapa 4: Tallennettu haku - Tapa 5: PxWin-työasemaohjelman avulla - Tapa 6: PxWebistä suoraan Power BI –raportteja - Tapa 7: Mobiilikäyttöliittymä 13.2.2024 markku.huttunen@stat.fi
Tekoälyn käyttö datan analysoinnissa: Suomen väestön kehitys 1750-2021 • Pyysin ChatGPT4 + Advanced Data Analysis -yhdistelmää ehdottamaan visualisointeja Tilastollisen vuosikirjan Excel- taulukosta • Seuraavaksi pyysin listaamaan vuodet, jolloin väestö on vähentynyt sekä kertomaan miksi. • Tekoäly (LLM eli suuri kielimalli) tarjoaa historiallisia taustatietoja (varo hallusinaatioita!) • Tekoäly tarjoaa uusia välineitä datan analysointiin. 13.2.2024 markku.huttunen@stat.fi
Tekoälyn käyttö metatiedon tulkinnassa: Suomen brutto- kansantulon menetelmäkuvaus • Latasin Suomen bruttokansantulon menetelmäkuvauksen (pdf 471 sivua). • Käsittelin tuota metatietodokumenttia ChatGPT4 + AiPDF yhdistelmällä • Hyötyjä tekoälystä (=tukiäly) tällaisten laajojen (metatieto)dokumenttien käsittelyssä - Vaade: Tekoäly vastaa vain dokumentin tietojen pohjalta - Laajojen tekstien tiivistäminen hetkessä - Asioita voi kysellä luonnollisella kielellä - Tekoäly vastaa luonnollisella kielellä - Saatuja vastauksia voi syventää ja tarkentaa - Vastauksia saa myös aivan yleiskielellä, haluamallaan kiellellä tai vaikka stadin slangilla (ks. kuva) - Vastauksissa sivunumerot, muista siis tarkistaa! 13.2.2024 markku.huttunen@stat.fi
Linkit • Kaikki tilastot aiheittain ja aakkosittain • Tilastotietokannat • PxWeb-tietokantojen käyttöohje • Usein kysyttyä PxWeb API –rajapinnasta sekä tarkempaa teknistä tietoa koodareille • Kansallinen tilastotoimi • Tilastokeskuksen aineistojen käyttöehdot • Kuntien avainluvut • Paavo – tilastoja postinumeroalueittain sekä postinumeroalueittainen kartta-aineisto • Tilastokeskuksen avoimet tietokanta-aineistot • Visualisointi Suomen väestökehitys 1750-2021 (ChatGPT4 keskustelu) • Suomen bruttokansantulon menetelmäkuvaus (ChatGPT4 keskustelu) • Kuva ”OPEN DATA”: Microsoft / DALL-E3 13.2.2024 markku.huttunen@stat.fi

More Related Content

13.2.2024 Datajournalismin pikakurssi, Tilastokeskus

  • 1. Avoimen datan ja tilastotiedon lähteitä Markku Huttunen, Tilastokeskus, 13.2.2024
  • 3. Tiedon jalostus, tilastointi ja rahoitus 13.2.2024 markku.huttunen@stat.fi Rekisterit Tiedonkeruut Muut tiedot mm. Big data INPUT TEMPUT OUTPUT Asiantuntija - palvelut TIEDONLÄHTEET TILASTOKESKUS TUOTTEET Palvelut tutkijoill e Tilastot Tietotuotte et Avoin tieto Estimointi Analyysi Laskenta Jäsennys Varastointi Suojaus Yhdistely Täydennys Anonymisointi Ryhmittely Korjaus Kuvailu Luokittelu Jalostus Laadun tarkastus
  • 4. Avoin data ja tilastotoimi • Tavoitteet - Tiedon käytön tukeminen ja edistäminen - Tiedon käyttö päätöksenteon tukena - Aineistojen saatavuus, saavutettavuus ja käytettävyys - Aineistojen mahdollisimman laaja käyttö, tiedon vaikuttavuuden lisääminen • EU-komissio on laatinut suosituksen Euroopan avoimen datan direktiivistä 2003 sekä laajennettuna 2013 - Ns. PSI-direktiiviä (public sector information) on päivitetty useaan kertaan - Viimeisimpänä ns. HVD-direktiivi (high value datasets eli arvokkaat tietoaineistot), joka astuu voimaan 2024 13.2.2024 markku.huttunen@stat.fi
  • 5. Tilastokeskuksen avoin data • Uudet tilastotiedot julkaistaan klo 8 • Julkaisuaikataulu julkistamiskalenterissa • Kaikilla tilastoilla oma kotisivu - Tuoreimmat tiedot ja aiemmat julkaisut - Tietoa tiedonkeruusta, menetelmistä ja tietolähteistä - Valmiit tietokannasta automaattisesti päivittyvät kuvioit ja taulukot • Tilastokeskus tarjoaa avointa tilastotietoa päätöksentekoa ja tutkimusta varten. • Avoimia tilastoaineistoja on saatavilla eri aihealueittain koko Suomesta - Kunnittain ja muilla aluejaoilla mm. postinumeroalueittain tai karttaruuduittain • Tilastokeskuksessa on käytössä avoimen tietoaineiston käyttölupa – CC By 4.0 -lisenssi. - dataa voi vapaasti käyttää kaikin mahdollisin tavoin edellyttäen, että lähde mainitaan. 13.2.2024 markku.huttunen@stat.fi
  • 6. tilastokeskus.fi - tilastotietoa verkossa 1/2 13.2.2024 markku.huttunen@stat.fi • Tilastot ja tietotuotteet • Tilastot • Kokeelliset tilastot • Tilastotietokannat • YK-indikaattorit (SDG) • Julkaisut • Tiedonhaun oppaat • Laskurit • Avoin data • Avoimet tietokanta-aineistot • Paikkatietoaineistot • Luokitukset • Muut (esim. opetus-aineistot ja SISU-mikrosimulointimalli) • Ajankohtaista tilastoista • Julkistamiskalenteri • Uutiskirje • Tieto&trendit - artikkelit ja blogit • Juttukooste • Tilastotohtori (FB) • Twitter • Instagram
  • 7. tilastokeskus.fi - tilastotietoa verkossa 2/2 13.2.2024 markku.huttunen@stat.fi • Asiantuntijapalvelut • Palvelut tutkijoille • Taika – tutkimusaineisto-katalogi • Tilastointipalvelut • Tilastoselvitykset • Rekisteripalvelut • Oppilaitosrekisteri • Yrityshaku • Yritysrekisteri • Opi käyttämään tilastoja • Tilastojen kuvaukset • Luokitukset • Käsitteet ja määritelmät • Tilastokoulutus • Kysy tilastoista
  • 8. Kuntien avainluvut • Palvelussa voi vertailla kuntia keskenään tai suhteessa koko Suomen lukuihin. • Keskeiset avainluvut kaikista kunnista taulukkomuodossa ja kuvioina 1987-2022. • Tiedot ovat päivitetyillä aluejaoilla vuosilta 2015 -2023. • Taulukon saa omaan sovellukseen rajapinnan kautta. 13.2.2024 markku.huttunen@stat.fi
  • 9. Paavo-postinumero-aluetilastot • Tilastotietoa postinumeroalueittain • Aineistot ladattavissa ilman rekisteröitymistä: - Tilastokeskuksen PxWeb-palvelusta tietokantataulukkona - Paikkatietojen rajapintapalvelun kautta paikkatietomuodossa - Katseltavissa myös Paikkatietoikkunassa • Taulukkotietokanta olemassa viideltä vuodelta - 2010 – 2022 - Postinumeroalueita noin 3000 kpl - Historia-aineistoja voi tilata maksusta • Postinumeroalueen kuntatieto määräytyy pinta-alan mukaan 13.2.2024 markku.huttunen@stat.fi
  • 10. 7 tapaa käyttää PxWebiä Tapa 1: PxWeb-käyttöliittymä 13.2.2024 markku.huttunen@stat.fi
  • 11. 7 tapaa käyttää PxWebiä Tapa 2: Rajapintojen (API) käyttö • Miten API toimii? • PxWeb API description (SCB) - ” This manual describes how to use the PxWeb API. The manual is primarily intended for people who want an introduction on how to use the API. The reader is not required to have any type of PxWeb experience to understand the content, but it helps. It also helps to have some knowledge of the HTTP protocol.” https://pxdata.stat.fi/API-description_SCB.pdf - PxWeb käyttöohjeet Tilastokeskus: https://www.stat.fi/tup/tilastotietokannat/kayttoohjeet.html • API-hakukyselyn asetukset ja rajoitukset • API-kyselyn rakenne • Sisäiset ja ulkoiset PX-Web-APIt listattuna XML-muodossa • Datan haku kannasta [POST] • Kyselyn teko PX-Webin graafisessa käyttöliittymässä + koodi taulukon hakemista ja upottamista varten 13.2.2024 markku.huttunen@stat.fi
  • 12. 7 tapaa käyttää PxWebiä Tapa 3: Lataa kokonaisia taulukoita tietokannasta • Tiedostorajapinta, jolla ladataan kätevästi automaattisesti päivittyvä yli 5000 tietokantataulukoinlistaus (csv) - https://pxdata.stat.fi/database/StatFin/StatFin_rap.csv - Listauksen kautta voi ladata kokonaisia metatietorikkaita taulukoita suoraan px-tiedostomuodossa rajoituksitta • Rajapintahakujen (API) kautta voi esimerkiksi hakea hakemistopuun kätevästi - https://pxdata.stat.fi/pxweb/api/v1/fi/StatFin/?query=*&filter=* • Mitkä ne muut tavat ovat? - Tapa 4: Tallennettu haku - Tapa 5: PxWin-työasemaohjelman avulla - Tapa 6: PxWebistä suoraan Power BI –raportteja - Tapa 7: Mobiilikäyttöliittymä 13.2.2024 markku.huttunen@stat.fi
  • 13. Tekoälyn käyttö datan analysoinnissa: Suomen väestön kehitys 1750-2021 • Pyysin ChatGPT4 + Advanced Data Analysis -yhdistelmää ehdottamaan visualisointeja Tilastollisen vuosikirjan Excel- taulukosta • Seuraavaksi pyysin listaamaan vuodet, jolloin väestö on vähentynyt sekä kertomaan miksi. • Tekoäly (LLM eli suuri kielimalli) tarjoaa historiallisia taustatietoja (varo hallusinaatioita!) • Tekoäly tarjoaa uusia välineitä datan analysointiin. 13.2.2024 markku.huttunen@stat.fi
  • 14. Tekoälyn käyttö metatiedon tulkinnassa: Suomen brutto- kansantulon menetelmäkuvaus • Latasin Suomen bruttokansantulon menetelmäkuvauksen (pdf 471 sivua). • Käsittelin tuota metatietodokumenttia ChatGPT4 + AiPDF yhdistelmällä • Hyötyjä tekoälystä (=tukiäly) tällaisten laajojen (metatieto)dokumenttien käsittelyssä - Vaade: Tekoäly vastaa vain dokumentin tietojen pohjalta - Laajojen tekstien tiivistäminen hetkessä - Asioita voi kysellä luonnollisella kielellä - Tekoäly vastaa luonnollisella kielellä - Saatuja vastauksia voi syventää ja tarkentaa - Vastauksia saa myös aivan yleiskielellä, haluamallaan kiellellä tai vaikka stadin slangilla (ks. kuva) - Vastauksissa sivunumerot, muista siis tarkistaa! 13.2.2024 markku.huttunen@stat.fi
  • 15. Linkit • Kaikki tilastot aiheittain ja aakkosittain • Tilastotietokannat • PxWeb-tietokantojen käyttöohje • Usein kysyttyä PxWeb API –rajapinnasta sekä tarkempaa teknistä tietoa koodareille • Kansallinen tilastotoimi • Tilastokeskuksen aineistojen käyttöehdot • Kuntien avainluvut • Paavo – tilastoja postinumeroalueittain sekä postinumeroalueittainen kartta-aineisto • Tilastokeskuksen avoimet tietokanta-aineistot • Visualisointi Suomen väestökehitys 1750-2021 (ChatGPT4 keskustelu) • Suomen bruttokansantulon menetelmäkuvaus (ChatGPT4 keskustelu) • Kuva ”OPEN DATA”: Microsoft / DALL-E3 13.2.2024 markku.huttunen@stat.fi