ºÝºÝߣ

ºÝºÝߣShare a Scribd company logo
INSPIRE Data Harmonisatie
Marcel de Rink (Esri NL)
Conceptuele aanpak
                                                                                         Gebruikers

                                 transformatie & integratie
           Interne informatie/
           database systemen                          ArcGIS for INSPIRE –
                                                        Data modellen en web services




                                         ETL
                                                                       Europese SDI




2. Integratie in het business        1. Datamodel voor ruimtelijke           3. Toegang via INSPIRE network
proces en transformatie van           datasets compliant volgens             services volgens de Quality-of-
      data naar INSPIRE                 INSPIRE data specificaties                    Service eisen
FME INSPIRE Solution Pack vs. ArcGIS for INSPIRE


       INSPIRE Solution Pack for       ArcGIS for INSPIRE
       FME




                                       Europese SDI
INSPIRE ETL Workflow Description


     Import        Import            Schema           Load Data
     Source        Desitination      Transformation   Into
     Schema        Schema            And Mapping      INSPIRE DB




                     INSPIRE
                     Solution Pack
ETL mogelijkheden


Haal                                                       Laad
Brondata           Transformatie naar doel schema          INSPIRE
op                                                         Database

 Example Mapping
             Data fusion



                           Kwaliteits Controle


                                       Conflict detectie
                                       & diff. updates
Output-Model
INSPIRE – Mapping - Definition




                                 Schema-Mapping
                                 Input-Model
Nieuwe FME INSPIRE Transformers




Categorien voor elk Annex I Thema
> Definitie van attributen (create, valueMapper, void)
Algemene INSPIRE Transformers
> INSPIRE-functionaliteit (IFCID, LifeSpanSetter)
Extra geïntegreerde Transformer beschrijving

   Beschrijving van de waarden zijn technisch met
   inhoudelijke betekenis
   > aggreed
   > notAgreed
Voordelen
Waarom versimpelt het INSPIRE Solution Pack het ETL proces?


             Je hoeft enkel rekening te houden met de top van de ijsberg
De top van het ijsberg model


                                             INSPIRE Solution Pack for FME



                       FME feature based
         existing         mapping                    INSPIRE
         Feature                                     Feature
                       complex problemen
     UML / GML                                    Feature
                         zijn verborgen
                                                 Relations
  XML          XSD                       INSPIRE        Database
Validation    Schema                   Data Validation Design
INSPIRE Quality of Service
Performance


Responstijd <= 5 seconden


      (800x600 bitmap met een kleurdiepte van 8 bit)
Capacity:


≥ 20 gelijktijdige verzoeken/sec
Availability:


99% van de tijd beschikbaar




     (d.w.z. minder dan 4 dagen per jaar niet beschikbaar)
Inspire Data Harmonisatie
Amazon EC2 instance
- 7.5 GB of memory,
- 4 EC2 Compute Units (2 virtual cores
  with 2 EC2 Compute Units each),
- 100 GB of Elastic Block Store Volume
- 64-bit platform
- Windows 2008 R2


     $0.48 / uur ~ 3116 € / jaar (24 x 7)
     $0.12 / Gb-maand ~ 100 € / jaar
12000 Random bounding boxes




                              Schaal 1:10K – 1:1.5M
http://jakarta.apache.org/jmeter/
Inspire Data Harmonisatie
Inspire Data Harmonisatie
Inspire Data Harmonisatie
Next-Next-Finish versie
Cached NNF versie
Optimized versie
Responstijden (ms) NNF

Users        average          median          90%_line           min         max      Users

        5              733             474               1542          142    13585           5

        10             1689            1183              3949          147     8370           10

        15             2366            1588              5324          141     8645           15

        20             3429            1908              8628          147    11849           20

        25             5737            2046              12132         13     54621           25

        30             5730            2375              20360          9     30189           30

        35             5984            3161              17979         151    26806           35
Responstijden (ms) Cached NNF

Users        average          median         90%_line           min         max

        5               645            452              1304          165         2285

        10             1333            660              2848          161         4219

        15             2007            687              4624          161         6364

        20             2545            616              5810          161         7242

        25             3110            590              7687          161         9367

        30             3786            738              9447          161     11826

        35             4542            769              11088         161     12660
Responstijden (ms) Optimized versie

Users        average          median         90%_line          min         max

        5               335            306              451          178         9966

        10              596            467              1145         181         2170

        15              881            475              2419         180         3264

        20             1128            464              3637         181         4703

        25             1363            486              4738         182         5826

        30             1627            629              5014         187         6932

        35             1909            527              7389         178         8648

More Related Content

Inspire Data Harmonisatie

  • 2. Conceptuele aanpak Gebruikers transformatie & integratie Interne informatie/ database systemen ArcGIS for INSPIRE – Data modellen en web services ETL Europese SDI 2. Integratie in het business 1. Datamodel voor ruimtelijke 3. Toegang via INSPIRE network proces en transformatie van datasets compliant volgens services volgens de Quality-of- data naar INSPIRE INSPIRE data specificaties Service eisen
  • 3. FME INSPIRE Solution Pack vs. ArcGIS for INSPIRE INSPIRE Solution Pack for ArcGIS for INSPIRE FME Europese SDI
  • 4. INSPIRE ETL Workflow Description Import Import Schema Load Data Source Desitination Transformation Into Schema Schema And Mapping INSPIRE DB INSPIRE Solution Pack
  • 5. ETL mogelijkheden Haal Laad Brondata Transformatie naar doel schema INSPIRE op Database Example Mapping Data fusion Kwaliteits Controle Conflict detectie & diff. updates
  • 6. Output-Model INSPIRE – Mapping - Definition Schema-Mapping Input-Model
  • 7. Nieuwe FME INSPIRE Transformers Categorien voor elk Annex I Thema > Definitie van attributen (create, valueMapper, void) Algemene INSPIRE Transformers > INSPIRE-functionaliteit (IFCID, LifeSpanSetter)
  • 8. Extra geïntegreerde Transformer beschrijving Beschrijving van de waarden zijn technisch met inhoudelijke betekenis > aggreed > notAgreed
  • 9. Voordelen Waarom versimpelt het INSPIRE Solution Pack het ETL proces? Je hoeft enkel rekening te houden met de top van de ijsberg
  • 10. De top van het ijsberg model INSPIRE Solution Pack for FME FME feature based existing mapping INSPIRE Feature Feature complex problemen UML / GML Feature zijn verborgen Relations XML XSD INSPIRE Database Validation Schema Data Validation Design
  • 12. Performance Responstijd <= 5 seconden (800x600 bitmap met een kleurdiepte van 8 bit)
  • 14. Availability: 99% van de tijd beschikbaar (d.w.z. minder dan 4 dagen per jaar niet beschikbaar)
  • 16. Amazon EC2 instance - 7.5 GB of memory, - 4 EC2 Compute Units (2 virtual cores with 2 EC2 Compute Units each), - 100 GB of Elastic Block Store Volume - 64-bit platform - Windows 2008 R2 $0.48 / uur ~ 3116 € / jaar (24 x 7) $0.12 / Gb-maand ~ 100 € / jaar
  • 17. 12000 Random bounding boxes Schaal 1:10K – 1:1.5M
  • 22. Next-Next-Finish versie Cached NNF versie Optimized versie
  • 23. Responstijden (ms) NNF Users average median 90%_line min max Users 5 733 474 1542 142 13585 5 10 1689 1183 3949 147 8370 10 15 2366 1588 5324 141 8645 15 20 3429 1908 8628 147 11849 20 25 5737 2046 12132 13 54621 25 30 5730 2375 20360 9 30189 30 35 5984 3161 17979 151 26806 35
  • 24. Responstijden (ms) Cached NNF Users average median 90%_line min max 5 645 452 1304 165 2285 10 1333 660 2848 161 4219 15 2007 687 4624 161 6364 20 2545 616 5810 161 7242 25 3110 590 7687 161 9367 30 3786 738 9447 161 11826 35 4542 769 11088 161 12660
  • 25. Responstijden (ms) Optimized versie Users average median 90%_line min max 5 335 306 451 178 9966 10 596 467 1145 181 2170 15 881 475 2419 180 3264 20 1128 464 3637 181 4703 25 1363 486 4738 182 5826 30 1627 629 5014 187 6932 35 1909 527 7389 178 8648