際際滷

際際滷Share a Scribd company logo
Accessing	
 油Public	
 油Data	
 油	
 油
(from	
 油NCBI)	
 油Using	
 油Bioconductor	
 油
Na#onal	
 油Ins#tutes	
 油of	
 油Health	
 油
Objec#ves	
 油
≒ Navigate	
 油NCBI	
 油GEO	
 油website	
 油
≒ Understand	
 油NCBI	
 油GEO	
 油data	
 油en<<es	
 油and	
 油rela#onships	
 油
   between	
 油them	
 油
≒ Use	
 油GEOquery	
 油package	
 油to	
 油import	
 油data	
 油from	
 油NCBI	
 油GEO	
 油into	
 油
   R	
 油
≒ Convert	
 油GEOquery	
 油data	
 油structures	
 油into	
 油R	
 油data	
 油structures	
 油
≒ Use	
 油GEOmetadb	
 油to	
 油鍖nd	
 油data	
 油in	
 油NCBI	
 油GEO	
 油
≒ Know	
 油rela#onship	
 油between	
 油NCBI	
 油GEO	
 油and	
 油NCBI	
 油SRA	
 油
≒ Understand	
 油how	
 油to	
 油use	
 油the	
 油SRAdb	
 油package	
 油to	
 油query	
 油SRA	
 油
   metadata	
 油
≒ Use	
 油SRAdb	
 油package	
 油to	
 油control	
 油the	
 油Integrated	
 油Genome	
 油
   Viewer	
 油(IGV)	
 油from	
 油R	
 油
Public datatutorialoverview
MIAME-足compliant	
 油Data	
 油
≒ The	
 油raw	
 油data	
 油for	
 油each	
 油hybridiza#on	
 油(e.g.,	
 油CEL	
 油or	
 油GPR	
 油鍖les)	
 油
≒ The	
 油鍖nal	
 油processed	
 油(normalized)	
 油data	
 油for	
 油the	
 油set	
 油of	
 油hybridiza#ons	
 油in	
 油the	
 油
   experiment	
 油(study)	
 油(e.g.,	
 油the	
 油gene	
 油expression	
 油data	
 油matrix	
 油used	
 油to	
 油draw	
 油the	
 油
   conclusions	
 油from	
 油the	
 油study)	
 油
≒ The	
 油essen#al	
 油sample	
 油annota#on	
 油including	
 油experimental	
 油factors	
 油and	
 油their	
 油
   values	
 油(e.g.,	
 油compound	
 油and	
 油dose	
 油in	
 油a	
 油dose	
 油response	
 油experiment)	
 油
≒ The	
 油experimental	
 油design	
 油including	
 油sample	
 油data	
 油rela#onships	
 油(e.g.,	
 油which	
 油
   raw	
 油data	
 油鍖le	
 油relates	
 油to	
 油which	
 油sample,	
 油which	
 油hybridiza#ons	
 油are	
 油technical,	
 油
   which	
 油are	
 油biological	
 油replicates)	
 油
≒ Su鍖cient	
 油annota#on	
 油of	
 油the	
 油array	
 油(e.g.,	
 油gene	
 油iden#鍖ers,	
 油genomic	
 油
   coordinates,	
 油probe	
 油oligonucleo#de	
 油sequences	
 油or	
 油reference	
 油commercial	
 油
   array	
 油catalog	
 油number)	
 油
≒ The	
 油essen#al	
 油laboratory	
 油and	
 油data	
 油processing	
 油protocols	
 油(e.g.,	
 油what	
 油
   normaliza#on	
 油method	
 油has	
 油been	
 油used	
 油to	
 油obtain	
 油the	
 油鍖nal	
 油processed	
 油data)	
 油
Whats	
 油in	
 油GEO	
 油
≒ Gene	
 油expression	
 油pro鍖ling	
 油by	
 油microarray	
 油or	
 油next-足genera#on	
 油
   sequencing	
 油
≒ Non-足coding	
 油RNA	
 油pro鍖ling	
 油by	
 油microarray	
 油or	
 油next-足genera#on	
 油
   sequencing	
 油
≒ Chroma#n	
 油immunoprecipita#on	
 油(ChIP)	
 油pro鍖ling	
 油by	
 油
   microarray	
 油or	
 油next-足genera#on	
 油sequencing	
 油
≒ Genome	
 油methyla#on	
 油pro鍖ling	
 油by	
 油microarray	
 油or	
 油next-足
   genera#on	
 油sequencing	
 油
≒ Genome	
 油varia#on	
 油pro鍖ling	
 油by	
 油array	
 油(arrayCGH)	
 油
≒ SNP	
 油arrays	
 油
≒ Serial	
 油Analysis	
 油of	
 油Gene	
 油Expression	
 油(SAGE)	
 油
≒ Protein	
 油arrays	
 油
GEO	
 油data	
 油en##es	
 油
≒ GEO	
 油Samples	
 油(GSM)	
 油
≒ GEO	
 油PlaYorm	
 油(GPL)	
 油
≒ GEO	
 油Series	
 油(GSE)	
 油
     Collec#ons	
 油of	
 油related	
 油GSM	
 油and	
 油GPL	
 油along	
 油with	
 油free-足text	
 油
       study	
 油metadata	
 油
     Two	
 油data	
 油鍖avors	
 油
         ≒ GSE	
 油
         ≒ GSEMatrix	
 油
≒ GEO	
 油Dataset	
 油(GDS)	
 油	
 油
     Only	
 油data	
 油en#ty	
 油that	
 油is	
 油curated	
 油by	
 油NCBI	
 油GEO	
 油sta鍖	
 油
     Typically,	
 油samples	
 油are	
 油divided	
 油into	
 油sta#s#cally	
 油and	
 油
       biologically	
 油relevant	
 油groups	
 油upon	
 油which	
 油we	
 油can	
 油compute	
 油
NCBI	
 油GEO	
 油website	
 油
≒ h^p://www.ncbi.nlm.nih.gov/geo/	
 油
GEO	
 油SOFT	
 油Format	
 油
GEO	
 油SOFT	
 油Format	
 油
GEOquery	
 油
≒ Singular	
 油goal:	
 油Get	
 油data	
 油from	
 油NCBI	
 油GEO	
 油and	
 油
   parse	
 油into	
 油R	
 油objects	
 油
≒ Secondary	
 油goals:	
 油
     Get	
 油supplemental	
 油鍖les	
 油from	
 油NCBI	
 油GEO	
 油
     Allow	
 油large-足scale	
 油data	
 油mining	
 油by	
 油doing	
 油all-足of-足the-足
       above	
 油in	
 油a	
 油lossless	
 油manner	
 油
GEOquery	
 油Data	
 油Structures	
 油	
 油
   (GSM,	
 油GPL,	
 油GDS)	
 油
GEOquery	
 油Data	
 油Structures	
 油
          (GSE)	
 油
GEOquery	
 油Walkthrough	
 油
≒ h^p://watson.nci.nih.gov/~sdavis/	
 油
     Click	
 油on	
 油Tutorials	
 油and	
 油then	
 油on	
 油Accessing	
 油public	
 油
       data.	
 油
≒ Download	
 油the	
 油R	
 油script	
 油for	
 油cut-足and-足paste	
 油to	
 油
   follow	
 油along	
 油
GEOmetadb	
 油
≒ Finding	
 油data	
 油in	
 油NCBI	
 油GEO	
 油can	
 油be	
 油challenging	
 油
≒ Some	
 油inves#gators	
 油need	
 油large-足scale,	
 油
   computable	
 油access	
 油to	
 油GEO	
 油metadata	
 油
≒ Given	
 油one	
 油GEO	
 油en#ty	
 油type,	
 油it	
 油may	
 油be	
 油useful	
 油to	
 油
   鍖nd	
 油all	
 油rela#onships	
 油with	
 油other	
 油en#ty	
 油types	
 油
   (eg.,	
 油鍖nd	
 油all	
 油hgu133a	
 油arrays	
 油in	
 油GEO)	
 油
GEOmetadb	
 油
≒ What	
 油is	
 油GEOmetadb?	
 油
    	
 油A	
 油Bioconductor	
 油package	
 油that	
 油o鍖ers	
 油an	
 油alterna#ve	
 油
      to	
 油eU#ls	
 油data	
 油mining	
 油of	
 油GEO	
 油metadata	
 油
    A	
 油SQLite	
 油database	
 油which	
 油stores	
 油all	
 油the	
 油GEO	
 油
      metadata	
 油in	
 油a	
 油rela#onal	
 油format	
 油for	
 油easy	
 油querying,	
 油
      par#cularly	
 油in	
 油bulk	
 油
≒ What	
 油is	
 油GEOmetadb	
 油NOT?	
 油
    We	
 油have	
 油not	
 油a^empted	
 油to	
 油alter	
 油or	
 油standardize	
 油in	
 油
      any	
 油way	
 油the	
 油data	
 油from	
 油GEO	
 油
GEOmetadb	
 油Schema	
 油
Public datatutorialoverview
GEOmetadb	
 油Walkthrough	
 油
SRAdb	
 油
≒ Similar	
 油goals	
 油to	
 油GEOmetadb,	
 油but	
 油with	
 油SRA	
 油
   data	
 油
≒ Data	
 油for	
 油SRA	
 油(ENA,	
 油DRA)	
 油are	
 油mirrored,	
 油but	
 油
   exact	
 油policies	
 油are	
 油a	
 油bit	
 油unclear	
 油(to	
 油me)	
 油
≒ Accessing	
 油to	
 油the	
 油data	
 油also	
 油provided	
 油by	
 油SRAdb	
 油
   package,	
 油but	
 油further	
 油processing	
 油(SRA	
 油SDK)	
 油
   now	
 油needed	
 油to	
 油get	
 油FASTQ	
 油鍖les	
 油
SRAdb	
 油and	
 油NCBI	
 油SRA	
 油
Recently,	
 油NCBI	
 油announced	
 油that	
 油due	
 油to	
 油budget	
 油constraints,	
 油it	
 油would	
 油be	
 油discon#nuing	
 油its	
 油
Sequence	
 油Read	
 油Archive	
 油(SRA)	
 油and	
 油Trace	
 油Archive	
 油repositories	
 油for	
 油high-足throughput	
 油
sequence	
 油data.	
 油However,	
 油NIH	
 油has	
 油since	
 油commi^ed	
 油interim	
 油funding	
 油for	
 油SRA	
 油in	
 油its	
 油current	
 油
form	
 油un#l	
 油October	
 油1,	
 油2011.	
 油In	
 油addi#on,	
 油NCBI	
 油has	
 油been	
 油working	
 油with	
 油sta鍖	
 油from	
 油other	
 油NIH	
 油
Ins#tutes	
 油and	
 油NIH	
 油grantees	
 油to	
 油develop	
 油an	
 油approach	
 油to	
 油con#nue	
 油archiving	
 油a	
 油widely	
 油used	
 油
subset	
 油of	
 油next	
 油genera#on	
 油sequencing	
 油data	
 油ajer	
 油October	
 油1,	
 油2011.	
 油

We	
 油now	
 油plan	
 油to	
 油con#nue	
 油handling	
 油sequencing	
 油data	
 油associated	
 油with:	
 油

≒RNA-足Seq,	
 油ChIP-足Seq,	
 油and	
 油epigenomic	
 油data	
 油that	
 油are	
 油submi^ed	
 油to	
 油GEO	
 油
≒Genomic	
 油and	
 油Transcriptomic	
 油assemblies	
 油that	
 油are	
 油submi^ed	
 油to	
 油GenBank	
 油
≒16S	
 油ribosomal	
 油RNA	
 油data	
 油associated	
 油with	
 油metagenomics	
 油that	
 油are	
 油submi^ed	
 油to	
 油GenBank	
 油

In	
 油addi#on,	
 油NCBI	
 油will	
 油con#nue	
 油to	
 油provide	
 油access	
 油to	
 油exis#ng	
 油SRA	
 油and	
 油Trace	
 油Archive	
 油data	
 油
for	
 油the	
 油foreseeable	
 油future.	
 油NCBI	
 油is	
 油also	
 油con#nuing	
 油to	
 油discuss	
 油with	
 油NIH	
 油Ins#tutes	
 油
approaches	
 油for	
 油handling	
 油other	
 油next-足genera#on	
 油sequencing	
 油data	
 油associated	
 油with	
 油speci鍖c	
 油
large-足scale	
 油studies.	
 油
SRAdb	
 油and	
 油IGV	
 油Walkthrough	
 油
≒ Download	
 油and	
 油start	
 油IGV:	
 油
     h^p://www.broadins#tute.org/sojware/igv/
       download	
 油
Public datatutorialoverview

More Related Content

Public datatutorialoverview

  • 1. Accessing 油Public 油Data 油 油 (from 油NCBI) 油Using 油Bioconductor 油
  • 3. Objec#ves 油 ≒ Navigate 油NCBI 油GEO 油website 油 ≒ Understand 油NCBI 油GEO 油data 油en<<es 油and 油rela#onships 油 between 油them 油 ≒ Use 油GEOquery 油package 油to 油import 油data 油from 油NCBI 油GEO 油into 油 R 油 ≒ Convert 油GEOquery 油data 油structures 油into 油R 油data 油structures 油 ≒ Use 油GEOmetadb 油to 油鍖nd 油data 油in 油NCBI 油GEO 油 ≒ Know 油rela#onship 油between 油NCBI 油GEO 油and 油NCBI 油SRA 油 ≒ Understand 油how 油to 油use 油the 油SRAdb 油package 油to 油query 油SRA 油 metadata 油 ≒ Use 油SRAdb 油package 油to 油control 油the 油Integrated 油Genome 油 Viewer 油(IGV) 油from 油R 油
  • 5. MIAME-足compliant 油Data 油 ≒ The 油raw 油data 油for 油each 油hybridiza#on 油(e.g., 油CEL 油or 油GPR 油鍖les) 油 ≒ The 油鍖nal 油processed 油(normalized) 油data 油for 油the 油set 油of 油hybridiza#ons 油in 油the 油 experiment 油(study) 油(e.g., 油the 油gene 油expression 油data 油matrix 油used 油to 油draw 油the 油 conclusions 油from 油the 油study) 油 ≒ The 油essen#al 油sample 油annota#on 油including 油experimental 油factors 油and 油their 油 values 油(e.g., 油compound 油and 油dose 油in 油a 油dose 油response 油experiment) 油 ≒ The 油experimental 油design 油including 油sample 油data 油rela#onships 油(e.g., 油which 油 raw 油data 油鍖le 油relates 油to 油which 油sample, 油which 油hybridiza#ons 油are 油technical, 油 which 油are 油biological 油replicates) 油 ≒ Su鍖cient 油annota#on 油of 油the 油array 油(e.g., 油gene 油iden#鍖ers, 油genomic 油 coordinates, 油probe 油oligonucleo#de 油sequences 油or 油reference 油commercial 油 array 油catalog 油number) 油 ≒ The 油essen#al 油laboratory 油and 油data 油processing 油protocols 油(e.g., 油what 油 normaliza#on 油method 油has 油been 油used 油to 油obtain 油the 油鍖nal 油processed 油data) 油
  • 6. Whats 油in 油GEO 油 ≒ Gene 油expression 油pro鍖ling 油by 油microarray 油or 油next-足genera#on 油 sequencing 油 ≒ Non-足coding 油RNA 油pro鍖ling 油by 油microarray 油or 油next-足genera#on 油 sequencing 油 ≒ Chroma#n 油immunoprecipita#on 油(ChIP) 油pro鍖ling 油by 油 microarray 油or 油next-足genera#on 油sequencing 油 ≒ Genome 油methyla#on 油pro鍖ling 油by 油microarray 油or 油next-足 genera#on 油sequencing 油 ≒ Genome 油varia#on 油pro鍖ling 油by 油array 油(arrayCGH) 油 ≒ SNP 油arrays 油 ≒ Serial 油Analysis 油of 油Gene 油Expression 油(SAGE) 油 ≒ Protein 油arrays 油
  • 7. GEO 油data 油en##es 油 ≒ GEO 油Samples 油(GSM) 油 ≒ GEO 油PlaYorm 油(GPL) 油 ≒ GEO 油Series 油(GSE) 油 Collec#ons 油of 油related 油GSM 油and 油GPL 油along 油with 油free-足text 油 study 油metadata 油 Two 油data 油鍖avors 油 ≒ GSE 油 ≒ GSEMatrix 油 ≒ GEO 油Dataset 油(GDS) 油 油 Only 油data 油en#ty 油that 油is 油curated 油by 油NCBI 油GEO 油sta鍖 油 Typically, 油samples 油are 油divided 油into 油sta#s#cally 油and 油 biologically 油relevant 油groups 油upon 油which 油we 油can 油compute 油
  • 8. NCBI 油GEO 油website 油 ≒ h^p://www.ncbi.nlm.nih.gov/geo/ 油
  • 11. GEOquery 油 ≒ Singular 油goal: 油Get 油data 油from 油NCBI 油GEO 油and 油 parse 油into 油R 油objects 油 ≒ Secondary 油goals: 油 Get 油supplemental 油鍖les 油from 油NCBI 油GEO 油 Allow 油large-足scale 油data 油mining 油by 油doing 油all-足of-足the-足 above 油in 油a 油lossless 油manner 油
  • 12. GEOquery 油Data 油Structures 油 油 (GSM, 油GPL, 油GDS) 油
  • 14. GEOquery 油Walkthrough 油 ≒ h^p://watson.nci.nih.gov/~sdavis/ 油 Click 油on 油Tutorials 油and 油then 油on 油Accessing 油public 油 data. 油 ≒ Download 油the 油R 油script 油for 油cut-足and-足paste 油to 油 follow 油along 油
  • 15. GEOmetadb 油 ≒ Finding 油data 油in 油NCBI 油GEO 油can 油be 油challenging 油 ≒ Some 油inves#gators 油need 油large-足scale, 油 computable 油access 油to 油GEO 油metadata 油 ≒ Given 油one 油GEO 油en#ty 油type, 油it 油may 油be 油useful 油to 油 鍖nd 油all 油rela#onships 油with 油other 油en#ty 油types 油 (eg., 油鍖nd 油all 油hgu133a 油arrays 油in 油GEO) 油
  • 16. GEOmetadb 油 ≒ What 油is 油GEOmetadb? 油 油A 油Bioconductor 油package 油that 油o鍖ers 油an 油alterna#ve 油 to 油eU#ls 油data 油mining 油of 油GEO 油metadata 油 A 油SQLite 油database 油which 油stores 油all 油the 油GEO 油 metadata 油in 油a 油rela#onal 油format 油for 油easy 油querying, 油 par#cularly 油in 油bulk 油 ≒ What 油is 油GEOmetadb 油NOT? 油 We 油have 油not 油a^empted 油to 油alter 油or 油standardize 油in 油 any 油way 油the 油data 油from 油GEO 油
  • 20. SRAdb 油 ≒ Similar 油goals 油to 油GEOmetadb, 油but 油with 油SRA 油 data 油 ≒ Data 油for 油SRA 油(ENA, 油DRA) 油are 油mirrored, 油but 油 exact 油policies 油are 油a 油bit 油unclear 油(to 油me) 油 ≒ Accessing 油to 油the 油data 油also 油provided 油by 油SRAdb 油 package, 油but 油further 油processing 油(SRA 油SDK) 油 now 油needed 油to 油get 油FASTQ 油鍖les 油
  • 21. SRAdb 油and 油NCBI 油SRA 油 Recently, 油NCBI 油announced 油that 油due 油to 油budget 油constraints, 油it 油would 油be 油discon#nuing 油its 油 Sequence 油Read 油Archive 油(SRA) 油and 油Trace 油Archive 油repositories 油for 油high-足throughput 油 sequence 油data. 油However, 油NIH 油has 油since 油commi^ed 油interim 油funding 油for 油SRA 油in 油its 油current 油 form 油un#l 油October 油1, 油2011. 油In 油addi#on, 油NCBI 油has 油been 油working 油with 油sta鍖 油from 油other 油NIH 油 Ins#tutes 油and 油NIH 油grantees 油to 油develop 油an 油approach 油to 油con#nue 油archiving 油a 油widely 油used 油 subset 油of 油next 油genera#on 油sequencing 油data 油ajer 油October 油1, 油2011. 油 We 油now 油plan 油to 油con#nue 油handling 油sequencing 油data 油associated 油with: 油 ≒RNA-足Seq, 油ChIP-足Seq, 油and 油epigenomic 油data 油that 油are 油submi^ed 油to 油GEO 油 ≒Genomic 油and 油Transcriptomic 油assemblies 油that 油are 油submi^ed 油to 油GenBank 油 ≒16S 油ribosomal 油RNA 油data 油associated 油with 油metagenomics 油that 油are 油submi^ed 油to 油GenBank 油 In 油addi#on, 油NCBI 油will 油con#nue 油to 油provide 油access 油to 油exis#ng 油SRA 油and 油Trace 油Archive 油data 油 for 油the 油foreseeable 油future. 油NCBI 油is 油also 油con#nuing 油to 油discuss 油with 油NIH 油Ins#tutes 油 approaches 油for 油handling 油other 油next-足genera#on 油sequencing 油data 油associated 油with 油speci鍖c 油 large-足scale 油studies. 油
  • 22. SRAdb 油and 油IGV 油Walkthrough 油 ≒ Download 油and 油start 油IGV: 油 h^p://www.broadins#tute.org/sojware/igv/ download 油