狠狠撸

狠狠撸Share a Scribd company logo
架构大数据:挑战、现状与展望
               王珊1,)
                  )2     王会 举1 , )
                              )2          覃雄派1 , )
                                              )2        周烜1,)
                                                           )2
               1数 据 工程 与知 识 工程 教 育部 重 点实 验室 (
                )                           中国 人民大学)北京 107
                                                        082
                  2 中国人民大学信息学院 
                   )          北京10 7
                                 08 2


大 数据 分析 相 比于 传统 的 数据 仓库 应 用, 具有 数 据量 大、 查 询分 析复 杂 等特 点. 了设 计 适合 大数 据 分析
                                                       为
的数据仓 库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、
Mpeu e
 a R d c 及基于两 者的混合架构进行 了分析归纳,指出了 各自的优势及不足 ,同时也对各个方向的研究现状及
作者在大数据分析方面的努力进行了介绍,对未来研究做了展望.


     大数据;大规模可扩展; aR dc ;并行数据库;
                M p eu e      深度分析
         T 31
          P 1           1 . 3 2 / P J   0 62 1 .0 7 1
                         0   7 4 S . . 1 1. 0 1  1 4



        Acietn i aa hlegs tde n oeat
         rhtcigBgDt:Calne,SuisadFrcss

       W N  h n
        A GS a       WN u-u
                      AGHiJ              QNXogPi
                                         I in-a          ZO  un
                                                          HUXa




     2 1-81
      01 0-2             2 1- 91 本课题得到国家重大科技专项核高基项目(2 1 Z0 0 20 1 02
                          0 10 -5                    0 0X 1 4- 0 -0 )、国家自然
科学基金( 1 7 0 4 6 1 0 1 )
     6 0 0 5 , 1 7 0 3 、中国人民大学科学研究基金(中央高校基本科研业务费专项资金,1X I 1)
                                                      0N 0 8、中国人民大学研究生基
金( 1N1 0资助.王珊,女,9 4
 1 XH2 )       1 4 年生,教授,博士生导师,中国计算机学会( C )
                                       C F 高级会员,主要研究领域为高性能数据库、知识工
程、数据仓库. - al sa g r ce u c.
       E m i: wn @ u. d .n 王会举, 1 7年生,
                               男, 99  博士研究生,主要研究方向为大规模集群数据库、内存数据库. -a l
                                                                  E mi :
w n hi u rc   d. n 覃雄派, 1 7年生,
 a gu j @u . e uc .    男, 9 1 博士,讲师,中国计算机学会(C )
                                           C F 会员,主要研究方向为数据库查询优化、内存数据库、
并行数据库.
     周烜,男,1 7 年生,博士,副教授,主要研究方向为信息检索、高性能数据库.
           99
21年
01
  1期
  0
21 年
 01
1期
 0
21年
 01
1期
 0
21 年
 01
1期
0
21 年
 01
        s a e d t   n l s s / r c e i g   f t e A M S GO   n e
                                                                          c l   a a a a y i / P o e d n s o   h   C   I M D It r
                                                                       n toa o frneo  aaee to aa (IMD  9.
                                                                        ain lCnee c nMn gmn f Dt SG O'0)
                                                                        P o ie c ,R o eI ln , UA   09 1 51 8
                                                                          rv d ne   hd  s a d  S ,2 0 :6 - 7
                                                                  @ [2 J agD o   ,Si L uS  h efr ac fM pe
                                                                   @1 ] in  ,OiBC  h ,W  .Tep romne o aR
                                                                         dc : A  n dp h su y  V D ,2 1 ,3 1 : 42 4 3
                                                                         u e  n i -e t   td . PL B  0 0  ( )  7 - 8
                                                                  @ [ 3   S o e r k r M   b d     , D W t     , M d e   ,P u s n
                                                                  @ 1 ]   t n b a e   , A a i D J   e i t D J   a d n S   a lo  
                                                                          E  a l  , Rs n A  M pe u ea d pr l e  B S :
                                                                          , P vo A  a i  .   a Rd c  n   aa l lD M s
                                                                          F i n s o   o s   o m n c t o so   h  C , 21 , 5 () :
                                                                          r e d   r f e ? C m u i a i n   ft e A M  0 0  3 1  
                                                                        6 - 1
                                                                          47
                                                                  @ [4   Da   ,G eaa  .Mpe ue  l xbedt  rcs
                                                                   @1 ]  e n J  h mwtS  aRdc: Afeil  aapo es
                                                                       i gto.C muiai n fte AM 00  31:7 -7
                                                                        n o l omn ctoso  h C, 21,5( ) 27
                                                                  @ [5   ht : /w w  s e dt . cm p ou t mp e u e  h
                                                                   @1 ]  t p  / w .a t r aa   o/ r dc / ar d c. p p
                                                                  @ [6   ht : /w w  r e pu . cm t cn l g/ a r dc /
                                                                   @1 ]  t p  / w .g e n lm   o/ e ho o ym p eu e
                                                                  @[ 7  h t :/ h v. a ah .o g
                                                                   @ 1]   tp   /i e  p ce   r/
                                                                  @ [ 8   Os o  , R e  , Si a tv   ,K m rR   ok n   n
                                                                   @ 1 ]  l t nC   ed B  r v s aa U  u a  , T mi s A
                                                                          d e .P g lt n    o - of r i nl n u g  o  a a p oe s
                                                                          r w   i  a i :A n ts - o eg   ag a e fr d t  r c s
                                                                       i g/rce ig ft eAMSG O nen toa o fr
                                                                        n/P oedns o h C  IMDI train lCne
                                                                          ec   nM n gm n  f D t  S GO ' 0)   ac u e ,
                                                                          n e o  a ae e to   a a( I MD   8. V no v r
                                                                        B , Cn d ,2 0 :1 9- 1 0
                                                                          C  a aa   08  0 9 11
                                                                  @ [9 A z bue d ai  ad-al kwk,D ne  b d,
                                                                   @1 ] zaA ozi,K mlBja Pwios i ail JAai
                                                                          A e a d r R s n   v   i b r c a z   a o p B   na c i e
                                                                          l x n e   a i , A i S l e s h t . H d o D : A   r ht c
                                                                       t rlhbi  fMpe ueadD M eho oisfr aa
                                                                        ua  yrdo  aRdc  n BSt cnlge  o n
                                                                         lt c l wr l as / r ce i g  f t e3 t   ne n to a  o
                                                                         y i a  o ko d / Po e dn s o  h   5h I t ra i n lCn

                                                                          fr n eo   ey L re D t  a e  V D' 0 )  L o ,
                                                                          e e c  n Vr   ag   a aB s s( L B  9 .  y n
  @ 1   W n e C r :   0 5T p e  r ga   um r .  t p /
 @ [ ]   i t r o p   2 0  o T nP o rm S ma y  h t :/                    F a c, 2 0: 7 37 3
                                                                          rn e  0 9  3 -4
       w w  i t ro p  o / ht P pr / CT p eW . p f
        w .w n ec r .c m W ie a es W _o T nP   d                  @[ 0  H d p  n .h t :/ ww   aa t  o
                                                                   @ 2]   aa t Ic   tp  / w .h d p. c m
  @ 2 TW  hcls  eot  i aaA ayis  tp/tw .
 @ []  DICe kitRp r:BgD t nlt c.ht: /di                           @ [ 1   h t :   / w . v r i a   o / h - n l t c - l t om n t v
                                                                  @ 2 ]   t p   / w w   e t c . c m t e a a y i s p a f r / ai e
     ogr sac/00 0/i-aa Aayis s x
     r/ eerh21/ 8BgDt- nltc.a p                                         b - t- n -a o pm pe u ei t ga i n
                                                                          ie l ad h do -a r dc - ne r to /
  @ 3   C a d u i S   a a   .A   vr i w o  a aw r h ui g a d
 @ [ ]   h u h r   , D y l U   no e v e  f dt   a eo s n  n       @ [ 2   X   , K s a a   . I t g a i g h d o   n   a a ll D M /
                                                                  @ 2 ]   u Y   o t m a P   n e r t n   a o p a d p r l e   Bs /
     OA  ehooy  IMDRc  972() 5 7
     LP tcnlg.S GO e,1 9,61:6 -4                                       P oedns o h C  IMDI train lCnee c 
                                                                        rce ig ft eAMSG O nen toa o frne
  @ 4  M d e  , DWt   ,Soe rkrM  aaaep rle
 @ [ ]  a dn S  e itDJ  tnbae  .Dtb s aal l                              o  a ae eto  aa(I MD 0. Idaao i,Id
                                                                         n M ng m n fDt  SGO' 1) ni npls  ni
       i m c oc s ge t y ip c  c l b lt . Dt b s Cl m   lg
        s  h i e  r al   m at s a ai i y  a a ae o un B o.              a a  S , 21 : 99 94
                                                                          n, U A  0 0  6- 7
       h t :/ w .dtb sclm. cm20/ 0dtbs -aa
        t p/ w w  aaaeo un o/ 071/a aaepr l                       @ [ 3   Ua h aa P  w n YC   aa i sa M    a ec   n  
                                                                   @ 2 ]  p d yy   ,K o    , B lz n k  . Al t ny a d
       l ls - hi e .h m
       e i mc o cs  t l                                                  fu t t lr n eo t m zr f r oln a allq eypa s/r
                                                                         a l -o e ac   p ii e  o   niep rle  ur l n/Po

  @ 5  D a  , G eaa  .Mpeu e ipi iddt  rcs
 @ [ ]  e nJ   hm wtS a Rdc:S mlfe  aapoe s                            c eig f teAMS GO ne ntoa  ofrne o 
                                                                        edn so h  C IMD Itrai nlCne ec n
        i g o   a g  l se s / rc e i g  f te 6 h Sm o im o  
         n   n lr e cu t r /P o ed n s o  h  t   y ps u   n              Mn g mn   fD t (I M Dl )  t e s  re e 01
                                                                         a a ee t o  a a SG O 'l . Ah n ,G ec,2 1:
        O e a i g S s e   e i n a d I p e e t t o     SI ' 0 )
         p r t n   y t m D s g   n   m l m n a i n ( O D    4 .         2 1 22
                                                                          4- 5
     SnF acso a iona S ,20:171 0
     a  rnic,Cl fri,UA  04 3- 5                                   @ [4   Yn   ,Y n C  a  , M de  .Ope: Ipeet n 
                                                                   @2 ]  a g C  e  , T n C  a dnS s ry ml mnig
  @ 6  D W t    ,G r e    ,G af  ,Hyes ML ua  
 @ [ ]  e it D J  e br R H  r eeG e tn  , Kmr                            Mp e u es y ef u t tl r n ei    h r d nt i gd s rb
                                                                         a R dc - tl   a l  o ea c   na s ae - o hn   i tiu
        K B   u a i r s n  . GM A Ah g  e f r ac   a
           , M r l k i h aM   AM -  i h pr o mn e dt                      t d d t b s / P o e dn s o  h   4h I t ra i nl C n e
                                                                          e   a a a e / r ce i g  f t e2 t   ne n to a   of r
      al wdtbs  ahn/ Poedn so h  2hItr a
       fo a aaemc ie/rc eig f te1t  nen                                  ec   n Dt   ni e r n  I D '1 )  o g B ah   ai o na
                                                                         n e o  a aE g n ei g (C E   0. L n  e c ,C l f ri,
       t o a  o frne o eyL reDt  ae VD '8)
        i nl C ne ec nV r ag  aaBss (LB 6 .                             U A  0 0  5 - 6
                                                                          S, 2 1: 6 76 8
       K oo   aa , 18 .  2 -3
       y t ,J p n  96 . 28 2 7                                    @ [5   H  o gi n,L eRbo  uiYn  hoZeg  anN
                                                                   @2 ]  e Y nq a g e u a,Ha  i,Sa  hn,Ji  a
  @ 7 Fs iiS i srgw  ,Tnk  .A vr iwo h  
 @ []  uhm  ,Ktue aaM a aaH n oeve  fte                                   m t   h n   i o o g   u Z i e . R F l : A f s  n   p c
                                                                          i , Z a g X a d n , X   h w i   C i e     a t a d sa e
        s s e   o ta e o    a al l r lt o a  a a ae m ci e /
         y t m sf w r  f a pr l e  e a in l dt b s  a h n /               e f c e t d t   l c mn   t ut r  n M p eu e bs d w r
                                                                          f i i n   a a p ae e ts r c ue i   aR d c- a e  a e
        P o e d n s o   h   2 h I t r a i n lC n e ec   nV r  
         r c e i g   f t e 1 t   n e n t oa   of r n eo   e y             h u es s es / r ce i g  f t e2 t   ne n to a   of r
                                                                          o s   yt m / Po e dn s o  h   4h I t ra i nl C n e
       L r eD t  a e (L B 8)  yt ,Jpn  96292 9
        a g  a aB s sV D ' 6. Koo a a,18: 0-1                             e c   n D t   n i e rn     CE   1)   H no e ,G r a y
                                                                          n e o   a a E g ne i g( I D '1   .  a n vr   e mn ,
  @ 8 Be e  .T wrsrb s iti ue yt m/Poe d
 @ []  rwrE A oad  outd srbtd sses/ rce                                 2 1    1 91 0
                                                                          01 : 19 - 28
      ig  fte1 t nul AMSmo imo r nilso  
       nso  h 9hA na C  ypsu  nPicp e f                           @ [ 6   F o a o   , P t l J M   h k t     , T t   a d e. C l m
                                                                  @ 2 ]   l r t u A   a e     , S e i a E J   a a S n e p   ou n
       D s rb t dC m ui g (O C  0 .  o t ad  rgn
        i ti u e  o pt n   PD ' 0)   Pr l n,Oeo ,                      o ine t rg eh iusfr Mpeue  VD,2 1,
                                                                        ret dsoae tcnqe  o aR dc.PL B 01
       U A  0 07
       S , 20 :                                                         4 7    1 -2
                                                                          () : 49 4 9
  @ 9  h t :/ w w  b s. c m2 0/8 2/nw- plcto s
 @ [ ]  t p  / w. d m2   o /0 80/6k onapi ain                     @ [ 7   J n   i t i h   o g - r u f   u a é- u z   l k  i d l
                                                                  @ 2 ]   e s D t r c , J r e A n l o Q i n R i , A e h J na ,
       o -a r dc /
       f m pe u e                                                        Yg z Kr i,V nySty  ()gS hd ao p+ a
                                                                         a i  a g n ia  et,Jo r ca. Hdo+: Mk
@ [ 0  h t: / hd o .a ah . og
 @1 ]  t p  / a op  p c e  r                                             ig a y lo   lp a t rn l k   hea  wto ti v nnt
                                                                         n    e l we e h n  u  i e acet h(ih u te e oi
@ [ 1   P v o A   a l o  , R sn , Aa i J  e i tJ   a
 @ 1 ]   a l   , P u s n E  a iA   bd D ,D W tD , Md                    c n )  V D, 2 1, 31 : 58 5 9
                                                                          ig . PL B  0 0  ( )  1 -2
        d n S   t n b a e   . A c m a i o   fa p o ce   ol r e
         e   , S o e r k r M     o p r s no   pr a h st   a g     @ [ 8   C n i   , C n a   , A v r   , Hl e s en J M  l e eg  
                                                                  @ 2 ]   o d e T   o w y N   l a o P   e lr t i    , Em l e y
          K  c r . a Rdc n ie/rc eig f te7h
           , SasR  Mpeu eoln/ Poedn so h  t                  /Poednso h C IMDItrainlCne
                                                              /rceig fteAMSGO nentoa ofr
      U EI yp su nN tokdS sesDs g n m
       SNX Smoim o ewr e ytm  eina dI                        neo aaeeto aa(IMD 1) Ahn,
                                                             ec nMngmn fDt SGO'1 . tes
        pe et to    SI '1  .S nJ s, Cl fr i, 21 :3 3
        lm na in (N D   0 )  a  oe  a io na  00  1 -            G e c, 2 1: 9 99 0
                                                                 re e  0 1  4 -6
         38
         2                                              @[7 Wn uj,Wn hn i inpi iFrn,Zo 
                                                         @3] agHiu agSa,QnXoga,L uog hu
@ [9 L  ou,Mz rEwr, Da al i crg rAde,
 @2]  iBdo  au d ad io Yne,M Geo n rw                         Xa ,QnZo a,ZuQ n.Efc etsa  ur rc s 
                                                               un i  uyn  h ig  fiin  trqey poes
        Se o  rs at J   l tom fr sa al  n -a sa ay is
        hn yP ah n  .A pa fr  o  c lb eo ep s n lt c          n  nHdo  Aheac yecdn  ae p rah(e h
                                                              igo a op  i rrh n oigbs dapoc  Tc 
      u igMpe ue/rc eig f teAMS GO ne  
       sn  aRdc/ Poedn so h  C IMD Itr                          i a  e o t
                                                               n cl r pr )
        ai nl Cn ee c  nM ngm n  fD t   I MD  1 )
       nto a  of rn eo  a ae et o  aa (S GO '1  .       @[ 8 Bja Pwios iKml  bd ai lJ ib rcazv ,
                                                         @3]  ad-al kwk a i,Aai Dne , Slesh tAi
         Ah n, G ec , 21 : 8- 9
         t es  r e e  0 19 5 96                               Pu snEi. Efcet poesn  fdt  aeosn  u 
                                                               alo  rk fi in rc sigo  aawrh uigqe
@ [0 Nk e ,Pt ma ,M sr ,K lisG  odsN
 @3]  yilT  oais M iha C olo  ,Kua  .                         re  nasl teeui nevrn et/rc eig f te
                                                               isi   pi x cto n iomn/ Poedn so h 
      M Sae h rn co smlil  ure  nMpeu e
       Rhr :Saig ars u tpeqe isi a Rdc.                       AM SGO n entoa  ofrn eo aa eeto 
                                                               C IM DItra inlCn eec n Mngmn  f
         VD ,2 1 ,3 1 :4 4 55
       P L B  00   ()   9  0                                 Dt SGO'1. tes Gec, 01 9596
                                                              aa(IMD1) Ahn, ree 21: 8-9.
@ [1 Ba a ,Pt lJgeh  reoa  ,RoJ  hkt   ,
 @3]  lnsS  ae i ns,Ec gvcV  a ,Se iaEJ                         0 1 16 - 16
                                                               2 1: 1 51 7
        in Y   o pr sn o  ona gr tm  o  o  r cs ig i 
       Ta  .A cm ai o  fj i  lo ih sf rl gp oes n  n    @[9 Wn uji i inpi hn asn,Wn hn
                                                         @3] agHiu,QnXoga,ZagYnog agSa,
      M Peue/ rceig  fteA MSGO  nento a 
       ard c/Poe dnso  h C I MDItr ainl                       Wn  hne.  ierB   eai nlapo c omk  
                                                               agZa wi Ln aD:Ar ltoa  praht  ae
      o frneo  aaee to aa (IMD  0.Ida
      Cnee c nMn gmn f Dt SG O'1)  nin                        aa wrhue saelk  aRdc /Poed nso h  
                                                              dt ae os cl  ieMp eue/r ceig  fte
         pl s  n in , UA   00 9 59 6
       a o i, Id a a  S ,2 1 :7 -8                            Dt bs yt m o d acdAp iain- 6hItr a
                                                               aaae Ssesf rAvne  plct os1t  nen
@ [2 Yn  -,Ds a ,Hi oRL a krDS  a-eue
 @3]  agHC  adnA  sa - ,Pre   .Mpr dc                        inlCneec DSA'1. og og Cia
                                                             toa ofrne(AFA1) Hn Kn, hn,
        mr e  ip ii dr lt oa  aa po es n  nl re cu  
        eg :S ml fe  e ai nl dt  r cs ig o  ag  ls              0 1 36 3 0
                                                               2 1: 0 -2
      e s/rce ig ft eAMSG O nen toa o
      tr/P oedns o h C  IMDI train lCn                  @[ 0 Kry nii , TosA  elsTK  irne  ,Mrl
                                                         @4]  aaand sN si  ,Sli   ,Pe igrR  ak 
      e ec nM ngmn  fDt S GO'7.  ejn,
      frne o aae eto a a(IMD 0) Bi ig                         ,R ma ,F n ,Eh rtK a e .Po esn t r
                                                              V ask F ekR  lad  ,ByrR  rcsi gsa 
         hn ,2 0 :0 9 14
       C i a  07 1 2  0 0                                       ur e  nhe ac ia l- ls ee  a tt be /P oe dn so 
                                                              q ei so  i rr hc ly cu tr dfc  a ls /r ce ig  f

@ [ 3 Ar t  ,U la  . Otmzn  on n amprd c 
 @ 3]  faiF N lmn JD pi iigji si  a -eue                      h  8hItr ainlC neec  nVr a g aaB ss
                                                              te2t  nento a ofr neo e yLreD t ae 
        ni om n/ Po ed ns o h  3 hI tr ai nl Cn e
       evr ne t/ rc ei g  ft e1 t  ne nt oa  of r               ( L B0 )  o g Kn ,C i a  0 2  3 -4
                                                                 VD ' 2. H n  og   hn , 20 : 70 7 1
        ne o  xe dn  a aa eTc nl g. Lu an ,S iz r
       ec  nE tn ig Dt bs  e ho oy  a sn e  wte         @[1 QnXoga,Wn uj,D ioog agSa.Pr
                                                         @4] i inpi agHiu uXayn,Wn hn a
         ad  0 0  9 1 0
       l n ,2 1: 9 -1                                           le  g rgt o  ur e  vr sa  c ea    ir rh cl ec
                                                              a ll ag ea in qe is oe  t rsh m: Ah ea ci a  no

@ [4 Ja gD ug AKH h nG a- onrdc :Twrs
 @3]  in , Tn    ,Ce . Mpji- eue o ad                         ig shm n  fiin  ecni ecmui ga  a e/
                                                              dn ce eadef cetpr etl o ptn s acs/
        cl be ad ef ce td t n ls so  a g  ls es  K E
       saa l  n  fi in  a aa ay i  nl re cu tr. TD ,          rc eig f te9hI E nen toa y psu n Pr
                                                              Poedn so h  t EEI train lSmoi mo a
         00  3 9 :1 9 -3 1
       2 1 ,2 ()   29 1 1                                       le  n  it iu e  rc si gw t  pl ct os (I P   1)
                                                              a ll ad Ds rb td Po es n  ihA pi ai n   S A' 1  .
@ [5 Ln Y gaa  ,Ce  ,OiBC  uS l m  ee
 @3]  i ,A rwlD  hnC o   ,W  .Laa: Lvr                          u a ,K r a  0 1  2- 3
                                                               B sn   oe , 21 :3 9 34
        gn  o un rs oa ef rsa al  o np oe sn  n te
       aig cl ma  t rg  o  c lb ej i  rc si gi  h       @[2 DsS imnsY ee  ,GmlaR asPJ
                                                         @4] a ,Ssai ,ByrKS eul ,Ha  ,
      M peuef aeok/ rceig  fteA MSGO  n
       aRd c rmw r/Poe dnso  h C I MDI                        ch ro .R cro n ertn   n ao p/rce
                                                              MPesn J iad :Itga igRad Hdo/P oed
      e ntoa  ofrne o aae eto a aSGO' 1.
      trai nlCne ec nM ngmn  fDt(I MD1)                      nso h C IMDItrainlCneec n
                                                             ig fteAMSGO nentoa ofrneo 
         Ah n, G ec , 21 : 6- 7
         t es  r e e  0 19 1 92                              aaeeto aaSGO'0.Ahn,Gec,Id
                                                             Mngmn fDt(IMD1) tes ree ni
@ [6  O cn A  id wl  . Po esn  h t- on  s n  aR dc  
 @3 ]  ka  .R ee ad M  rc si gt ea ji su ig Mpe ue              n p ls   ni n ,U A  0 0  8 -9
                                                               a ao i ,I d aa  S , 21 : 97 9 8
架构大数据:挑战、现状与展望
作者:                  王珊, 王会举, 覃雄派, 周烜, WANG Shan, WANG Hui-Ju, QIN Xiong-Pai, ZHOU Xuan
作者单位:                数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872
刊名:                  计算机学报
英文刊名:                Chinese Journal of Computers
年,卷(期):              2011,34(10)




本文链接:http://d.g.wanfangdata.com.cn/Periodical_jsjxb201110002.aspx

More Related Content

架构大数据 挑战、现状与展望

  • 1. 架构大数据:挑战、现状与展望 王珊1,) )2 王会 举1 , ) )2 覃雄派1 , ) )2 周烜1,) )2 1数 据 工程 与知 识 工程 教 育部 重 点实 验室 ( ) 中国 人民大学)北京 107   082    2 中国人民大学信息学院     ) 北京10 7 08 2 大 数据 分析 相 比于 传统 的 数据 仓库 应 用, 具有 数 据量 大、 查 询分 析复 杂 等特 点. 了设 计 适合 大数 据 分析 为 的数据仓 库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、 Mpeu e a R d c 及基于两 者的混合架构进行 了分析归纳,指出了 各自的优势及不足 ,同时也对各个方向的研究现状及 作者在大数据分析方面的努力进行了介绍,对未来研究做了展望. 大数据;大规模可扩展; aR dc ;并行数据库; M p eu e 深度分析 T 31 P 1 1 . 3 2 / P J   0 62 1 .0 7 1 0   7 4 S . . 1 1. 0 1  1 4 Acietn i aa hlegs tde n oeat rhtcigBgDt:Calne,SuisadFrcss W N  h n A GS a WN u-u AGHiJ QNXogPi I in-a ZO  un HUXa 2 1-81 01 0-2 2 1- 91 本课题得到国家重大科技专项核高基项目(2 1 Z0 0 20 1 02 0 10 -5 0 0X 1 4- 0 -0 )、国家自然 科学基金( 1 7 0 4 6 1 0 1 ) 6 0 0 5 , 1 7 0 3 、中国人民大学科学研究基金(中央高校基本科研业务费专项资金,1X I 1) 0N 0 8、中国人民大学研究生基 金( 1N1 0资助.王珊,女,9 4 1 XH2 ) 1 4 年生,教授,博士生导师,中国计算机学会( C ) C F 高级会员,主要研究领域为高性能数据库、知识工 程、数据仓库. - al sa g r ce u c. E m i: wn @ u. d .n 王会举, 1 7年生, 男, 99 博士研究生,主要研究方向为大规模集群数据库、内存数据库. -a l E mi : w n hi u rc   d. n 覃雄派, 1 7年生, a gu j @u . e uc . 男, 9 1 博士,讲师,中国计算机学会(C ) C F 会员,主要研究方向为数据库查询优化、内存数据库、 并行数据库. 周烜,男,1 7 年生,博士,副教授,主要研究方向为信息检索、高性能数据库. 99
  • 11.         s a e d t   n l s s / r c e i g   f t e A M S GO   n e         c l   a a a a y i / P o e d n s o   h   C   I M D It r      n toa o frneo  aaee to aa (IMD  9.      ain lCnee c nMn gmn f Dt SG O'0)       P o ie c ,R o eI ln , UA   09 1 51 8        rv d ne   hd  s a d  S ,2 0 :6 - 7 @ [2 J agD o   ,Si L uS  h efr ac fM pe @1 ] in  ,OiBC  h ,W  .Tep romne o aR        dc : A  n dp h su y  V D ,2 1 ,3 1 : 42 4 3       u e  n i -e t   td . PL B  0 0  ( )  7 - 8 @ [ 3   S o e r k r M   b d     , D W t     , M d e   ,P u s n @ 1 ]   t n b a e   , A a i D J   e i t D J   a d n S   a lo           E  a l  , Rs n A  M pe u ea d pr l e  B S :        , P vo A  a i  .   a Rd c  n   aa l lD M s         F i n s o   o s   o m n c t o so   h  C , 21 , 5 () :         r e d   r f e ? C m u i a i n   ft e A M  0 0  3 1         6 - 1        47 @ [4   Da   ,G eaa  .Mpe ue  l xbedt  rcs @1 ]  e n J  h mwtS  aRdc: Afeil  aapo es      i gto.C muiai n fte AM 00  31:7 -7      n o l omn ctoso  h C, 21,5( ) 27 @ [5   ht : /w w  s e dt . cm p ou t mp e u e  h @1 ]  t p  / w .a t r aa   o/ r dc / ar d c. p p @ [6   ht : /w w  r e pu . cm t cn l g/ a r dc / @1 ]  t p  / w .g e n lm   o/ e ho o ym p eu e @[ 7  h t :/ h v. a ah .o g @ 1]   tp   /i e  p ce   r/ @ [ 8   Os o  , R e  , Si a tv   ,K m rR   ok n   n @ 1 ]  l t nC   ed B  r v s aa U  u a  , T mi s A         d e .P g lt n    o - of r i nl n u g  o  a a p oe s         r w   i  a i :A n ts - o eg   ag a e fr d t  r c s      i g/rce ig ft eAMSG O nen toa o fr      n/P oedns o h C  IMDI train lCne         ec   nM n gm n  f D t  S GO ' 0)   ac u e ,        n e o  a ae e to   a a( I MD   8. V no v r       B , Cn d ,2 0 :1 9- 1 0        C  a aa   08  0 9 11 @ [9 A z bue d ai  ad-al kwk,D ne  b d, @1 ] zaA ozi,K mlBja Pwios i ail JAai         A e a d r R s n   v   i b r c a z   a o p B   na c i e         l x n e   a i , A i S l e s h t . H d o D : A   r ht c      t rlhbi  fMpe ueadD M eho oisfr aa      ua  yrdo  aRdc  n BSt cnlge  o n        lt c l wr l as / r ce i g  f t e3 t   ne n to a  o        y i a  o ko d / Po e dn s o  h   5h I t ra i n lCn         fr n eo   ey L re D t  a e  V D' 0 )  L o ,        e e c  n Vr   ag   a aB s s( L B  9 .  y n   @ 1   W n e C r :   0 5T p e  r ga   um r .  t p / @ [ ]   i t r o p   2 0  o T nP o rm S ma y  h t :/       F a c, 2 0: 7 37 3        rn e  0 9  3 -4        w w  i t ro p  o / ht P pr / CT p eW . p f        w .w n ec r .c m W ie a es W _o T nP   d  @[ 0  H d p  n .h t :/ ww   aa t  o @ 2]   aa t Ic   tp  / w .h d p. c m   @ 2 TW  hcls  eot  i aaA ayis  tp/tw . @ []  DICe kitRp r:BgD t nlt c.ht: /di @ [ 1   h t :   / w . v r i a   o / h - n l t c - l t om n t v @ 2 ]   t p   / w w   e t c . c m t e a a y i s p a f r / ai e      ogr sac/00 0/i-aa Aayis s x     r/ eerh21/ 8BgDt- nltc.a p       b - t- n -a o pm pe u ei t ga i n        ie l ad h do -a r dc - ne r to /   @ 3   C a d u i S   a a   .A   vr i w o  a aw r h ui g a d @ [ ]   h u h r   , D y l U   no e v e  f dt   a eo s n  n   @ [ 2   X   , K s a a   . I t g a i g h d o   n   a a ll D M / @ 2 ]   u Y   o t m a P   n e r t n   a o p a d p r l e   Bs /      OA  ehooy  IMDRc  972() 5 7     LP tcnlg.S GO e,1 9,61:6 -4      P oedns o h C  IMDI train lCnee c       rce ig ft eAMSG O nen toa o frne   @ 4  M d e  , DWt   ,Soe rkrM  aaaep rle @ [ ]  a dn S  e itDJ  tnbae  .Dtb s aal l        o  a ae eto  aa(I MD 0. Idaao i,Id       n M ng m n fDt  SGO' 1) ni npls  ni        i m c oc s ge t y ip c  c l b lt . Dt b s Cl m   lg        s  h i e  r al   m at s a ai i y  a a ae o un B o.       a a  S , 21 : 99 94        n, U A  0 0  6- 7        h t :/ w .dtb sclm. cm20/ 0dtbs -aa        t p/ w w  aaaeo un o/ 071/a aaepr l @ [ 3   Ua h aa P  w n YC   aa i sa M    a ec   n   @ 2 ]  p d yy   ,K o    , B lz n k  . Al t ny a d        l ls - hi e .h m       e i mc o cs  t l        fu t t lr n eo t m zr f r oln a allq eypa s/r        a l -o e ac   p ii e  o   niep rle  ur l n/Po   @ 5  D a  , G eaa  .Mpeu e ipi iddt  rcs @ [ ]  e nJ   hm wtS a Rdc:S mlfe  aapoe s      c eig f teAMS GO ne ntoa  ofrne o       edn so h  C IMD Itrai nlCne ec n         i g o   a g  l se s / rc e i g  f te 6 h Sm o im o           n   n lr e cu t r /P o ed n s o  h  t   y ps u   n        Mn g mn   fD t (I M Dl )  t e s  re e 01       a a ee t o  a a SG O 'l . Ah n ,G ec,2 1:         O e a i g S s e   e i n a d I p e e t t o     SI ' 0 )         p r t n   y t m D s g   n   m l m n a i n ( O D    4 .       2 1 22        4- 5      SnF acso a iona S ,20:171 0     a  rnic,Cl fri,UA  04 3- 5 @ [4   Yn   ,Y n C  a  , M de  .Ope: Ipeet n  @2 ]  a g C  e  , T n C  a dnS s ry ml mnig   @ 6  D W t    ,G r e    ,G af  ,Hyes ML ua   @ [ ]  e it D J  e br R H  r eeG e tn  , Kmr        Mp e u es y ef u t tl r n ei    h r d nt i gd s rb        a R dc - tl   a l  o ea c   na s ae - o hn   i tiu         K B   u a i r s n  . GM A Ah g  e f r ac   a           , M r l k i h aM   AM -  i h pr o mn e dt         t d d t b s / P o e dn s o  h   4h I t ra i nl C n e         e   a a a e / r ce i g  f t e2 t   ne n to a   of r       al wdtbs  ahn/ Poedn so h  2hItr a       fo a aaemc ie/rc eig f te1t  nen        ec   n Dt   ni e r n  I D '1 )  o g B ah   ai o na        n e o  a aE g n ei g (C E   0. L n  e c ,C l f ri,        t o a  o frne o eyL reDt  ae VD '8)        i nl C ne ec nV r ag  aaBss (LB 6 .       U A  0 0  5 - 6        S, 2 1: 6 76 8        K oo   aa , 18 .  2 -3       y t ,J p n  96 . 28 2 7 @ [5   H  o gi n,L eRbo  uiYn  hoZeg  anN @2 ]  e Y nq a g e u a,Ha  i,Sa  hn,Ji  a   @ 7 Fs iiS i srgw  ,Tnk  .A vr iwo h   @ []  uhm  ,Ktue aaM a aaH n oeve  fte         m t   h n   i o o g   u Z i e . R F l : A f s  n   p c         i , Z a g X a d n , X   h w i   C i e     a t a d sa e         s s e   o ta e o    a al l r lt o a  a a ae m ci e /         y t m sf w r  f a pr l e  e a in l dt b s  a h n /         e f c e t d t   l c mn   t ut r  n M p eu e bs d w r         f i i n   a a p ae e ts r c ue i   aR d c- a e  a e         P o e d n s o   h   2 h I t r a i n lC n e ec   nV r           r c e i g   f t e 1 t   n e n t oa   of r n eo   e y         h u es s es / r ce i g  f t e2 t   ne n to a   of r         o s   yt m / Po e dn s o  h   4h I t ra i nl C n e        L r eD t  a e (L B 8)  yt ,Jpn  96292 9        a g  a aB s sV D ' 6. Koo a a,18: 0-1         e c   n D t   n i e rn     CE   1)   H no e ,G r a y         n e o   a a E g ne i g( I D '1   .  a n vr   e mn ,   @ 8 Be e  .T wrsrb s iti ue yt m/Poe d @ []  rwrE A oad  outd srbtd sses/ rce       2 1    1 91 0        01 : 19 - 28       ig  fte1 t nul AMSmo imo r nilso         nso  h 9hA na C  ypsu  nPicp e f @ [ 6   F o a o   , P t l J M   h k t     , T t   a d e. C l m @ 2 ]   l r t u A   a e     , S e i a E J   a a S n e p   ou n        D s rb t dC m ui g (O C  0 .  o t ad  rgn        i ti u e  o pt n   PD ' 0)   Pr l n,Oeo ,      o ine t rg eh iusfr Mpeue  VD,2 1,      ret dsoae tcnqe  o aR dc.PL B 01        U A  0 07       S , 20 :       4 7    1 -2        () : 49 4 9   @ 9  h t :/ w w  b s. c m2 0/8 2/nw- plcto s @ [ ]  t p  / w. d m2   o /0 80/6k onapi ain @ [ 7   J n   i t i h   o g - r u f   u a é- u z   l k  i d l @ 2 ]   e s D t r c , J r e A n l o Q i n R i , A e h J na ,        o -a r dc /       f m pe u e        Yg z Kr i,V nySty  ()gS hd ao p+ a       a i  a g n ia  et,Jo r ca. Hdo+: Mk @ [ 0  h t: / hd o .a ah . og @1 ]  t p  / a op  p c e  r        ig a y lo   lp a t rn l k   hea  wto ti v nnt        n    e l we e h n  u  i e acet h(ih u te e oi @ [ 1   P v o A   a l o  , R sn , Aa i J  e i tJ   a @ 1 ]   a l   , P u s n E  a iA   bd D ,D W tD , Md       c n )  V D, 2 1, 31 : 58 5 9        ig . PL B  0 0  ( )  1 -2         d n S   t n b a e   . A c m a i o   fa p o ce   ol r e         e   , S o e r k r M     o p r s no   pr a h st   a g @ [ 8   C n i   , C n a   , A v r   , Hl e s en J M  l e eg   @ 2 ]   o d e T   o w y N   l a o P   e lr t i    , Em l e y
  • 12.           K  c r . a Rdc n ie/rc eig f te7h           , SasR  Mpeu eoln/ Poedn so h  t       /Poednso h C IMDItrainlCne      /rceig fteAMSGO nentoa ofr       U EI yp su nN tokdS sesDs g n m       SNX Smoim o ewr e ytm  eina dI      neo aaeeto aa(IMD 1) Ahn,     ec nMngmn fDt SGO'1 . tes         pe et to    SI '1  .S nJ s, Cl fr i, 21 :3 3        lm na in (N D   0 )  a  oe  a io na  00  1 -         G e c, 2 1: 9 99 0         re e  0 1  4 -6          38         2 @[7 Wn uj,Wn hn i inpi iFrn,Zo  @3] agHiu agSa,QnXoga,L uog hu @ [9 L  ou,Mz rEwr, Da al i crg rAde, @2]  iBdo  au d ad io Yne,M Geo n rw       Xa ,QnZo a,ZuQ n.Efc etsa  ur rc s        un i  uyn  h ig  fiin  trqey poes         Se o  rs at J   l tom fr sa al  n -a sa ay is        hn yP ah n  .A pa fr  o  c lb eo ep s n lt c        n  nHdo  Aheac yecdn  ae p rah(e h      igo a op  i rrh n oigbs dapoc  Tc        u igMpe ue/rc eig f teAMS GO ne         sn  aRdc/ Poedn so h  C IMD Itr         i a  e o t       n cl r pr )         ai nl Cn ee c  nM ngm n  fD t   I MD  1 )       nto a  of rn eo  a ae et o  aa (S GO '1  . @[ 8 Bja Pwios iKml  bd ai lJ ib rcazv , @3]  ad-al kwk a i,Aai Dne , Slesh tAi          Ah n, G ec , 21 : 8- 9         t es  r e e  0 19 5 96       Pu snEi. Efcet poesn  fdt  aeosn  u        alo  rk fi in rc sigo  aawrh uigqe @ [0 Nk e ,Pt ma ,M sr ,K lisG  odsN @3]  yilT  oais M iha C olo  ,Kua  .       re  nasl teeui nevrn et/rc eig f te       isi   pi x cto n iomn/ Poedn so h        M Sae h rn co smlil  ure  nMpeu e       Rhr :Saig ars u tpeqe isi a Rdc.       AM SGO n entoa  ofrn eo aa eeto        C IM DItra inlCn eec n Mngmn  f          VD ,2 1 ,3 1 :4 4 55       P L B  00   ()   9  0      Dt SGO'1. tes Gec, 01 9596      aa(IMD1) Ahn, ree 21: 8-9. @ [1 Ba a ,Pt lJgeh  reoa  ,RoJ  hkt   , @3]  lnsS  ae i ns,Ec gvcV  a ,Se iaEJ         0 1 16 - 16       2 1: 1 51 7         in Y   o pr sn o  ona gr tm  o  o  r cs ig i        Ta  .A cm ai o  fj i  lo ih sf rl gp oes n  n @[9 Wn uji i inpi hn asn,Wn hn @3] agHiu,QnXoga,ZagYnog agSa,       M Peue/ rceig  fteA MSGO  nento a        ard c/Poe dnso  h C I MDItr ainl       Wn  hne.  ierB   eai nlapo c omk         agZa wi Ln aD:Ar ltoa  praht  ae       o frneo  aaee to aa (IMD  0.Ida      Cnee c nMn gmn f Dt SG O'1)  nin       aa wrhue saelk  aRdc /Poed nso h        dt ae os cl  ieMp eue/r ceig  fte          pl s  n in , UA   00 9 59 6       a o i, Id a a  S ,2 1 :7 -8       Dt bs yt m o d acdAp iain- 6hItr a       aaae Ssesf rAvne  plct os1t  nen @ [2 Yn  -,Ds a ,Hi oRL a krDS  a-eue @3]  agHC  adnA  sa - ,Pre   .Mpr dc      inlCneec DSA'1. og og Cia     toa ofrne(AFA1) Hn Kn, hn,         mr e  ip ii dr lt oa  aa po es n  nl re cu          eg :S ml fe  e ai nl dt  r cs ig o  ag  ls         0 1 36 3 0       2 1: 0 -2       e s/rce ig ft eAMSG O nen toa o      tr/P oedns o h C  IMDI train lCn @[ 0 Kry nii , TosA  elsTK  irne  ,Mrl @4]  aaand sN si  ,Sli   ,Pe igrR  ak        e ec nM ngmn  fDt S GO'7.  ejn,      frne o aae eto a a(IMD 0) Bi ig       ,R ma ,F n ,Eh rtK a e .Po esn t r      V ask F ekR  lad  ,ByrR  rcsi gsa           hn ,2 0 :0 9 14       C i a  07 1 2  0 0         ur e  nhe ac ia l- ls ee  a tt be /P oe dn so        q ei so  i rr hc ly cu tr dfc  a ls /r ce ig  f @ [ 3 Ar t  ,U la  . Otmzn  on n amprd c  @ 3]  faiF N lmn JD pi iigji si  a -eue       h  8hItr ainlC neec  nVr a g aaB ss      te2t  nento a ofr neo e yLreD t ae          ni om n/ Po ed ns o h  3 hI tr ai nl Cn e       evr ne t/ rc ei g  ft e1 t  ne nt oa  of r         ( L B0 )  o g Kn ,C i a  0 2  3 -4         VD ' 2. H n  og   hn , 20 : 70 7 1         ne o  xe dn  a aa eTc nl g. Lu an ,S iz r       ec  nE tn ig Dt bs  e ho oy  a sn e  wte   @[1 QnXoga,Wn uj,D ioog agSa.Pr @4] i inpi agHiu uXayn,Wn hn a          ad  0 0  9 1 0       l n ,2 1: 9 -1         le  g rgt o  ur e  vr sa  c ea    ir rh cl ec       a ll ag ea in qe is oe  t rsh m: Ah ea ci a  no @ [4 Ja gD ug AKH h nG a- onrdc :Twrs @3]  in , Tn    ,Ce . Mpji- eue o ad        ig shm n  fiin  ecni ecmui ga  a e/      dn ce eadef cetpr etl o ptn s acs/         cl be ad ef ce td t n ls so  a g  ls es  K E       saa l  n  fi in  a aa ay i  nl re cu tr. TD ,       rc eig f te9hI E nen toa y psu n Pr      Poedn so h  t EEI train lSmoi mo a          00  3 9 :1 9 -3 1       2 1 ,2 ()   29 1 1         le  n  it iu e  rc si gw t  pl ct os (I P   1)       a ll ad Ds rb td Po es n  ihA pi ai n   S A' 1  . @ [5 Ln Y gaa  ,Ce  ,OiBC  uS l m  ee @3]  i ,A rwlD  hnC o   ,W  .Laa: Lvr         u a ,K r a  0 1  2- 3       B sn   oe , 21 :3 9 34         gn  o un rs oa ef rsa al  o np oe sn  n te       aig cl ma  t rg  o  c lb ej i  rc si gi  h  @[2 DsS imnsY ee  ,GmlaR asPJ @4] a ,Ssai ,ByrKS eul ,Ha  ,       M peuef aeok/ rceig  fteA MSGO  n       aRd c rmw r/Poe dnso  h C I MDI       ch ro .R cro n ertn   n ao p/rce      MPesn J iad :Itga igRad Hdo/P oed       e ntoa  ofrne o aae eto a aSGO' 1.      trai nlCne ec nM ngmn  fDt(I MD1)      nso h C IMDItrainlCneec n     ig fteAMSGO nentoa ofrneo           Ah n, G ec , 21 : 6- 7         t es  r e e  0 19 1 92      aaeeto aaSGO'0.Ahn,Gec,Id     Mngmn fDt(IMD1) tes ree ni @ [6  O cn A  id wl  . Po esn  h t- on  s n  aR dc   @3 ]  ka  .R ee ad M  rc si gt ea ji su ig Mpe ue         n p ls   ni n ,U A  0 0  8 -9       a ao i ,I d aa  S , 21 : 97 9 8
  • 13. 架构大数据:挑战、现状与展望 作者: 王珊, 王会举, 覃雄派, 周烜, WANG Shan, WANG Hui-Ju, QIN Xiong-Pai, ZHOU Xuan 作者单位: 数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872 刊名: 计算机学报 英文刊名: Chinese Journal of Computers 年,卷(期): 2011,34(10) 本文链接:http://d.g.wanfangdata.com.cn/Periodical_jsjxb201110002.aspx