架构大数据 挑战、现状与展望
- 1. 架构大数据:挑战、现状与展望
王珊1,)
)2 王会 举1 , )
)2 覃雄派1 , )
)2 周烜1,)
)2
1数 据 工程 与知 识 工程 教 育部 重 点实 验室 (
) 中国 人民大学)北京 107
082
2 中国人民大学信息学院
) 北京10 7
08 2
大 数据 分析 相 比于 传统 的 数据 仓库 应 用, 具有 数 据量 大、 查 询分 析复 杂 等特 点. 了设 计 适合 大数 据 分析
为
的数据仓 库架构,文中列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、
Mpeu e
a R d c 及基于两 者的混合架构进行 了分析归纳,指出了 各自的优势及不足 ,同时也对各个方向的研究现状及
作者在大数据分析方面的努力进行了介绍,对未来研究做了展望.
大数据;大规模可扩展; aR dc ;并行数据库;
M p eu e 深度分析
T 31
P 1 1 . 3 2 / P J 0 62 1 .0 7 1
0 7 4 S . . 1 1. 0 1 1 4
Acietn i aa hlegs tde n oeat
rhtcigBgDt:Calne,SuisadFrcss
W N h n
A GS a WN u-u
AGHiJ QNXogPi
I in-a ZO un
HUXa
2 1-81
01 0-2 2 1- 91 本课题得到国家重大科技专项核高基项目(2 1 Z0 0 20 1 02
0 10 -5 0 0X 1 4- 0 -0 )、国家自然
科学基金( 1 7 0 4 6 1 0 1 )
6 0 0 5 , 1 7 0 3 、中国人民大学科学研究基金(中央高校基本科研业务费专项资金,1X I 1)
0N 0 8、中国人民大学研究生基
金( 1N1 0资助.王珊,女,9 4
1 XH2 ) 1 4 年生,教授,博士生导师,中国计算机学会( C )
C F 高级会员,主要研究领域为高性能数据库、知识工
程、数据仓库. - al sa g r ce u c.
E m i: wn @ u. d .n 王会举, 1 7年生,
男, 99 博士研究生,主要研究方向为大规模集群数据库、内存数据库. -a l
E mi :
w n hi u rc d. n 覃雄派, 1 7年生,
a gu j @u . e uc . 男, 9 1 博士,讲师,中国计算机学会(C )
C F 会员,主要研究方向为数据库查询优化、内存数据库、
并行数据库.
周烜,男,1 7 年生,博士,副教授,主要研究方向为信息检索、高性能数据库.
99
- 11. s a e d t n l s s / r c e i g f t e A M S GO n e
c l a a a a y i / P o e d n s o h C I M D It r
n toa o frneo aaee to aa (IMD 9.
ain lCnee c nMn gmn f Dt SG O'0)
P o ie c ,R o eI ln , UA 09 1 51 8
rv d ne hd s a d S ,2 0 :6 - 7
@ [2 J agD o ,Si L uS h efr ac fM pe
@1 ] in ,OiBC h ,W .Tep romne o aR
dc : A n dp h su y V D ,2 1 ,3 1 : 42 4 3
u e n i -e t td . PL B 0 0 ( ) 7 - 8
@ [ 3 S o e r k r M b d , D W t , M d e ,P u s n
@ 1 ] t n b a e , A a i D J e i t D J a d n S a lo
E a l , Rs n A M pe u ea d pr l e B S :
, P vo A a i . a Rd c n aa l lD M s
F i n s o o s o m n c t o so h C , 21 , 5 () :
r e d r f e ? C m u i a i n ft e A M 0 0 3 1
6 - 1
47
@ [4 Da ,G eaa .Mpe ue l xbedt rcs
@1 ] e n J h mwtS aRdc: Afeil aapo es
i gto.C muiai n fte AM 00 31:7 -7
n o l omn ctoso h C, 21,5( ) 27
@ [5 ht : /w w s e dt . cm p ou t mp e u e h
@1 ] t p / w .a t r aa o/ r dc / ar d c. p p
@ [6 ht : /w w r e pu . cm t cn l g/ a r dc /
@1 ] t p / w .g e n lm o/ e ho o ym p eu e
@[ 7 h t :/ h v. a ah .o g
@ 1] tp /i e p ce r/
@ [ 8 Os o , R e , Si a tv ,K m rR ok n n
@ 1 ] l t nC ed B r v s aa U u a , T mi s A
d e .P g lt n o - of r i nl n u g o a a p oe s
r w i a i :A n ts - o eg ag a e fr d t r c s
i g/rce ig ft eAMSG O nen toa o fr
n/P oedns o h C IMDI train lCne
ec nM n gm n f D t S GO ' 0) ac u e ,
n e o a ae e to a a( I MD 8. V no v r
B , Cn d ,2 0 :1 9- 1 0
C a aa 08 0 9 11
@ [9 A z bue d ai ad-al kwk,D ne b d,
@1 ] zaA ozi,K mlBja Pwios i ail JAai
A e a d r R s n v i b r c a z a o p B na c i e
l x n e a i , A i S l e s h t . H d o D : A r ht c
t rlhbi fMpe ueadD M eho oisfr aa
ua yrdo aRdc n BSt cnlge o n
lt c l wr l as / r ce i g f t e3 t ne n to a o
y i a o ko d / Po e dn s o h 5h I t ra i n lCn
fr n eo ey L re D t a e V D' 0 ) L o ,
e e c n Vr ag a aB s s( L B 9 . y n
@ 1 W n e C r : 0 5T p e r ga um r . t p /
@ [ ] i t r o p 2 0 o T nP o rm S ma y h t :/ F a c, 2 0: 7 37 3
rn e 0 9 3 -4
w w i t ro p o / ht P pr / CT p eW . p f
w .w n ec r .c m W ie a es W _o T nP d @[ 0 H d p n .h t :/ ww aa t o
@ 2] aa t Ic tp / w .h d p. c m
@ 2 TW hcls eot i aaA ayis tp/tw .
@ [] DICe kitRp r:BgD t nlt c.ht: /di @ [ 1 h t : / w . v r i a o / h - n l t c - l t om n t v
@ 2 ] t p / w w e t c . c m t e a a y i s p a f r / ai e
ogr sac/00 0/i-aa Aayis s x
r/ eerh21/ 8BgDt- nltc.a p b - t- n -a o pm pe u ei t ga i n
ie l ad h do -a r dc - ne r to /
@ 3 C a d u i S a a .A vr i w o a aw r h ui g a d
@ [ ] h u h r , D y l U no e v e f dt a eo s n n @ [ 2 X , K s a a . I t g a i g h d o n a a ll D M /
@ 2 ] u Y o t m a P n e r t n a o p a d p r l e Bs /
OA ehooy IMDRc 972() 5 7
LP tcnlg.S GO e,1 9,61:6 -4 P oedns o h C IMDI train lCnee c
rce ig ft eAMSG O nen toa o frne
@ 4 M d e , DWt ,Soe rkrM aaaep rle
@ [ ] a dn S e itDJ tnbae .Dtb s aal l o a ae eto aa(I MD 0. Idaao i,Id
n M ng m n fDt SGO' 1) ni npls ni
i m c oc s ge t y ip c c l b lt . Dt b s Cl m lg
s h i e r al m at s a ai i y a a ae o un B o. a a S , 21 : 99 94
n, U A 0 0 6- 7
h t :/ w .dtb sclm. cm20/ 0dtbs -aa
t p/ w w aaaeo un o/ 071/a aaepr l @ [ 3 Ua h aa P w n YC aa i sa M a ec n
@ 2 ] p d yy ,K o , B lz n k . Al t ny a d
l ls - hi e .h m
e i mc o cs t l fu t t lr n eo t m zr f r oln a allq eypa s/r
a l -o e ac p ii e o niep rle ur l n/Po
@ 5 D a , G eaa .Mpeu e ipi iddt rcs
@ [ ] e nJ hm wtS a Rdc:S mlfe aapoe s c eig f teAMS GO ne ntoa ofrne o
edn so h C IMD Itrai nlCne ec n
i g o a g l se s / rc e i g f te 6 h Sm o im o
n n lr e cu t r /P o ed n s o h t y ps u n Mn g mn fD t (I M Dl ) t e s re e 01
a a ee t o a a SG O 'l . Ah n ,G ec,2 1:
O e a i g S s e e i n a d I p e e t t o SI ' 0 )
p r t n y t m D s g n m l m n a i n ( O D 4 . 2 1 22
4- 5
SnF acso a iona S ,20:171 0
a rnic,Cl fri,UA 04 3- 5 @ [4 Yn ,Y n C a , M de .Ope: Ipeet n
@2 ] a g C e , T n C a dnS s ry ml mnig
@ 6 D W t ,G r e ,G af ,Hyes ML ua
@ [ ] e it D J e br R H r eeG e tn , Kmr Mp e u es y ef u t tl r n ei h r d nt i gd s rb
a R dc - tl a l o ea c na s ae - o hn i tiu
K B u a i r s n . GM A Ah g e f r ac a
, M r l k i h aM AM - i h pr o mn e dt t d d t b s / P o e dn s o h 4h I t ra i nl C n e
e a a a e / r ce i g f t e2 t ne n to a of r
al wdtbs ahn/ Poedn so h 2hItr a
fo a aaemc ie/rc eig f te1t nen ec n Dt ni e r n I D '1 ) o g B ah ai o na
n e o a aE g n ei g (C E 0. L n e c ,C l f ri,
t o a o frne o eyL reDt ae VD '8)
i nl C ne ec nV r ag aaBss (LB 6 . U A 0 0 5 - 6
S, 2 1: 6 76 8
K oo aa , 18 . 2 -3
y t ,J p n 96 . 28 2 7 @ [5 H o gi n,L eRbo uiYn hoZeg anN
@2 ] e Y nq a g e u a,Ha i,Sa hn,Ji a
@ 7 Fs iiS i srgw ,Tnk .A vr iwo h
@ [] uhm ,Ktue aaM a aaH n oeve fte m t h n i o o g u Z i e . R F l : A f s n p c
i , Z a g X a d n , X h w i C i e a t a d sa e
s s e o ta e o a al l r lt o a a a ae m ci e /
y t m sf w r f a pr l e e a in l dt b s a h n / e f c e t d t l c mn t ut r n M p eu e bs d w r
f i i n a a p ae e ts r c ue i aR d c- a e a e
P o e d n s o h 2 h I t r a i n lC n e ec nV r
r c e i g f t e 1 t n e n t oa of r n eo e y h u es s es / r ce i g f t e2 t ne n to a of r
o s yt m / Po e dn s o h 4h I t ra i nl C n e
L r eD t a e (L B 8) yt ,Jpn 96292 9
a g a aB s sV D ' 6. Koo a a,18: 0-1 e c n D t n i e rn CE 1) H no e ,G r a y
n e o a a E g ne i g( I D '1 . a n vr e mn ,
@ 8 Be e .T wrsrb s iti ue yt m/Poe d
@ [] rwrE A oad outd srbtd sses/ rce 2 1 1 91 0
01 : 19 - 28
ig fte1 t nul AMSmo imo r nilso
nso h 9hA na C ypsu nPicp e f @ [ 6 F o a o , P t l J M h k t , T t a d e. C l m
@ 2 ] l r t u A a e , S e i a E J a a S n e p ou n
D s rb t dC m ui g (O C 0 . o t ad rgn
i ti u e o pt n PD ' 0) Pr l n,Oeo , o ine t rg eh iusfr Mpeue VD,2 1,
ret dsoae tcnqe o aR dc.PL B 01
U A 0 07
S , 20 : 4 7 1 -2
() : 49 4 9
@ 9 h t :/ w w b s. c m2 0/8 2/nw- plcto s
@ [ ] t p / w. d m2 o /0 80/6k onapi ain @ [ 7 J n i t i h o g - r u f u a é- u z l k i d l
@ 2 ] e s D t r c , J r e A n l o Q i n R i , A e h J na ,
o -a r dc /
f m pe u e Yg z Kr i,V nySty ()gS hd ao p+ a
a i a g n ia et,Jo r ca. Hdo+: Mk
@ [ 0 h t: / hd o .a ah . og
@1 ] t p / a op p c e r ig a y lo lp a t rn l k hea wto ti v nnt
n e l we e h n u i e acet h(ih u te e oi
@ [ 1 P v o A a l o , R sn , Aa i J e i tJ a
@ 1 ] a l , P u s n E a iA bd D ,D W tD , Md c n ) V D, 2 1, 31 : 58 5 9
ig . PL B 0 0 ( ) 1 -2
d n S t n b a e . A c m a i o fa p o ce ol r e
e , S o e r k r M o p r s no pr a h st a g @ [ 8 C n i , C n a , A v r , Hl e s en J M l e eg
@ 2 ] o d e T o w y N l a o P e lr t i , Em l e y
- 12. K c r . a Rdc n ie/rc eig f te7h
, SasR Mpeu eoln/ Poedn so h t /Poednso h C IMDItrainlCne
/rceig fteAMSGO nentoa ofr
U EI yp su nN tokdS sesDs g n m
SNX Smoim o ewr e ytm eina dI neo aaeeto aa(IMD 1) Ahn,
ec nMngmn fDt SGO'1 . tes
pe et to SI '1 .S nJ s, Cl fr i, 21 :3 3
lm na in (N D 0 ) a oe a io na 00 1 - G e c, 2 1: 9 99 0
re e 0 1 4 -6
38
2 @[7 Wn uj,Wn hn i inpi iFrn,Zo
@3] agHiu agSa,QnXoga,L uog hu
@ [9 L ou,Mz rEwr, Da al i crg rAde,
@2] iBdo au d ad io Yne,M Geo n rw Xa ,QnZo a,ZuQ n.Efc etsa ur rc s
un i uyn h ig fiin trqey poes
Se o rs at J l tom fr sa al n -a sa ay is
hn yP ah n .A pa fr o c lb eo ep s n lt c n nHdo Aheac yecdn ae p rah(e h
igo a op i rrh n oigbs dapoc Tc
u igMpe ue/rc eig f teAMS GO ne
sn aRdc/ Poedn so h C IMD Itr i a e o t
n cl r pr )
ai nl Cn ee c nM ngm n fD t I MD 1 )
nto a of rn eo a ae et o aa (S GO '1 . @[ 8 Bja Pwios iKml bd ai lJ ib rcazv ,
@3] ad-al kwk a i,Aai Dne , Slesh tAi
Ah n, G ec , 21 : 8- 9
t es r e e 0 19 5 96 Pu snEi. Efcet poesn fdt aeosn u
alo rk fi in rc sigo aawrh uigqe
@ [0 Nk e ,Pt ma ,M sr ,K lisG odsN
@3] yilT oais M iha C olo ,Kua . re nasl teeui nevrn et/rc eig f te
isi pi x cto n iomn/ Poedn so h
M Sae h rn co smlil ure nMpeu e
Rhr :Saig ars u tpeqe isi a Rdc. AM SGO n entoa ofrn eo aa eeto
C IM DItra inlCn eec n Mngmn f
VD ,2 1 ,3 1 :4 4 55
P L B 00 () 9 0 Dt SGO'1. tes Gec, 01 9596
aa(IMD1) Ahn, ree 21: 8-9.
@ [1 Ba a ,Pt lJgeh reoa ,RoJ hkt ,
@3] lnsS ae i ns,Ec gvcV a ,Se iaEJ 0 1 16 - 16
2 1: 1 51 7
in Y o pr sn o ona gr tm o o r cs ig i
Ta .A cm ai o fj i lo ih sf rl gp oes n n @[9 Wn uji i inpi hn asn,Wn hn
@3] agHiu,QnXoga,ZagYnog agSa,
M Peue/ rceig fteA MSGO nento a
ard c/Poe dnso h C I MDItr ainl Wn hne. ierB eai nlapo c omk
agZa wi Ln aD:Ar ltoa praht ae
o frneo aaee to aa (IMD 0.Ida
Cnee c nMn gmn f Dt SG O'1) nin aa wrhue saelk aRdc /Poed nso h
dt ae os cl ieMp eue/r ceig fte
pl s n in , UA 00 9 59 6
a o i, Id a a S ,2 1 :7 -8 Dt bs yt m o d acdAp iain- 6hItr a
aaae Ssesf rAvne plct os1t nen
@ [2 Yn -,Ds a ,Hi oRL a krDS a-eue
@3] agHC adnA sa - ,Pre .Mpr dc inlCneec DSA'1. og og Cia
toa ofrne(AFA1) Hn Kn, hn,
mr e ip ii dr lt oa aa po es n nl re cu
eg :S ml fe e ai nl dt r cs ig o ag ls 0 1 36 3 0
2 1: 0 -2
e s/rce ig ft eAMSG O nen toa o
tr/P oedns o h C IMDI train lCn @[ 0 Kry nii , TosA elsTK irne ,Mrl
@4] aaand sN si ,Sli ,Pe igrR ak
e ec nM ngmn fDt S GO'7. ejn,
frne o aae eto a a(IMD 0) Bi ig ,R ma ,F n ,Eh rtK a e .Po esn t r
V ask F ekR lad ,ByrR rcsi gsa
hn ,2 0 :0 9 14
C i a 07 1 2 0 0 ur e nhe ac ia l- ls ee a tt be /P oe dn so
q ei so i rr hc ly cu tr dfc a ls /r ce ig f
@ [ 3 Ar t ,U la . Otmzn on n amprd c
@ 3] faiF N lmn JD pi iigji si a -eue h 8hItr ainlC neec nVr a g aaB ss
te2t nento a ofr neo e yLreD t ae
ni om n/ Po ed ns o h 3 hI tr ai nl Cn e
evr ne t/ rc ei g ft e1 t ne nt oa of r ( L B0 ) o g Kn ,C i a 0 2 3 -4
VD ' 2. H n og hn , 20 : 70 7 1
ne o xe dn a aa eTc nl g. Lu an ,S iz r
ec nE tn ig Dt bs e ho oy a sn e wte @[1 QnXoga,Wn uj,D ioog agSa.Pr
@4] i inpi agHiu uXayn,Wn hn a
ad 0 0 9 1 0
l n ,2 1: 9 -1 le g rgt o ur e vr sa c ea ir rh cl ec
a ll ag ea in qe is oe t rsh m: Ah ea ci a no
@ [4 Ja gD ug AKH h nG a- onrdc :Twrs
@3] in , Tn ,Ce . Mpji- eue o ad ig shm n fiin ecni ecmui ga a e/
dn ce eadef cetpr etl o ptn s acs/
cl be ad ef ce td t n ls so a g ls es K E
saa l n fi in a aa ay i nl re cu tr. TD , rc eig f te9hI E nen toa y psu n Pr
Poedn so h t EEI train lSmoi mo a
00 3 9 :1 9 -3 1
2 1 ,2 () 29 1 1 le n it iu e rc si gw t pl ct os (I P 1)
a ll ad Ds rb td Po es n ihA pi ai n S A' 1 .
@ [5 Ln Y gaa ,Ce ,OiBC uS l m ee
@3] i ,A rwlD hnC o ,W .Laa: Lvr u a ,K r a 0 1 2- 3
B sn oe , 21 :3 9 34
gn o un rs oa ef rsa al o np oe sn n te
aig cl ma t rg o c lb ej i rc si gi h @[2 DsS imnsY ee ,GmlaR asPJ
@4] a ,Ssai ,ByrKS eul ,Ha ,
M peuef aeok/ rceig fteA MSGO n
aRd c rmw r/Poe dnso h C I MDI ch ro .R cro n ertn n ao p/rce
MPesn J iad :Itga igRad Hdo/P oed
e ntoa ofrne o aae eto a aSGO' 1.
trai nlCne ec nM ngmn fDt(I MD1) nso h C IMDItrainlCneec n
ig fteAMSGO nentoa ofrneo
Ah n, G ec , 21 : 6- 7
t es r e e 0 19 1 92 aaeeto aaSGO'0.Ahn,Gec,Id
Mngmn fDt(IMD1) tes ree ni
@ [6 O cn A id wl . Po esn h t- on s n aR dc
@3 ] ka .R ee ad M rc si gt ea ji su ig Mpe ue n p ls ni n ,U A 0 0 8 -9
a ao i ,I d aa S , 21 : 97 9 8
- 13. 架构大数据:挑战、现状与展望
作者: 王珊, 王会举, 覃雄派, 周烜, WANG Shan, WANG Hui-Ju, QIN Xiong-Pai, ZHOU Xuan
作者单位: 数据工程与知识工程教育部重点实验室(中国人民大学)北京100872;中国人民大学信息学院 北京100872
刊名: 计算机学报
英文刊名: Chinese Journal of Computers
年,卷(期): 2011,34(10)
本文链接:http://d.g.wanfangdata.com.cn/Periodical_jsjxb201110002.aspx