際際滷

Google App Engine:
Datastore のクエリを
尖盾しよう

@bufferings
2010/07/31

appengine ja night #9

徭失府初
@bufferings

￠
#appengine ja night in kansai
http://www.ustream.tv/channel/ajnk
￠
Slim3 サイトの晩云�Z晒
http://sites.google.com/site/slim3documentja/
￠
Kotori Web JUnit Runner(ktrwjr こと�`じゃ )
http://code.google.com/p/ktrwjr/
2 appengine ja night #9

クエリの念に


Datastore


Bigtable


Bigtable
A distributed, shareded, sorted Array
Row name Row data


Entity


Entities Table


Entities Table
Path


Entities Table > 箭

☆ この�蹐聾田�蹐任后�g�Hの�g廾を燕すものではありません。


ソフトスキ�`マ

12 #appengine ja night in kansai 2 ( #ajnk2 )

Null �､� Missing

13 #appengine ja night in kansai 2 ( #ajnk2 )

Query & Index Tables
￠
Bigtable からのデ�`タ函誼
￠
Datastore からのデ�`タ函誼
￠
Query
￠
Query と Index
￠
Merge Join
￠
崙�s
￠
Query と MVP


Read


Prefix Scan


Range Scan


￠
￠
￠
Query
￠
Query と Index
￠
Merge Join
￠
崙�s
￠
Query と MVP


Get


Get
￠
Key = MyApp/Person(1)/Person(10)


�歌深� Batch Get


Query


Index
￠
聞喘する畠ての Query に��して Index が駅勣
￠
��い栽わせ�rの�麻?鹿�s? Join はできない
￠
プロパティの匯何を卦すことはできない
( キ�`だけを卦すことは辛嬬 )
￠
Entity を厚仟したら�v�Sする Index が厚仟される


￠
￠
￠
Query
￠
Query と Index
￠
Merge Join
￠
崙�s
￠
Query と MVP


Query の��撹
￠
Kind を峺協
￠
0 ��參貧のフィルタを峺協
=, <=, <, >, >=, !=, IN
￠
0 ��參貧のソ�`ト�を峺協
ASC, DESC

☆Kind を峺協しない Kindless Query という蒙�eな
�N�の Query もあります

Query と Kind
￠
Query は�g匯の Kind の Entity だけを函誼
★これが Kind の麼な朕議


崙�s
￠
あるプロパティをフィルタまたはソ�`トするには、そ
のプロパティが贋壓する駅勣がある
￠
音吉塀フィルタが聞喘できるのは 1 つのプロパ
ティに�られる
￠
音吉塀フィルタで聞喘されているプロパティは麿の
ソ�`ト�よりも枠にソ�`トする駅勣がある


崙�s
￠
￠ Query の碧�Mみを岑ることで
崙�sの尖喇がわかります。
￠
★ 書晩の朕��


￠
￠
￠
Query
￠
Query と Index
￠
Merge Join
￠
崙�s
￠
Query と MVP


Index Tables
￠
徭�咾牌�匹気譴� Index
￠
Kind Index
￠
Single Property Index
￠
協�xが駅勣な Index
￠
Custom Index


Kind Index


Kind Index

￠
蒙協の Kind の畠 Entity を函誼


Kind Index
￠
蒙協の Kind の畠 Entity を函誼
￠
[Kind] Food


￠
ASC


￠
DESC



￠
1 つのプロパティに��する Filter
￠
1 つのプロパティに��する Sort
￠
1 つのプロパティに��する Filter と Sort


￠
￠
[Filter] name = "Suzuki"


￠
￠
[Filter] name > "B" and name < "T"


￠
1 つのプロパティに��する Sort
￠
[Sort] name DESC


￠
1 つのプロパティに��する Filter と Sort
￠
[Filter] name > "B" and name < "T"
￠
[Sort] name ASC


Custom Index


Custom Index

￠
2 つ參貧のプロパティに��する Sort
￠
2 つ參貧のプロパティに��する Filter
￠
Ancestor と Filter または Sort
￠
Key の週�ソ�`ト

☆ Merge Join �瘁峰�で辛嬬な Query もあります。

Custom Index
￠
Custom Index の協�x


Custom Index
￠
2 つ參貧のプロパティに��する Sort
￠
[Sort] height ASC, weight DESC


Custom Index
￠
￠
[Filter] lastname = "Suzuki" and
firstname = "Jiro"


Custom Index
￠
￠
[Filter] lastname = "Suzuki" and
firstname >= "B" and firstname < "T"


Custom Index
￠
￠
[Filter] height >= 170
￠


Custom Index
￠
音吉塀フィルタ聞喘�rの 3 つのル�`ル
￠
その１
1 つの音吉塀フィルタと�}方の吉塀フィルタがあ
る��呂蓮△泙叉畔愁侫�襯燭離廛蹈僖謄�妊秋`
トされ、肝に音吉塀フィルタのプロパティでソ�`ト
されなければならない


Custom Index
￠
[Filter] height >= 165 and weight = 70
￠


Custom Index
￠
￠
その 2
1 つの音吉塀フィルタと�}方のソ�`ト�がある��
栽は、まず音吉塀フィルタのプロパティでソ�`トさ
れ、肝にその麿のプロパティでソ�`トされなけれ
ばならない


Custom Index
￠
[Filter] weight > 60
￠


Custom Index
￠
￠
その 3
音吉塀フィルタは１つのプロパティにしか�m喘で
きない


Custom Index
￠
[Filter] height >= 170 and weight >= 70


Custom Index
￠
Ancestor と Filter または Sort
￠
Ancestor Query は書晩は�h苧しません


Custom Index
￠
Key の週� Sort には Custom Index が駅勣


ここまでのまとめ
￠
徭�咾牌�匹気譴� Index
￠
Kind Index
�C 蒙協の Kind の畠 Entity を函誼
￠
�C 1 つのプロパティに��する Filter
�C 1 つのプロパティに��する Sort
�C 1 つのプロパティに��する Filter と Sort


ここまでのまとめ
￠
協�xが駅勣な Index
￠
Custom Index
�C 2 つ參貧のプロパティに��する Sort
�C 2 つ參貧のプロパティに��する Filter
�C Ancestor と Filter または Sort
�C キ�`の週� Sort


￠
￠
￠
Query
￠
Query と Index
￠
Merge Join
￠
崙�s
￠
Query と MVP


Merge Join
￠
�}方のプロパティに��して吉塀フィルタのみを�m喘
する��呂蓮� Custom Index を聞喘せずに Query
を�g佩することができる

￠
訳周
￠
[Filter] 吉塀フィルタのみ
￠
[Sort] なし


Merge Join
￠
�}方の Single Property Index をマ�`ジしながら��
沫? "Merge Join"
￠
Key がソ�`トされていることを旋喘して "zig-zag" ア
ルゴリズムを聞喘


Merge Join
￠
[Filter] a=1 and b=2 and c=3


Merge Join
￠


Merge Join
￠
デ�`タ楚が��えてくると Merge Join では�I尖しき
れなくなる
?仝 Custom Index が駅勣々というエラ�`になる

￠
Custom Index が協�xされている��呂� Merge
Join せずに Custom Index が聞喘される


￠
￠
￠
Query
￠
Query と Index
￠
Merge Join
￠
崙�s
￠
Query と MVP


崙�s
￠
￠
￠


￠
￠
￠
Query
￠
Query と Index
￠
Merge Join
￠
崙�s
￠
Query と MVP


MVP と吉塀フィルタ
￠
Entity1(Key1)
￠
favorite=["apple", "google"]
￠
Entity2(Key2)
￠
favorite=["google"]
￠
Entity3(Key3)
￠
favorite=["orange"]


￠
[Filter] favorite="google"


￠
リスト坪のいずれかの�､�畔愁侫�襯燭牧志造�
れば函誼される


￠
[Filter] favorite="google" and favorite="apple"
￠
Merge Join によって Entity1 が函誼される


MVP と音吉塀フィルタ
￠
Entity1(Key1)
￠
val=[1, 3, 5]
￠
Entity2(Key2)
￠
val=[2, 3, 4]


￠
Entity1(Key1)
￠
val=[1, 3, 5]
￠
Entity2(Key2)
￠
val=[2, 3, 4]


￠
[Filter] val >= 3
￠
恷兜にマッチしたものが�駻辰気譴�


MVP とソ�`ト�
￠
Entity1(Key1)
￠
val=[1, 3, 5]
￠
Entity2(Key2)
￠
val=[2, 3, 4]


￠
ASC でも DESC でも Entity1,Entity2 の�になる


インデックス卯�k
￠
MVP に��するフィルタを�}方隔つ Custom Index を
恬撹した��
￠
Entity1
￠
val1: 勣殆方 10
￠
val2: 勣殆方 10
￠
Custom Index
￠
[Sort] val1 ASC, val2 ASC
?Entity1 の Index は 100 佩になる

￠
1Entity に��するインデックス方は 5000 まで
￠
Entity2
￠
val1: 勣殆方 18
￠
val2: 勣殆方 18
￠
val3: 勣殆方 18
￠
Query
￠
[Filter] val1=x and val2=y and val3=z
? インデックス卯�k

￠
Ancestor Query の Custom Index
￠
Ancestor は婢�_される
￠
侮い EG を侘撹している��呂� MVP との�Mみ栽
わせでインデックス卯�kになりやすい


Next gen queries
￠
Merge Join と Multi Query(Custom Index を聞喘す
るもの ) の�g廾がパワ�`アップするらしい
http://code.google.com/events/io/2010/sessions
/next-gen-queries-appengine.html


歌深
￠
Programming Google App Engine
http://www.amazon.co.jp/o/ASIN/059652272X
￠
Under the Covers of the Google App Engine Datastore
http://sites.google.com/site/io/under-the-covers-of-the-google-app-engine-datastore

スライドは
http://snarfed.org/space/datastore_talk.html
￠
@kazunori_279 さんの仝 GAE/J ってどう聞う�々
http://d.hatena.ne.jp/kazunori_279/20090617/1245224939
￠
@ashigeru さんの仝レンジスキャンのアレ々
http://gist.github.com/294650
￠
Cacoo ( カク�` )
http://cacoo.com/


ありがとうございました


際際滷

Google App Engine: Datastore のクエリを尖盾しよう

More Related Content

Google App Engine: Datastore のクエリを尖盾しよう

際際滷

Google App Engine: Datastore のクエリを 尖盾しよう

More Related Content

Google App Engine: Datastore のクエリを 尖盾しよう

Google App Engine: Datastore のクエリを尖盾しよう

Google App Engine: Datastore のクエリを尖盾しよう