![24
データ更新
各データ収集ユニットは20秒分の GAE
xxx.appspot.com/update
データをまとめてGAEに送信
POSTするJSONデータ例
{
"id": ”UNIT_ID"
"time": "1319837460” /* elapsed seconds from the UNIX epoch time */
"power": { /* data for the last 20 seconds per measurement point */
"sensor0.0": [VAL0, VAL1, VAL2, VA3, ..., VAL19],
"sensor0.1": [VAL0, VAL1, VAL2, VA3, ..., VAL19],
"sensor1.0": [VAL0, VAL1, VAL2, VA3, ..., VAL19],
....
}
}](https://image.slidesharecdn.com/ajn20nakada-120419023903-phpapp01/85/GAE-24-320.jpg)
![25
データ取得
アプリケーションは定期的に（1分） GAE
xxx.appspot.com/latest,N
GAEからデータを取得
GETで得られるJSONデータ例
{
"time": “1319837460” /* epoch time */
"timeStr": “201110290631” /* human readable
time in JST */
"power": {
"LOCATION0": [1234]
"LOCATION1": [1234]
"LOCATION2": [1234]
"LOCATION3": [1234]
"LOCATION4": [1234]
...
} Viewer application
}](https://image.slidesharecdn.com/ajn20nakada-120419023903-phpapp01/85/GAE-25-320.jpg)
More Related Content
Viewers also liked (7)
Similar to データセンターの电力量ログを骋础贰で (20)
データセンターの电力量ログを骋础贰で
- 2. 自己紹介 ? 中田秀基 ? 産業技術総合研究所 ? http://d.hatena.ne.jp/hidemon ? Twitter @hidemotoNakada ? 並列?分散計算システムが専門 ? グリッドとか ? クラウドっぽいのとか ? MapReduceっぽいのとか ? AppEngine ? すっきりわかる Google App Engine ? AJN14でPaxosについて紹介
- 3. 今日のお話 ? さまざまなロギングをGAEでやるのは現実的か ? 可用性は？ ? 課金は？ ? アウトライン ? 産総研電力可視化プロジェクトの紹介 ? GAEによるロギング ? 実際どうだっか
- 4. Smart Meter ? 電力使用量の可視化 ? これまで ? 一ヶ月間の全体の使用量 ? Smart Grid ? 時間的、空間的に測定の粒度を小さく ? 1時間ごと、コンセント単位 ? 可視化の目的 ? 電力使用量を意識することで効率的 な 利用を促進 ? C.f. レコーディング?ダイエット ? C.f. 自動車のエコランプ
- 5. Google PowerMeter ? スマートメータを家庭に設 置、個人がデータを参照で きるようにするプロジェク ト ? 2009年2月から ? 2011年9月に打ち切り。。。 http://japanese.engadget.com/ 2009/02/10/google-powermeter/ http://googleblog.blogspot.jp/2011/06/updat e-on-google-health-and-google.html
- 6. 東日本大震災 ー 原発事故 ? 昨夏は、研究用のクラスタは全部停 止 ? 今年も夏場は多分動かせない ? なにがどれだけ電気を食っているの か ? どれを止めてどれを動かすとベストなの か ? どんな状況のときにどれだけ食うのか
- 7. 産総研電力可視化 ? 分電盤からの配線単位で電力使用量を1秒 ごとに計測、集計 ? 分電盤 – 部屋に対応 ? 分電盤一つにつき4配線 ? ゆくゆくは各グループに電力使用量を課金 ? 可能な限り安く構築 ?
- 8. 电力可视化の基本构造 集計機 DB センサー センサー センサー センサー センサー
- 9. なにがむずかしいか ? 電力センサーの情報をどうやって引っ張ってくる か ? 配電盤は地理的に散在 ? ネットワークはあるが。。。 ? 配電盤に設置する個々のセンサーは可能な限り安 く ? IPをしゃべるワンボードPCのようなものでも難しい ? 無線なんかとても使えない ? センサー数が数千になってもスケールするように
- 10. 階層化 ? 各階層で異なる通信方法を 採ることが可能 ? 上位レイヤは数が少ないの 集計機 DB で高価な通信方法を採用で きる ? 下位レイヤについては地理 的に近接であるという仮定 をおくことができる 中継機 中継機 センサー センサー センサー センサー センサー
- 11. 产総研可视化のアーキテクチャ 集計機 DB 建物間 TCP/IP データ収 データ収 集 集 十数 - 数十 ユニット ユニット 建物内 カレントループ / カレントループ / UTP UTP 計測 計測 計測 数百 ユニット ユニット ユニット 配電盤 電圧 数千 センサー センサー センサー センサー センサー
- 12. 产総研可视化のアーキテクチャ 集計機 DB 建物間 TCP/IP データ収 データ収 集 集 十数 - 数十 ユニット ユニット 建物内 カレントループ / カレントループ / UTP UTP 計測 計測 計測 数百 ユニット ユニット ユニット 配電盤 電圧 数千 センサー センサー センサー センサー センサー
- 13. 13 電力計測ユニット ? 配電盤に一つ ? 毎秒の電流?電圧値をデータ収集ユニットに送信 ? 商用電流センサ4つ含む製造コストは約1万円と 安価 ? 測定精度は国家標準に準拠することを保証 RJ-45 port Clamp-on current sensor (max: 4) Signal processing board (dsPIC30F3013)
- 16. 16 データ収集ユニット（１/２） ? クラウド接続するためのゲートウェイとして動作 ? 最大32台の計測ユニットからデータを収集し、電力値を 計算 – UTPケーブル接続によるデータ通信および電力供給 ? 20秒分の電力値をまとめてGAEにpush送信 – NATの背後でも動作可能 ? 自動コンフィグレーション機能 電力計測ユニット（最大32台）と接続 インタネット経由でGAEと 接続
- 17. 17 データ収集ユニット（２/２） 電力計測 GAE ユニット RJ-45 ports x 32 CPUボード（T-SH7706LSR） - SH3 Linux - Buildroot 2011.05 - pmon.pyスクリプト シリアル?パラレル変換器 （Xilinx Spartan-3E）
- 18. 18 産総研つくば?サーバ室 2011年8月後半より運用 フリーアクセスに設置 されたデータ収集ユニット クランプ型 電流センサ GAE 配電盤 電力計測ユニット
- 19. なんでGAEか？ ? 所内でサーバ立てるのが面倒だった ? 将来収集ユニットが数十になった時にスケールさせる のが大変そう ? バックアップが面倒 ? 将来複数の拠点からのアクセスがありうるのでファイ アウォールの中に置くことはできない ? クラックされたりすると面倒。。。 ? 輪番停電も。。
- 20. 20 Small start Go big Google App Engine Datastore 4 電流センサ 32 ポート = 128 センサ データストア ? センサは要求に応じて動的に追加可能 ? GAEも負荷に応じてスケールアウト可能 ...
- 21. 21 GAE上のデータ集計サーバ ? データ収集ユニットから受信したデータを集約し、 計測点ごとの使用電力をデータベース化 ? 1分ごとの秒単位のデータ（PowerMinite） ? 20秒に1度のupdateリクエストで更新 ? 1時間ごとの分単位のデータ（PowerHour） ? GAEのタスクキュー機能を用いて、20秒に1度更新 バックグラウンドタスクで更新 ? 1日ごとの時間単位のデータ（PowerDay） ? 1時間ごとに起動されるcronタスクで更新 ? Slim3で実装
- 22. 内部データ构造 20 秒 分 20 秒 分 20 秒 分 PowerMinute PowerHour PowerDay
- 23. 23 REST API 一覧 path method description /update POST 消費電力のアップロード /latest GET 最新の1分間の平均消費電力の取得 /latest,N GET 最新N分の平均消費電力の取得 /summary.s/YYYYmmDDHHMMSS,N GET 指定時刻からN秒の平均消費電力の取得 /summary.m/YYYYmmDDHHMM,N GET 指定時刻からN分の平均消費電力の取得 /summary.h/YYYYmmDDHH,N GET 指定時刻からN時間の平均消費電力の取得 /query.s/LOC/YYYYmmDDHHMMSS,N GET LOCから始まる場所の指定時刻からN /query.m/LOC/YYYYmmDDHHMM,N GET 秒?分の平均消費電力の取得 /unit-config/UNIT_ID GET コンフィグレーションの取得 /unit-config/UNIT_ID PUT コンフィグレーションの設定
- 24. 24 データ更新 各データ収集ユニットは20秒分の GAE xxx.appspot.com/update データをまとめてGAEに送信 POSTするJSONデータ例 { "id": ”UNIT_ID" "time": "1319837460” /* elapsed seconds from the UNIX epoch time */ "power": { /* data for the last 20 seconds per measurement point */ "sensor0.0": [VAL0, VAL1, VAL2, VA3, ..., VAL19], "sensor0.1": [VAL0, VAL1, VAL2, VA3, ..., VAL19], "sensor1.0": [VAL0, VAL1, VAL2, VA3, ..., VAL19], .... } }
- 25. 25 データ取得 アプリケーションは定期的に（1分） GAE xxx.appspot.com/latest,N GAEからデータを取得 GETで得られるJSONデータ例 { "time": “1319837460” /* epoch time */ "timeStr": “201110290631” /* human readable time in JST */ "power": { "LOCATION0": [1234] "LOCATION1": [1234] "LOCATION2": [1234] "LOCATION3": [1234] "LOCATION4": [1234] ... } Viewer application }
- 26. 26 可視化アプリケーション less than 90% of the upper limit less than 95% of the upper limit more than 95% of the upper limit Offline ウェブアプリケーション（HTML5） デスクトップアプリケーショ
- 27. 可用率 ? 半年以上運用してきて、GAE原因で止まったことは多分無い ? High replication 使用 ? 他の原因で落ちたことは何度か ? ネットワークの停止 ? 収集ユニットの暴走 3000 A B 2500 C 2000 1500 1000 500 0 直近１月のあるセンサーの値
- 28. アクセス頻度 ? アクセス回数 0.8/s 強程度 ? 8 (集計ユニット) * 2（update + 分データへの昇格） / 20s
- 29. 課金実績 ? 月10ドル前後
- 30. 課金内訳 ? データベース書き込み の課金がドミナント ? 週42万回 ? 読み出しも週15万回 ? アップデートのための読 み出し？ ? 1週間= 10080分 ? 1分に15回
- 31. 課金の問題（？）点 ? 個人のクレジットカードに来る。。。 ? 立替払いで精算 ? GAE for Businessにすればいい？ ? でもそんなにつかうわけじゃないし。 ? 1週間ごとに〆なので請求が面倒くさい。 ? 月1を選べるようにしてください。。
- 32. まとめ ? GAEはロギングにつかえるか？ ? 可用性 – 充分 ? ネットワークの可用性のほうが問題 ? 課金 - 無料では無理 ? インターバルを大きく取れば可能だろうが、セン サー側に負荷が ? 月１０ドルぐらいでOK
- 33. 謝辞 下記の皆様に感謝します ? センサーユニット担当 ? 高野了成氏、清水敏行氏 ? 電力計測ユニット担当 ? 村川正宏氏、河西勇二氏