![3.Query
! textPayloadフィールドにあるテキストに対し、
解析タイミングでjsonスキーマを定義する
! ? JSON_?EXTRACT関数は?文字列列型、
JSON_?EXTRACT_?SCALARは数値型で出?力力
! ? 集計関数(SUM,AVG,MIN,MAX)も使える
SELECT
ROW_NUMBER() OVER (ORDER BY count DESC) AS ID,
COUNT (*) AS count,
JSON_EXTRACT_SCALAR(textPayload,'$.geoip_longitude') AS lon,
JSON_EXTRACT_SCALAR(textPayload,'$.geoip_latitude') AS lat,
AVG(JSON_EXTRACT_SCALAR (textPayload,'$.response_time')) AS avelage_time
FROM [HOGE.nginx_access_20150402]
GROUP BY lat,lon
ORDER BY count DESC](https://image.slidesharecdn.com/visualizenginxlogwithgooglemap-150405215630-conversion-gate01/85/Visualize-NGiNX-log-with-GoogleMap-13-320.jpg)
More Related Content
What's hot (6)
Similar to Visualize NGiNX log with GoogleMap (20)
Visualize NGiNX log with GoogleMap
- 1. Visualize ?NGiNX ?log with ?GoogleMap
- 2. 前置き
- 3. purpose ! NGiNXのアクセス元を地図にマッピングしたい ! ? ついでにアクセス元ごとの平均レスポンスタイ ムとかも ! ? こんなかんじ
- 4. 概要
- 5. 要件 ! ? Internetからのアクセスを位置データに落落とし こむ ! ? ?大量量のログデータをサマリーし、地域毎の集計 をとる ! ? それをGoogleMapにレンダリングし、可視化
- 6. 要件への回答 ! ? どうやって位置データに絞り込む？ ?ngx_?http_?geoip_?module ! ? テキストログの集計?方法 ?Google ?BigQuery ! ? 可視化(レンダリング?方法) ?GeoFUSE
- 7. GeoFUSE? ! ? GPLライセンスのフリーウェア ! ? ソース?? mbasa/GeoFuse ?·? ?GitHub ?: ? https://github.com/mbasa/geofuse ! ? デモ?? GeoFUSE ?: ? http://geofuse.georepublic.net/geofuse/ ! ? 統計データを地図上に簡単に可視化できる ! ? ブラウザでアクセス可能(GUI)
- 8. 画?面
- 9. 详细
- 10. overwiew GeoFUSE Big QueryNGiNX 1.Logging 2.Transfer 3.Query 4.CSV
- 11. 1.Logging ! NginxのGeoIPモジュールを有効化する ! GeoIP ?C ?API及びGeoIP ?Data?leをインストール ! nginxを-‐??-‐??with-‐??http_?geoip_?moduleオプション を付けてコンパイル ! Nginx.confにGeoIP ?Data?leを指定 ! ? ロードバランサー配下の場合、GeoIPにリアルIP を通知する http { geoip_country /usr/local/share/GeoIP/GeoIP.dat; geoip_city /usr/local/share/GeoIP/GeoIPCity.dat; real_ip_header X-Forwarded-For; set_real_ip_from 10.0.0.0/8; log_format ltsv "geoip_country_name:" "$geoip_city_country_name" "t" # 国名 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?"geoip_country_code3:" "$geoip_city_country_code3" "t" # JPN/USAとか ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?"geoip_city:" "$geoip_city" "t" # 都市名 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?"geoip_latitude:" "$geoip_latitude" "t" # 緯度度 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?"geoip_longitude:" "$geoip_longitude" # 軽度度 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?; }
- 12. 2.Transfer ! Nginxのアクセスログを、BigQueryに送る ! ?uentdプラグインを使?用 ! in_?tail ! ? ?uent-‐??plugin-‐??google-‐??cloud ! NGiNXアクセスログはltsv形式 ! BigQueryにはテキストフィールドにjsonテキス トをそのまま?入れる(投?入時スキーマ定義しない)
- 13. 3.Query ! textPayloadフィールドにあるテキストに対し、 解析タイミングでjsonスキーマを定義する ! ? JSON_?EXTRACT関数は?文字列列型、 JSON_?EXTRACT_?SCALARは数値型で出?力力 ! ? 集計関数(SUM,AVG,MIN,MAX)も使える SELECT ROW_NUMBER() OVER (ORDER BY count DESC) AS ID, COUNT (*) AS count, JSON_EXTRACT_SCALAR(textPayload,'$.geoip_longitude') AS lon, JSON_EXTRACT_SCALAR(textPayload,'$.geoip_latitude') AS lat, AVG(JSON_EXTRACT_SCALAR (textPayload,'$.response_time')) AS avelage_time FROM [HOGE.nginx_access_20150402] GROUP BY lat,lon ORDER BY count DESC
- 14. 4.csv ! BigQueryの解析結果をcsvダウンロード ! ? それをGeo-‐??FUSEに喰わせる ! ? Geo-‐??FUSEデータフォーマット ! ? ヘッダ必須 ! ? 先頭カラムはID連番 ! ? 最終カラムにlon.latを置く(順番重要) ID,count,avelage_time,lon,lat 1,3135686,0.2498652794178637,139.6900,35.6900 2,1596097,0.2536400474791719,139.7514,35.6850 3,182082,0.23747259653015085,135.5200,34.6864 4,117914,0.22794176617882336,121.5250,25.0392
- 15. 最后に
- 16. 何が可視化できたのか？ ! ? ユーザーのアクセス元が判る ?リアル店舗とECサイトのアクセス元には、密 接な関係がある ?広告宣伝を出す地域の選定(テレビと密接した IP物とか) ! ? ロケーション毎のアクセス速度度 ?海外へのレスポンスは、思ったより遅くない (Wi-‐???だから？)
- 17. 以上