祝Elasticsearch 7.6、date, number 型での ソートがさらに高速に!? Magic WANDってなんですか?
0 likes413 views
Elasticsearch勉強会 #35 で発表した資料です。
1 of 15
Download to read offline
Ad
Recommended
Part 2: Data & AI 基盤 (製造リファレンス?アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス?アーキテクチャ勉強会)Takeshi Fukuhara
?
「製造リファレンス?アーキテクチャをベースとしたシステム構築を行うための基盤技術トレーニング」と題して実施した一連の勉強会スライド。
こちらのスライドの説明動画は、前編 - https://aka.ms/mfgra4mpn010a / 後編 - https://aka.ms/mfgra4mpn010b から参照できます。
Microsoft Partner Network参加パートナー様は、こちらのスライドのPDFファイルを、 https://assetsprod.microsoft.com/mpn/ja-jp/resource-205 よりダウンロード可能です。「ウチの事業部の商品をWebサイト?アプリで目立たせて！」私だけじゃなかった！ 社内政治と落としどころの見つけ方
「ウチの事業部の商品をWebサイト?アプリで目立たせて！」私だけじゃなかった！ 社内政治と落としどころの見つけ方Yoshiki Hayama
?
Web担当者Forum秋のイベント 11月7日（月）14:05 KA1-4 セッションのスライドです。
「ウチの事業部の商品をWebサイトとアプリのトップに載せて！」
「新機能をとにかく目立たせろ！ 利用数をとにかく増やして！」
Webサイトやアプリを運用していると、社内のあちこちから、さまざまな圧力や依頼が舞い込むものです。えらい人からの現場を知らない指示であったり、発言力の強い部署からの高圧的な依頼であったり、決裁者からの思いつきの要望であったり……。その多くは「その人の視点から見た世界」の個別最適であり、全体最適でのユーザー目線に欠けていたり、Webサイトやアプリの使いやすさを毀損する内容であったりします。Web担当者やプロダクトマネージャーは社内の不要な衝突を避けながら、決裁者からは予算を引き出し、ユーザーに価値を届けられるプロダクトのかたちを守り続けなければなりません。本セッションでは、業界歴20年超の発表者が、あるあるエピソードを取り上げながら、社内政治の泣き笑いと、落としどころの見つけかたを模索します。AWS Black Belt Online Seminar 2017 Amazon Kinesis
AWS Black Belt Online Seminar 2017 Amazon KinesisAmazon Web Services Japan
?
AWS Black Belt Online Seminar 2017 Amazon KinesisYugabyteDBを使ってみよう - part2 -（NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料）
YugabyteDBを使ってみよう - part2 -（NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料）NTT DATA Technology & Innovation
?
YugabyteDBを使ってみよう
- part2 -
（NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料）
2022年12月22日（木）
NTTデータ
技術開発本部 先進コンピューティング技術センタ
笠原 辰仁Managed Service Provider(MSP)によるマルチOrganizations管理の裏側（Security JAWS 第24回 発表資料）
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側（Security JAWS 第24回 発表資料）NTT DATA Technology & Innovation
?
Managed Service Provider(MSP)によるマルチOrganizations管理の裏側
（Security JAWS 第24回 発表資料）
2022年2月28日
NTTデータ
奥村 康晃新机能によるデータベースシステムの改善ポイント
新机能によるデータベースシステムの改善ポイントオラクルエンジニア通信
?
Oracle Database 10g 以降の主な新機能をまとめました。
?パフォーマンス向上、高可用性、運用管理、セキュリティ
これからバージョンアップしようとする際に、新機能を利用してシステムの品質を上げることができないか検討する際に、
すでに、10g以降のOracle Databaseをお使いであれば、活用できる機能はないかを検討する際に、ご利用頂ければと存じます。 pg_bigmで全文検索するときに気を付けたい5つのポイント（第23回PostgreSQLアンカンファレンス@オンライン 発表資料）
pg_bigmで全文検索するときに気を付けたい5つのポイント（第23回PostgreSQLアンカンファレンス@オンライン 発表資料）NTT DATA Technology & Innovation
?
pg_bigmで全文検索するときに気を付けたい5つのポイント
（第23回PostgreSQLアンカンファレンス@オンライン 発表資料）
2021年5月11日
株式会社NTTデータ
技術開発本部 先進コンピューティング技術センタ
藤井 雅雄Cognitive Complexity でコードの複雑さを定量的に計測しよう
Cognitive Complexity でコードの複雑さを定量的に計測しようShuto Suzuki
?
Speaker Deckに移行しました
https://speakerdeck.com/s2terminal/cognitive-complexity-dekodonofu-za-sawoding-liang-de-niji-ce-siyou20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...Amazon Web Services Japan
?
AWS公式オンラインセミナー: https://amzn.to/JPWebinar
過去資料: https://amzn.to/JPArchiveフロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjugItsuki Kuroda
?
XP祭り2017のセッションのスライドになります。
http://xpjug.com/xp2017-session-a5-1/
元ネタは以下です。
http://i2key.hateblo.jp/entry/2017/05/15/082655
※CCPMの表記について一部誤解を与える部分がありましたので、表記を削除いたしました。 2017/09/21 0:27フロー効率性とリソース効率性、再入門 #devlove #devkan
フロー効率性とリソース効率性、再入門 #devlove #devkanItsuki Kuroda
?
DevLove関西の以下のイベントのスライドです
https://devlove-kansai.doorkeeper.jp/events/75644テ?ータ収集の基本と「闯补辫补苍罢补虫颈」アフ?リにおける実践例
テ?ータ収集の基本と「闯补辫补苍罢补虫颈」アフ?リにおける実践例Tetsutaro Watanabe
?
データ収集の基本として、データソース毎に典型的なデータ収集方法を整理して説明しています。また闯补辫补苍罢补虫颈アプリにおいてどのように実践しているかを説明しています。Db2をAWS上に構築する際のヒント＆TIPS 2019年7月版
Db2をAWS上に構築する際のヒント＆TIPS 2019年7月版Akira Shimosako
?
更新版資料はこちらです
https://speakerdeck.com/simosako/db2-on-aws-hint-and-tips
==
IBM Db2 を AWS上に構築する際のヒント＆Tipsです。
以下の資料が古くなっていたので、記述を現在のAWSサービスに合わせて更新したものです。
/simosako/db2awstips-20181
/simosako/db2awstipsTeam Geek「何故チームにリスヘ?クトか?必要なのか」 / フォトラクションValues社内勉強会資料
Team Geek「何故チームにリスヘ?クトか?必要なのか」 / フォトラクションValues社内勉強会資料MasaruNoda
?
建设的な议论を実现する心理的安全性を高めることを目的とした、フォトラクションの痴补濒耻别「敬意尊尚」。この痴补濒耻别の背景を説明するために、「罢别补尘骋别别办」を题材に社内勉强会を実施しました。Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS驰补丑辞辞!デベロッパーネットワーク
?
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQLはじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタSatoyuki Tsukano
?
The First Elasticsearch Cluster
2018-07-25
JJUG ナイトセミナー「Elasticsearch特集」AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMRAmazon Web Services Japan
?
AWS Black Belt Tech Webinar 2014
(旧マイスターシリーズ)
Amazon EMRSharePoint Online 「アクセス権」を理解する
SharePoint Online 「アクセス権」を理解するKazuhiko Nakamura
?
2013年8月31日に開催された Office 365 勉強会のセッションスライドです。SharePoint Online を活用する上で最も基本かつ重要になる「アクセス権」について、その基本と要注意ポイント、そして新機能「共有」について解説しました。またあわせてアクセス管理に役立つ弊社ソリューション「SharePoint 権限レポーター」のご紹介です。お問い合わせはシンプレッソ?コンサルティング株式会社 中村迄。暗号技术の実装と数学
暗号技术の実装と数学MITSUNARI Shigeo
?
九州大学談話会「IMI Colloquium」
https://www.imi.kyushu-u.ac.jp/seminars/view/3001マイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with KarateTakanori Suzuki
?
システムテスト自動化カンファレンス2018
マイクロサービスにおけるテスト自動化 with Karate
Microservices Test Automation with Karate
アイデアソン?ハッカソン运営ガイドブック
アイデアソン?ハッカソン运営ガイドブックエイチタス株式会社 H-tus Ltd.
?
これまでにエイチタス株式会社のメンバーが、過去開催したアイデアソン、ハッカソンを土台に作成した開催マニュアルです。アイデアソン?ハッカソンの進行に用いたものを一部編集し、共有用資料として公開します。
今回のリリースはβ版であり、今後の活用に向けたたたき台でもあります。今後もブラッシュアップを続け、随時、改訂版をリリース予定です。下記の条件に反しない限り、みなさまのアイデアソン、ハッカソンでもご自由にご活用いただければ幸いです。
本資料について
【利用規約】
本資料は、以下の利用規約に同意いただく範囲で提供されます。
1.本資料は無料で自由に複製?引用?配布することができます。使用時のルールは、クリエイティブ?コモンズのライセンスCC-BY-4.0-国際に従うものとします。クレジット表記は「H-tusLtd.」もしくは「エイチタス株式会社」とします。
2.本資料を活用してアイデアソン、ハッカソンを開催された場合は、イベント概要、感想をお知らせいただき、今後のブラッシュアップにご協力ください。
エイチタスでは、アイデアソン、ハッカソンの企画?運営等の業務をサポートしておりますので、開催にあたりお困りの際は、お気軽にご相談ください。
【ご連絡先】info ( at )htus.jp
アイデアソン?ハッカソン担当までMore Related Content
What's hot (20)
pg_bigmで全文検索するときに気を付けたい5つのポイント（第23回PostgreSQLアンカンファレンス@オンライン 発表資料）
pg_bigmで全文検索するときに気を付けたい5つのポイント（第23回PostgreSQLアンカンファレンス@オンライン 発表資料）NTT DATA Technology & Innovation
?
pg_bigmで全文検索するときに気を付けたい5つのポイント
（第23回PostgreSQLアンカンファレンス@オンライン 発表資料）
2021年5月11日
株式会社NTTデータ
技術開発本部 先進コンピューティング技術センタ
藤井 雅雄Cognitive Complexity でコードの複雑さを定量的に計測しよう
Cognitive Complexity でコードの複雑さを定量的に計測しようShuto Suzuki
?
Speaker Deckに移行しました
https://speakerdeck.com/s2terminal/cognitive-complexity-dekodonofu-za-sawoding-liang-de-niji-ce-siyou20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...Amazon Web Services Japan
?
AWS公式オンラインセミナー: https://amzn.to/JPWebinar
過去資料: https://amzn.to/JPArchiveフロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjugItsuki Kuroda
?
XP祭り2017のセッションのスライドになります。
http://xpjug.com/xp2017-session-a5-1/
元ネタは以下です。
http://i2key.hateblo.jp/entry/2017/05/15/082655
※CCPMの表記について一部誤解を与える部分がありましたので、表記を削除いたしました。 2017/09/21 0:27フロー効率性とリソース効率性、再入門 #devlove #devkan
フロー効率性とリソース効率性、再入門 #devlove #devkanItsuki Kuroda
?
DevLove関西の以下のイベントのスライドです
https://devlove-kansai.doorkeeper.jp/events/75644テ?ータ収集の基本と「闯补辫补苍罢补虫颈」アフ?リにおける実践例
テ?ータ収集の基本と「闯补辫补苍罢补虫颈」アフ?リにおける実践例Tetsutaro Watanabe
?
データ収集の基本として、データソース毎に典型的なデータ収集方法を整理して説明しています。また闯补辫补苍罢补虫颈アプリにおいてどのように実践しているかを説明しています。Db2をAWS上に構築する際のヒント＆TIPS 2019年7月版
Db2をAWS上に構築する際のヒント＆TIPS 2019年7月版Akira Shimosako
?
更新版資料はこちらです
https://speakerdeck.com/simosako/db2-on-aws-hint-and-tips
==
IBM Db2 を AWS上に構築する際のヒント＆Tipsです。
以下の資料が古くなっていたので、記述を現在のAWSサービスに合わせて更新したものです。
/simosako/db2awstips-20181
/simosako/db2awstipsTeam Geek「何故チームにリスヘ?クトか?必要なのか」 / フォトラクションValues社内勉強会資料
Team Geek「何故チームにリスヘ?クトか?必要なのか」 / フォトラクションValues社内勉強会資料MasaruNoda
?
建设的な议论を実现する心理的安全性を高めることを目的とした、フォトラクションの痴补濒耻别「敬意尊尚」。この痴补濒耻别の背景を説明するために、「罢别补尘骋别别办」を题材に社内勉强会を実施しました。Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS驰补丑辞辞!デベロッパーネットワーク
?
Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQLはじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタ
はじめての贰濒补蝉迟颈肠蝉别补谤肠丑クラスタSatoyuki Tsukano
?
The First Elasticsearch Cluster
2018-07-25
JJUG ナイトセミナー「Elasticsearch特集」AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMRAmazon Web Services Japan
?
AWS Black Belt Tech Webinar 2014
(旧マイスターシリーズ)
Amazon EMRSharePoint Online 「アクセス権」を理解する
SharePoint Online 「アクセス権」を理解するKazuhiko Nakamura
?
2013年8月31日に開催された Office 365 勉強会のセッションスライドです。SharePoint Online を活用する上で最も基本かつ重要になる「アクセス権」について、その基本と要注意ポイント、そして新機能「共有」について解説しました。またあわせてアクセス管理に役立つ弊社ソリューション「SharePoint 権限レポーター」のご紹介です。お問い合わせはシンプレッソ?コンサルティング株式会社 中村迄。暗号技术の実装と数学
暗号技术の実装と数学MITSUNARI Shigeo
?
九州大学談話会「IMI Colloquium」
https://www.imi.kyushu-u.ac.jp/seminars/view/3001マイクロサービスにおけるテスト自動化 with Karate
マイクロサービスにおけるテスト自動化 with KarateTakanori Suzuki
?
システムテスト自動化カンファレンス2018
マイクロサービスにおけるテスト自動化 with Karate
Microservices Test Automation with Karate
アイデアソン?ハッカソン运営ガイドブック
アイデアソン?ハッカソン运営ガイドブックエイチタス株式会社 H-tus Ltd.
?
これまでにエイチタス株式会社のメンバーが、過去開催したアイデアソン、ハッカソンを土台に作成した開催マニュアルです。アイデアソン?ハッカソンの進行に用いたものを一部編集し、共有用資料として公開します。
今回のリリースはβ版であり、今後の活用に向けたたたき台でもあります。今後もブラッシュアップを続け、随時、改訂版をリリース予定です。下記の条件に反しない限り、みなさまのアイデアソン、ハッカソンでもご自由にご活用いただければ幸いです。
本資料について
【利用規約】
本資料は、以下の利用規約に同意いただく範囲で提供されます。
1.本資料は無料で自由に複製?引用?配布することができます。使用時のルールは、クリエイティブ?コモンズのライセンスCC-BY-4.0-国際に従うものとします。クレジット表記は「H-tusLtd.」もしくは「エイチタス株式会社」とします。
2.本資料を活用してアイデアソン、ハッカソンを開催された場合は、イベント概要、感想をお知らせいただき、今後のブラッシュアップにご協力ください。
エイチタスでは、アイデアソン、ハッカソンの企画?運営等の業務をサポートしておりますので、開催にあたりお困りの際は、お気軽にご相談ください。
【ご連絡先】info ( at )htus.jp
アイデアソン?ハッカソン担当まで20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...Amazon Web Services Japan
?
More from Koji Kawamura (16)
20200324 ms open-tech-elastic
20200324 ms open-tech-elasticKoji Kawamura
?
Microsoft Open Tech Night #9 w/ Elastic の発表資料です。
https://msdevjp.connpass.com/event/169431/Apache NiFi 流れるデータにもスキーマを
Apache NiFi 流れるデータにもスキーマをKoji Kawamura
?
2017/8/4開催の「ストリームデータ処理技術勉強会」で発表した資料です。
https://futureofdata.connpass.com/event/60300/What will be new in Apache NiFi 1.2.0
What will be new in Apache NiFi 1.2.0Koji Kawamura
?
Apache NiFi 1.2.0 was released on May 8, 2017, introducing several new features such as schema registry, CDC events from MySQL, and enhanced flow control processors. This version also includes various performance improvements and new processors for handling different data formats and operations. The release builds on updates since version 1.1.2, reflecting ongoing development and community input.Apache NiFi 1.0 in Nutshell
Apache NiFi 1.0 in NutshellKoji Kawamura
?
This document provides an overview of Apache NiFi 1.0 and discusses some of its key enhancements and features. NiFi is a tool for managing the flow of data in and between systems and applications. The document outlines NiFi's history and goals. It describes enhancements in NiFi 1.0 including a modernized user interface, increased number of processors, deeper ecosystem integration, multitenant authorization, revisions support, and zero master clustering. The document also discusses using NiFi on edge systems and common issues as well as future plans.そのデータフロー NiFiで楽にしてあげましょう
そのデータフロー NiFiで楽にしてあげましょうKoji Kawamura
?
The document presents an overview of Hortonworks DataFlow (HDF) and Apache NiFi, detailing essential steps for using the software. It includes information on data flows, processors, and logging attributes. The agenda suggests a structured approach to understanding and implementing the features of HDF.Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間
Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間Koji Kawamura
?
[Apache Kafka Meetup Japan #1 at Yahoo! JAPAN](http://connpass.com/event/32293/) のLTで発表した資料です。Introduce couchbase server
Introduce couchbase serverKoji Kawamura
?
db tech showcase 2014 Osakaで発表した資料です。セッション中では十分にデモができなかったので、ご興味があればお知らせください、個別にデモやります！Introduction of CouchDB JP
Introduction of CouchDB JPKoji Kawamura
?
CouchDB JP is a community established in 2009 to discuss CouchDB in Japanese, with 187 members as of January 2012. The document outlines the history and differences between CouchDB and Couchbase, highlights the community's growth and various 'couch' projects, and invites participation in promoting these technologies in Japan. Additional resources and links related to CouchDB and the community's events are also provided.ApacheCon NA 2011 report
ApacheCon NA 2011 reportKoji Kawamura
?
The document summarizes the speaker's experience at ApacheCon NA 2011. It discusses several keynotes and sessions attended, including talks on building secure software, the success of Hadoop, Watson's use of Apache technologies, and new features in Lucene 4.0 like improved performance through UTF8 encoding and faster querying through new query types and indexing approaches. The document also mentions several projects that build user interfaces and experiences on top of Solr, like Prism, Blacklight, TwigKit, and Ajax Solr.Ad
祝Elasticsearch 7.6、date, number 型での ソートがさらに高速に!? Magic WANDってなんですか?
- 1. 祝Elasticsearch 7.6、date, number 型での ソートがさらに高速に!? Magic WANDってなんですか? Elasticsearch meetup #35 Koji Kawamura @ijokarumawak Elastic - Education Engineer
- 4. But how … ?
- 5. org.elasticsearch.search.query.QueryPhase tryRewriteLongSortの内部でshouldにDistance Feature Queryを持つBooleanクエリに書き換えている。 rewrittenQuery = LongPoint.newDistanceFeatureQuery(sortField.getField(), 1, origin, pivotDistance);
- 6. org.elasticsearch.search.query.QueryPhase 適応条件クリアすると、 Luceneレベルのクエリが書き換わる オリジナル v:a v:b v:c v:d 書き換え後のクエリ #(v:a v:b v:c v:d) LongDistanceFeatureQuery(?eld=,origin=1590915600000,pivotDistance=5200200000)
- 7. なにが嬉しいの?
- 9. Early Termination 関連の improvements 7.0 Top-kクエリの高速化 #33028 Block-max WAND で OR 検索の足切りが高速に 7.2 7.6 ET: 検索結果のTop-kをいかに効率よく決定できるか longでのソートが高 速に #48804 Distance Feature Queryを利用してク エリを書き換え Distance Feature Query #33382 Date, geoの距離で スコアをブースト Elasticsearch
- 10. 7.0: Magic WANDって何？ ちちんぷいぷーい！- 魔法の杖 (wand)の文字遊び、Weak AND、複数の検索後をOR 検索する場合のEarly Termination アルゴリズム - Elasticsearch (Lucene) ではWANDのブロック圧縮インデックス版 のBlock-max WANDを実装 - ブロック単位でposting走査をスキップするので、厳密な Hit数を計 算しなくなった - 詳細を知りたい方はこちらがものすごくお勧め https://medium.com/@mocobeta/lucene-8-の-top-k-クエリプロ セッシング最適化-3-wandアルゴリズム編-4ae50b?b159 https://www.elastic.co/blog/faster-retrieval-of-top-hits-in-elasticsearch-with-block-max-wand
- 11. 7.2 Distance Feature Query "Proximity" 時間や距離の近さ、でスコア をブーストする。 今まではフィルタでHitさせるかどうかを制 御するか、Functionスコアのスクリプトで 実装する必要があった。 Distance Feature Queryにより、検索語 でのスコアリングとProximityのスコアリン グをブレンドすることがより簡単、効率的 になった。 またBlock-max WANDの恩恵を受けられ る。 距離で 時間で
- 12. 7.6 Long sort 右のようなクエリを実行すると、 match部分の Luceneクエリが、should句に DistanceFeatureQueryを使ったboolクエリに自 動変換される オリジナル v:a v:b v:c v:d 書き換え後のクエリ #(v:a v:b v:c v:d) LongDistanceFeatureQuery(?eld=,origin=1590 915600000,pivotDistance=5200200000) これまたBlock-max WANDの恩恵を受けられ る。
- 13. 適用条件 - Sortの第一条件対象がlong型のフィールド - 対象のフィールドでインデックスソートが設定されていない (別の最適化が行われる のでクエリ書き換えは行わない) - ドキュメント件数 >= 512 - Aggregation使っていない - ... - その他もろもろ
- 14. お知らせ Elasticsearch Engineer I – 3月 9 、10日 大阪 -> バーチャル (オンライン) https://training.elastic.co/EngI/Osaka/March2020 Elasticsearch Engineer II – 3月 11、12 日 大阪 -> バーチャル (オンライン) https://training.elastic.co/EngII/Osaka/March2020 Elastic Kibana Data and Operations Analyst – 4月 20 - 22日 東京 https://training.elastic.co/KDOA/Tokyo/April2020 Cloudキャンペーン Elasticsearch Serviceを3か月無料で https://www.elastic.co/jp/campaigns/elasticsearch-service-annual-credit
- 15. Thank you!