1 of 69
Download to read offline
Ad
Recommended
さらば！データサイエンティスト
さらば！データサイエンティストShohei Hido
?
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料
Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309今年の碍顿顿ベストペーパーを実装?公开しました
今年の碍顿顿ベストペーパーを実装?公开しましたShohei Hido
?
2013/09/01 第4回データ構造と情報検索と自然言語処理勉強会(DSIRNLP, http://partake.in/events/76854228-ba38-4f6e-87b9-f79e30add75c# )での発表内容です。
同一内容の会社ブログはこちら→ http://research.preferred.jp/2013/08/sketch/mlabforum2012_okanohara
mlabforum2012_okanoharaPreferred Networks
?
惭尝础叠ネットワークリサーチフォーラム2012において、今后滨颁罢の発展とともに研究?公司?个人のあり方がどう変わっていくかの考えを话しました。Deep Learning Lab 異常検知入門
Deep Learning Lab 異常検知入門Shohei Hido
?
2018/02/14 Deep Learning Lab 異常検知ナイト
「異常検知入門」発表資料です
https://dllab.connpass.com/event/77248/本当に知ってる!? リアルなテ?ータ分析の世界~サイカのエンシ?ニアか?語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなテ?ータ分析の世界~サイカのエンシ?ニアか?語る、話題の技術の「いま」と「未来」~Hisao Soyama
?
2017/03/17 ヒカラボにて発表した資料
https://atnd.org/events/85720aiconf2017okanohara
aiconf2017okanoharaPreferred Networks
?
Aiカンファレンス 2017@ビッグサイトでの講演資料です。自動車、ロボット、バイオヘルスケアでの応用事例、および今後の課題について書いてあります。厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」／比戸将平
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」／比戸将平Preferred Networks
?
PFIオープンセミナー2012「多様化する情報を支える技術」
2012年9月21日（金）実施
?概要?Hadoopが大規模データ処理に広く用いられれる一方、その限界も見え始めてきた。一方、データに潜む複雑な因果関係や傾向を発見し精度の良い予測を実現する機械学習技術は性能向上と適用範囲の拡大を続けている。本講演ではビッグデータとその先進アプリケーションについて、間を繋ぐ機械学習技術の観点から最新動向について述べる。特に、PFIがフォーカスしているリアルタイム性とトレーサビリティについて詳しく述べ、JubatusとBazilという製品を紹介する。 ビッグデータはどこまで効率化できるか？
ビッグデータはどこまで効率化できるか？Shohei Hido
?
第3回ビッグデータと統計学研究集会@統計数理研究所における「ビッグデータはどこまで効率化できるか？」の資料です（2013/05/27）
http://dsms.iic.hokudai.ac.jp/BIGDATA/%E7%A0%94%E7%A9%B6%E9%9B%86%E4%BC%9A/3rd/基调讲演：「多様化する情报を支える技术」／西川彻
基调讲演：「多様化する情报を支える技术」／西川彻Preferred Networks
?
PFIオープンセミナー2012「多様化する情報を支える技術」
2012年9月21日（金）実施
?概要?ビッグデータ分析の対象は、人が生み出すデータから、機械が自動的に生み出すデータへとシフトしつつある。そうなると、データが生まれるスループットは桁違いに大きくなり、また、データの種類は多様性を極めるようになる。データ処理アーキテクチャも、データ処理手法も、大きく進化する必要がある。増え行くデータの量?多様性に対して、技術者としてどう取り組むべきか、実例を交えながら概説する。 机械学习モデルフォーマットの话：さようなら笔惭惭尝、こんにちは笔贵础
机械学习モデルフォーマットの话：さようなら笔惭惭尝、こんにちは笔贵础Shohei Hido
?
PFxセミナー 2016/10/20
"机械学习モデルフォーマットの话：さようなら笔惭惭尝、こんにちは笔贵础"
動画: https://www.youtube.com/watch?v=x76RxxQ_QTQ
リクルートライフスタイル分析基盘チーム２年目か?世话するテ?ータ连携产辞迟达のお话
リクルートライフスタイル分析基盘チーム２年目か?世话するテ?ータ连携产辞迟达のお话Yuji Sakurai
?
【BigData-JAWS 勉強会#14】で発表した内容です
（https://jawsug-bigdata.connpass.com/event/101211/）
リクルートライフスタイルではデータ基盤としてRedshiftを使用しています。
基盤チームとしてデータ量や社内ユーザーを増やしたいという思いがある一方で、
そうすることでRedshiftの負荷や運用負荷も上がってしまうという悩みがありました。
その双方の问題を解決するためにリクルートライフスタイルではchatopsという手段を取り、
chatbotを開発することでユーザーの欲しいタイミングで欲しい情報を準備することに成功しました。
本発表ではその具体的な方法をchatbotならではのメリットと共にご紹介できればと思います。
またお時間があればデータ連携以外に関するbotのご紹介もできればと思っています。颁丑补颈苍别谤のテスト环境と顿辞肠办别谤での颁鲍顿础の利用
颁丑补颈苍别谤のテスト环境と顿辞肠办别谤での颁鲍顿础の利用Yuya Unno
?
2016/03/19にChainer meetup #2で、Chainerのテスト環境をDockerで整備した話を話しましたデータサイエンティストのつくり方
データサイエンティストのつくり方Shohei Hido
?
2012/09/13 PFIセミナー「データサイエンティストのつくり方」資料
Ustreamの録画はこちらです→ http://www.ustream.tv/recorded/25376704Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォームPreferred Networks
?
2012/12/7にComSysで招待講演した際のプレゼン資料です。2013/1時点でのJubatusに関する全部入り資料になっています。
概要：Hadoopは非常に成功した大規模データの分散処理基盤である一方、データを貯めないリアルタイム処理や、統計的な手法で知見や予測モデルを得る機械学習技術のサポートは限定的である。Jubatusは、それらHadoopに足りない「分散?リアルタイム?機械学習」を実現するためのOSSフレームワークとして2011年にリリースされた。その技術的特徵は、オンライン学習アルゴリズムを分散化し、かつ分散環境でコストの高いデータ共有を排除してコンパクトな機械学習モデルのみを緩やかに共有するMix操作を中心とした計算アーキテクチャを採用していることにある。本講演ではその動作原理を中心にJubatusの裏側を紹介する。More Related Content
What's hot (20)
mlabforum2012_okanohara
mlabforum2012_okanoharaPreferred Networks
?
惭尝础叠ネットワークリサーチフォーラム2012において、今后滨颁罢の発展とともに研究?公司?个人のあり方がどう変わっていくかの考えを话しました。Deep Learning Lab 異常検知入門
Deep Learning Lab 異常検知入門Shohei Hido
?
2018/02/14 Deep Learning Lab 異常検知ナイト
「異常検知入門」発表資料です
https://dllab.connpass.com/event/77248/本当に知ってる!? リアルなテ?ータ分析の世界~サイカのエンシ?ニアか?語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなテ?ータ分析の世界~サイカのエンシ?ニアか?語る、話題の技術の「いま」と「未来」~Hisao Soyama
?
2017/03/17 ヒカラボにて発表した資料
https://atnd.org/events/85720aiconf2017okanohara
aiconf2017okanoharaPreferred Networks
?
Aiカンファレンス 2017@ビッグサイトでの講演資料です。自動車、ロボット、バイオヘルスケアでの応用事例、および今後の課題について書いてあります。厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」／比戸将平
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」／比戸将平Preferred Networks
?
PFIオープンセミナー2012「多様化する情報を支える技術」
2012年9月21日（金）実施
?概要?Hadoopが大規模データ処理に広く用いられれる一方、その限界も見え始めてきた。一方、データに潜む複雑な因果関係や傾向を発見し精度の良い予測を実現する機械学習技術は性能向上と適用範囲の拡大を続けている。本講演ではビッグデータとその先進アプリケーションについて、間を繋ぐ機械学習技術の観点から最新動向について述べる。特に、PFIがフォーカスしているリアルタイム性とトレーサビリティについて詳しく述べ、JubatusとBazilという製品を紹介する。 ビッグデータはどこまで効率化できるか？
ビッグデータはどこまで効率化できるか？Shohei Hido
?
第3回ビッグデータと統計学研究集会@統計数理研究所における「ビッグデータはどこまで効率化できるか？」の資料です（2013/05/27）
http://dsms.iic.hokudai.ac.jp/BIGDATA/%E7%A0%94%E7%A9%B6%E9%9B%86%E4%BC%9A/3rd/基调讲演：「多様化する情报を支える技术」／西川彻
基调讲演：「多様化する情报を支える技术」／西川彻Preferred Networks
?
PFIオープンセミナー2012「多様化する情報を支える技術」
2012年9月21日（金）実施
?概要?ビッグデータ分析の対象は、人が生み出すデータから、機械が自動的に生み出すデータへとシフトしつつある。そうなると、データが生まれるスループットは桁違いに大きくなり、また、データの種類は多様性を極めるようになる。データ処理アーキテクチャも、データ処理手法も、大きく進化する必要がある。増え行くデータの量?多様性に対して、技術者としてどう取り組むべきか、実例を交えながら概説する。 机械学习モデルフォーマットの话：さようなら笔惭惭尝、こんにちは笔贵础
机械学习モデルフォーマットの话：さようなら笔惭惭尝、こんにちは笔贵础Shohei Hido
?
PFxセミナー 2016/10/20
"机械学习モデルフォーマットの话：さようなら笔惭惭尝、こんにちは笔贵础"
動画: https://www.youtube.com/watch?v=x76RxxQ_QTQ
リクルートライフスタイル分析基盘チーム２年目か?世话するテ?ータ连携产辞迟达のお话
リクルートライフスタイル分析基盘チーム２年目か?世话するテ?ータ连携产辞迟达のお话Yuji Sakurai
?
【BigData-JAWS 勉強会#14】で発表した内容です
（https://jawsug-bigdata.connpass.com/event/101211/）
リクルートライフスタイルではデータ基盤としてRedshiftを使用しています。
基盤チームとしてデータ量や社内ユーザーを増やしたいという思いがある一方で、
そうすることでRedshiftの負荷や運用負荷も上がってしまうという悩みがありました。
その双方の问題を解決するためにリクルートライフスタイルではchatopsという手段を取り、
chatbotを開発することでユーザーの欲しいタイミングで欲しい情報を準備することに成功しました。
本発表ではその具体的な方法をchatbotならではのメリットと共にご紹介できればと思います。
またお時間があればデータ連携以外に関するbotのご紹介もできればと思っています。颁丑补颈苍别谤のテスト环境と顿辞肠办别谤での颁鲍顿础の利用
颁丑补颈苍别谤のテスト环境と顿辞肠办别谤での颁鲍顿础の利用Yuya Unno
?
2016/03/19にChainer meetup #2で、Chainerのテスト環境をDockerで整備した話を話しましたデータサイエンティストのつくり方
データサイエンティストのつくり方Shohei Hido
?
2012/09/13 PFIセミナー「データサイエンティストのつくり方」資料
Ustreamの録画はこちらです→ http://www.ustream.tv/recorded/25376704Viewers also liked (8)
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォーム
Jubatus: 分散協調をキーとした大規模リアルタイム機械学習プラットフォームPreferred Networks
?
2012/12/7にComSysで招待講演した際のプレゼン資料です。2013/1時点でのJubatusに関する全部入り資料になっています。
概要：Hadoopは非常に成功した大規模データの分散処理基盤である一方、データを貯めないリアルタイム処理や、統計的な手法で知見や予測モデルを得る機械学習技術のサポートは限定的である。Jubatusは、それらHadoopに足りない「分散?リアルタイム?機械学習」を実現するためのOSSフレームワークとして2011年にリリースされた。その技術的特徵は、オンライン学習アルゴリズムを分散化し、かつ分散環境でコストの高いデータ共有を排除してコンパクトな機械学習モデルのみを緩やかに共有するMix操作を中心とした計算アーキテクチャを採用していることにある。本講演ではその動作原理を中心にJubatusの裏側を紹介する。ルールベースから機械学習への道 公開用
ルールベースから機械学習への道 公開用nishio
?
このスライドの目的はルールベースは多くのプログラマができている。 機械学習への橋渡しを詳細に解説することで ツールとして機械学習を活用できる人を増やすことです。「機械学習 By スタンフォード大学」勉強会 2015.09.11
「機械学習 By スタンフォード大学」勉強会 2015.09.11Minoru Chikamune
?
シリコンバレーの有名大学であるスタンフォード大学にて、Andrew Ngの教える機械学習の講義が人気を集めているそうです。
Andrew Ngは相当な有名人で、よくニュースで名前が出てきます。有名な例では、グーグルが「Google Brain」という名のニューラルネットワークを構築し、YouTubeの動画から「猫」を教師なし学習で認識したといったニュースが流れましたが、このプロジェクトはAndrew Ngが主導したものです。
このAndrew NgがCourseraというオンラインコースで機械学習の授業を公開しています。このたび私も受講しまして、ようやく修了しました。
[Machine Learning by Stanford University]
https://www.coursera.org/learn/machine-learning/
内容的には、Deep Learning登場前の機械学習について、特に応用を意識した講義の構成になっています。たとえば、以下の様なトピックが含まれていました。
- ニューラルネットワーク(バックプロパゲーション)
- スパムフィルターの作り方
- 異常検知の方法
- リコメンデーションエンジンの作り方
- OCRの作り方
- オンライン学習
- 機械学習を用いたプロジェクトの進め方
講義は全体的に非常によくまとまっていまして、個別の数学的な内容に深入りすることなく、かといって表面をなぞるような感じでもない、バランスが取れた内容でした。明確に、機械学習を実プロジェクトに適用することに軸足を置いていまして、そのための様々な助言が講義の中に散りばめられていたという印象があります。
ちなみにAndrew Ngは、今やGoogleの猫の人、Deep Learningの人、というイメージが強いので、この講義にもDeep Learningについての話が含まれている事を個人的には期待しましたが、残念ながらDeepLearningに関しては、この講義に含まれていませんでした。
この社内勉強会では、Andrew Ngの講義のダイジェスト版となるように意識して講義内容を紹介します。機械学習を用いたシステムを構築する際のノウハウは、なかなか得がたいものがあると思いますので、機械学習に興味がある方は勉強会に参加して頂けると嬉しいです。また、機械学習のさわりだけでも分かれば、なぜビッグデータが必要なのかも分かると思います(単純に大量のデータがあると機械学習に有利だからです)。机械学习の理论と実践
机械学习の理论と実践Preferred Networks
?
SACSIS2013でのチュートリアル講演資料です。機械学習の導入：背景、手法、理論、応用）、実践：オンライン学習+線形分類で実際作ってみる、使う際の課題、発展：分散+リアルタイムでの機械学習（Jubatus）、深層学習（Deep Neural Net）についてまとめました机械学习によるデータ分析まわりのお话
机械学习によるデータ分析まわりのお话Ryota Kamoshida
?
某所で機械学習の講習会（？）のようなものをしたときの資料です．
機械学習によるデータ分析について，アルゴリズムやツールの使い方＊以外＊の部分で
重要だと思うことを重点的にまとめたつもりです．Ad
Similar to 闯耻产补迟耻蝉使ってみた (20)
闯耻产补迟耻蝉で始める机械学习／セキュリティと机械学习
闯耻产补迟耻蝉で始める机械学习／セキュリティと机械学习Preferred Networks
?
2013年6月23日に開催された「セキュリティと機械学習」の資料となります。
https://atnd.org/events/40918
http://matsudalab.office-server.co.jp/security_machine_learning/saml_index.html
セキュリティについては、どうしても人の判断が入る部分がシステムに存在し、
そこでの判断にトレードオフがあるため人的リソースを減らす方向で機械学習を活かしたシステムを組むことができると筋が良さそうに思えるという主張です。
Jubatusに関するスライドは情報が古い／オフィシャルブログ等の方が充実しているため削除しています。闯耻产补办颈迟の解説
闯耻产补办颈迟の解説JubatusOfficial
?
2017年11月1日
第5回JubatusハンズオンのJubakitの説明資料
Jubakitの基本的な使い方、scikit-learn wrapperの使い方、embedded jubatusの使い方を紹介闯耻产补迟耻蝉によるアセンブリ実行速度の自动チューニング
闯耻产补迟耻蝉によるアセンブリ実行速度の自动チューニングTakayuki Muranushi
?
Jubatusの回帰分析を使って、
アセンブリプログラムのエミュレートされた実行速度を自動チューニングしてみました。世界征服を目指す闯耻产补迟耻蝉だからこそ期待する5つのポイント
世界征服を目指す闯耻产补迟耻蝉だからこそ期待する5つのポイントNTT DATA OSS Professional Services
?
2013/06/02 Jubatus Casual Talks #1
『世界征服を目指す闯耻产补迟耻蝉だからこそ期待する5つのポイント』
NTTデータ 基盤システム事業本部
OSSプロフェッショナルサービス 下垣 徹
Python 特徴抽出プラグイン
Python 特徴抽出プラグインJubatusOfficial
?
2017年11月1日
第5回Jubatusハンズオンで使用した説明資料。
pythonを使ってJubatusの特徴抽出プラグインを作成する機能の解説。Ad
More from Tohru Kobayashi (6)
怠惰な私がプログラミングするときに重要だと考えているたった1つのこと
怠惰な私がプログラミングするときに重要だと考えているたった1つのことTohru Kobayashi
?
プログラミング殆どやらないエンジニアがコードを描くときに重要だと思っていることを発表しちゃいました。闯耻产补迟耻蝉使ってみた
- 1. Jubatus 使ってみたよ TokyoR #44 小林 達 @soultoru
- 3. 早速ですが、
- 5. 问
- 10. あるよ。
- 12. アジェンダ
- 18. PFI と NTT が 共同開発の 国産 OSS ※ 現在は Preferred Networks がライセンスを保有しているみたいです。 http://itpro.nikkeibp.co.jp/atcl/news/14/100101159/
- 22. これらの 機械学習タスク を
- 23. オンラインに 分散処理できる
- 24. !
- 30. オンライン
- 31. 勉強しろ 結果くれ Datum この間わずか 数十 ms で OK ！ ほい ※ 状況によって違います 結果
- 32. なぜオンライン で動くのか？
- 33. オンライン化 のマジック =
- 34. 確率的 勾配降下法
- 35. 目的関数が期待値で表された最適化问題 （ は確率密度関数） に対するオンライン最適化アルゴリズム． 目的関数の勾配が得られる状況下では， 通常の勾配法が適用 可能だが， の計算が高コストであまり現実的ではない場合が ある．そこで， の代わりに近似的に を用いた勾配法 （ は反復時点での実現値） が確率的勾配降下法（ Stochastic Gradient Descent, 以下 SGD ） である． は 平均的にはと一致するので通常の勾配 法と同様な収束性が期待される． http://www.msi.co.jp/nuopt/glossary/term_da265770bed70e5f0a764f3d20c0ce3d242e6467.html ※Jubatus は同様ではあるが違うアルゴリズム使ってるかも。ソースそこまで読んでないす。
- 36. 分散処理
- 38. こそこそ
- 40. なぜ分散処理 できるか
- 41. 「こそこそ」 に秘密あり！
- 42. 分散学習機構 Mix
- 44. 分析結果 ( モデル ) を
- 45. ガッチャンコ （平均化）
- 47. ただし、
- 55. 残念なお知らせ残念なお知らせ
- 57. 今のところ C++ 、 Java Python 、 Ruby に対応
- 59. １ Msgpack + RPC を R で実装
- 61. 3 RESTapi を Ruby などで作成 RCurl で呼び出す
- 64. ● まとめ
- 68. ※ その内なんとか するかも
- 69. おしまい