基调讲演：「多様化する情报を支える技术」／西川彻
4 likes3,807 views
PFIオープンセミナー2012「多様化する情報を支える技術」 2012年9月21日（金）実施 ?概要?ビッグデータ分析の対象は、人が生み出すデータから、機械が自動的に生み出すデータへとシフトしつつある。そうなると、データが生まれるスループットは桁違いに大きくなり、また、データの種類は多様性を極めるようになる。データ処理アーキテクチャも、データ処理手法も、大きく進化する必要がある。増え行くデータの量?多様性に対して、技術者としてどう取り組むべきか、実例を交えながら概説する。
More Related Content
What's hot (20)
Similar to 基调讲演：「多様化する情报を支える技术」／西川彻 (20)
![[Cloud OnAir] Google Cloud 主催イベント Data Platform Day Recap！?登壇企業インタビューと内容解説? 2...](https://cdn.slidesharecdn.com/ss_thumbnails/0409-200409090356-thumbnail.jpg?width=560&fit=bounds)
More from Preferred Networks (20)
基调讲演：「多様化する情报を支える技术」／西川彻
- 2. セミナー内容のツイート大歓迎！ ハッシュタグ #pfiopen2012 2
- 3. 自己紹介＆会社紹介 3
- 4. 自己紹介 ? 2006年 Preferred Infrastructure（PFI）を創業 - 大学の友人、ICPCの仲間と６名で起業 - 最初は検索エンジンの開発を進める ? 現在、代表取締役として 会社の経営に関わる 4
- 5. 朝９时の社内风景 5
- 6. 笔贵滨のビジョン：笔贵滨はどのような会社か？ テクノロジーとサービス?プロダクトとの間のギャップを埋め テクノロジーが持つポテンシャルを最大限に引き出すこと 研究ベースの技術が想定しているものと実世界には大きな壁が存在する ? アカデミックの第一線で研究しているリサーチャーと、アカデミックな研究を理解し、 実装?実用化できるエンジニアを集合させる ? 世の中に必要とされている技術の中でも、特に難しい課題を選び抜き、それに対する 解を提供していくこと Basic Technologies Products Academic Researches Services 6
- 7. ビジョンを達成するために ベンチャーキャピタルに頼らない ? 研究は多くのチャレンジがあって、よい研究ができる。製品開 発も同じ。多くのベンチャーキャピタルは、そのチャレンジを 表面的にしか許容しない。 製品に繋がるビジネスにこだわる ? フルスクラッチでの受託開発は行わない。 技術の多様性?人の多様性を重要視する ? １人では全分野を把握することは難しい。チーム?組織として の生産性を重要視する。もちろん、個々の能力がとても優れて いる上で。 7
- 8. PFIの技術領域?ビジネス（概要） 1.製品開発?販売 ? Sedue／Bazil／Jubatusというプロダクトを提供 2.研究開発 ? 自然言語処理 ? 情報検索 ? データマイニング ? 機械学習 ? 分散システム ? データ構造、データ圧縮 ? Big Dataへの取り組み 8
- 9. “人”が生み出すデータと “機械”が生み出すデータ 9
- 10. 大規模な「データ」に立ち向かうための、 様々な技術が発展しつつある ? 複雑なWeb ? 構造化されていない情報 ? 人が書いたコンテンツ ? 大量の情報 中田敦氏 「“ビッグデータ”が話題になった理由」 10
- 12. データ活用の２つの潮流 12
- 13. 「人」が生み出すデータを 活用する技術 13
- 16. 情報検索技術と大規模データ ? 大規模データに対し,自由にアクセスできる格納手段? インデックス手法が必要 ? 分散システムが必須だが、それをできるだけ管理に利用 可能にする データの大規模化だけでなく、多様化にも対応していく 「グローバル化する情報処理」
- 17. 「ためる」「取り出す」だけでは不十分 ? ウェブ検索やECサイトは、多大なコストをかけてデー タを整理している ? データを「整理」することは、自明ではない。 ? データ整理のコストが高いために、ほとんどの企業内検索エンジン は十分に活用されていない。 データの整理を、機械で支援する仕組みが必要 「先進ビッグデータ応用を支える機械学習に求められる新技術」 17
- 18. 「整理」が面倒だから情報共有がうまくいかず、 情報検索がうまく機能しない ? アップロードの手間は、無視できない ? 社内での情報共有の場合は、どこに、どのようなメタ情 報をつけアップロードするかを考えて、アップロードす る必要がある ? それを考えるのはめんどくさい、、、 ? →形だけの情報共有になってしまう 情報アップロードを加速するために、 技術で支援する 18
- 19. 文書をアップロードしたい！ 19
- 21. どこのフォルダ?サーバーに配置すべきか、 ツールが自動的に判断 21
- 22. 文書に付与されるべきタグを 自動的に判断して付与する 22
- 23. 「机械」が生み出すデータを 活用する技術 23
- 24. データの大規模化と共に解析の高度化が重要に ? Complex Event Processing(センサデータ等のリアルタイム処理) 大規模データウェアハウス?Hadoop(分散処理)では、集計?ルール 処理?単純な統計処理が主要な利用方法 より高度な解析（分類?予測?マイニング）へシフト ? 差別化要素として機械学習?統計の高度な解析の導入が重要 - 機械学習の利用は当たり前になってきた
- 25. 一方、デバイスの性能向上により 集まるデータは爆発的に増加する 【監視カメラ】 動画、静止画などの画像データ 【次世台シーケンサー】 ゲノムデータなど 【モバイル】 【生体情報モニター】 音声データ、位置情報、 心拍数、血圧、体温など メールのテキスト情報など 丸山宏氏 「ITアーキテクチャはどこへ向かうのか」 25
- 26. ２つの課題を解決するには？ ? データをすべて集めることは不可能 ? 高度な分析を、省スペース?少ない計算量で 実現する必要がある 26
- 27. 分析処理のオンライン化?ストリーム化 27
- 28. 大规模?リアルタイムな机械学习を実现する 28
- 29. 理想的なアーキテクチャ データの整理を、機械で支援する仕組みが必要 「先進ビッグデータ応用を支える機械学習に求められる新技術」 29
- 30. まとめとこれからの展望 30
- 31. まとめ ? ウェブの技術は、大規模データを活用するための技術を 大きく進展させた ? その対象の大部分は、人が作り出したデータ ? 近年のビッグデータブームで、機械が生み出すデータに も注目が集まっている ? データをとる仕組みは前からあったが、それを大量に集めると ウェブで起きたような Something Great ができるかもという 期待感 31
- 32. まとめ ? 人が生み出すデータと機械が生み出すデータは、データ の性質も生成されるスループットも異なる ? 必要な技術は異なり、課題も当然異なる ? 人が生み出すデータは、格納することは容易になった しかし、どうやって整理するかは大きな課題 ? だから、エンタープライズ検索もうまくいかない ? 機械が生み出すデータは、Edge-Heavyになりつつある ? 貯めずにリアルタイムに処理をする、データを生のまま交換し ない、ということがキーとなる 32
- 33. Copyright ? 2006-2012 Preferred Infrastructure All Right Reserved.