狠狠撸

狠狠撸Share a Scribd company logo

ARの教科書 第9章 モデリングと注釈付け

?
?
machidyo
machidyo

全7回『ARの教科書』輪読会 @ cluster. #1（https://vrtokyo.connpass.com/event/96605/）の第6回で発表した資料です

1 of 60
Download to read offline
モデリングと注釈付け AR の教科書 第9章
誰？ ? 建築?土木?デザイナ業界など BtoB 向けVRツールの開発 ? 実は AR の開発は??? m(_ _)m ? 優しめのまさかりでお願いします ? 開発手法やチームビルディングとかも興味あり ? スクラムマスターとかやってました ? 本好きです ? 漫画も好きです ? Twitter: @machidyo
目次 1. はじめに 2. 9.1 幾何形状の指定～9.6 まとめ
はじめに
ARのインタラクションに必要なこと AR によるインタラクションには期待感は高まっているが、使用者にとっ てどういうことが必要か？ 1. 使用者自身が、モデリングと注釈付けによって、実世界の空間的 に紐付けされた新しいコンテンツを作れること 2. 状況適応型モデリングであること （事前準備を必要とせず、その場所、その位置で作業できること）
モデリングと注釈付け ? モデリングとは？ 実世界のモノに対して、デジタル的に形状、外観を変更すること ? 注釈付けとは？ 表示されている映像に対し、説明を付与すること
9章の範囲 1. 静的なモデルだけを生成する、形状と外観のモデリングが対象 ? 賢く自発的に行動するモデルは含んでいません 2. 三次元復元の半自動手法 3. 非平面形状と注釈の自由形状モデリング ※ ARへの応用における仕様については第10章となります
9.1 幾何学上の指定
対象とする形状は３種類 ? モデリングの基本的な問題は、幾何学形状の構成単位です。そこで、 1. 点 2. 平面 3. 体積 といった単純な形状に焦点を当てていきます ? 幾何学的には実体はCADのデータ構造に類似しています。ただしAR においては、実際の動きが必要となるため入力技術が異なります
9.1.1 点：最も簡単で自然な方法 ? 最も簡単で自然な方法 ? 使用者に位置を直接指定しても らう ? 例えばトラッキングされた手袋 や筆を使用する方法 [Lee et al. 2002]
9.1.1 点：光線投射法 手袋や筆は近くの場所しか入力 できないが、多くの場合は離れた 位置からの操作が必要 ? 光線投射法（raycasting） ? 体の一部（頭部、視点、手）を起 点として、環境中に光源を放射 する。点は、最初の光線と交差 する二つ目の光線で指定する[Bunnun and Mayol-Cuevas 2008]
9.1.1 点：釣り糸巻き取り法 ? 釣り糸巻き取り法 ? 交点の代わりに、マウスホイー ルやそれに類似した道具を用い て、明確に距離を指定する方法 [Bunnun and Mayol-Cuevas 2008]
9.1.1 点：異なる視点を利用する 屋外利用時などの離れた場所に 移動するのが面倒な時 ? 異なる視点を使用者に提供する 方法 ? 例えば、赤枠に囲まれているよ うなGPS座標に基づいて取得さ れる空撮画像で、二次元位置を 選ばせる [Wither et al. 2006]
9.1.1 点：有用な機能 追加点が既存の実物体の点や線、多角形（polygon）に十分近い場合、 自動的にそれらに沿う配置をする機能 ? ドアの端に沿うように点をプロットしたら、少しのずれであれば、ドア に合わせて自動補完されるように点が移動する ? レーザーの放射線上の近くに指定したい物体があるときに、完全に 一致していなくてもレーザーが曲がるなど、ある程度補完した動きを してあげる
9.1.2 平面 ? 個々の点は注釈の固定点として有用 ? 多くの几何学的な作业では平面も重要
9.1.2 平面 三点を指定することで、任意の平 面を定義することができます ① 三点指定 ② 既存平面状の二点と、傾きを示す 第三点の指定 ③ 使用者の頭部からのベクトルと重 力方向の両方に備えられた平面 ④ 使用者の頭と手先を結ぶベクトル に直行し、重量方向に揃う平面 ⑤ 使用者の手先を含み、重力方向と 直行する平面 ① ② ③ ④ ⑤ [Piekarski and Thomas 2004]
9.1.3 体積：素直な方法 ? 体積を指定する最も素直な方法は、多数の点を入力し（①）、多角形 を形成するエッジで点群を接続し（②）、体積を形成する多角形群を 作成する（③）方法です ? 物体の複雑さによって、面倒で誤りやすくなります ① ② ③ [Lee et al. 2002]
9.1.3 体積： OutlineAR（単純な手法） ? 単純な手法は、基本的な短径と 高さを指定する方法です ? 一般的に押し出しは適切な立体 領域を作成するためによく採ら れる手法です ? OutlineARは上記インタラクショ ンで、骨組みを設定することが できます [Bunnun and Mayol-Cuevas 2008]
9.1.3 体積： JIIM ? JIIM（Jiim is In-situ Image-based Modelling） ? 使用者がSLAMの三次元地図のキーフレームにおいて、多角形面の 輪郭取りを行うことができます [van den hengel et al. 2009] [https://www.youtube.com/watch?v=-7YurLFnPD0]
9.1.3 体積：複雑な形状 より複雑な形状の体積のモデリン グ方法 ? 体積の和、積、差の組み合わせ による構成立体表現（①） ? 視線方向におけるいくつかの作 業平面で、建物のような立体の 輪郭を指定（②） [Piekarski and Thomas 2004] ① ②
9.2 外観の指定
外観のARモデリングの利点 形状のモデリングに対し、外観を変更するためのARモデリングには以 下の利点があります ? ライブ映像には見た目に関する情報が豊富に含まれている ? 実物体の表面の質感も、画像を基にしたモデリングによってその場 で取得することができる
外観を取得しない場合 外観の取得とは別に、設計者は外観を変更したい場合もある。 ファントムが利用可能である場合、Dynamic Shader Lampsシステムを 使うことで使用者は実物体上に光投影することで色塗りができるよう になる
Dynamic Shader Lamps ? 物体表面のテクスチャとしては 何もなく、無色である ? 使用者が描く動作をするたびに、 筆先の位置がファントムのテク スチャ座標へと変換される ? 9歳の女の子 [Bandyopadhyay et al. 2001] [https://www.youtube.com/watch?v=wv7lUeRToqk]
ビデオ透過型ディスプレイを用いた手法 ① HMDを身につけている使用者 が、トラッキングされた筆を用 いて実物体上に描画 ② 使用者がHMDを通してみてい る映像 ① ② [Grasset et al. 2005]
ARエアブラシ ① 筆を噴霧器に置き換えたもの ② 噴霧器を用いて物体表面上 に描画するシミュレーションが 可能 ? 噴霧器で描画面から離れれば離 れるほど広い範囲を塗れます ? 利き腕でない方で型版を持つこと で、表面への塗料の付着を制御 できます ? 訓練された画家はグラデーション を作るために、噴霧器と型版を同 時に動かせます[Marner et al. 2009] ①②
9.3 半自動再構成
自動的な三次元復元 ? 高速な演算装置や奥行センサを用いることで密に三次元復元するこ とも可能です ? KinectFusion: Real-Time Dense Surface Mapping and Tracking ? DTAM:DenseTrackingandMappinginReal-Time [Newcombe et al. 2011b] [https://www.youtube.com/watch?v=quGhaggn3cQ] [Newcombe et al. 2011a] [https://www.youtube.com/watch?v=Df9WhgibCQA]
自動的な三次元復元の欠点 自動的な三次元復元によって得られるモデルは、ARの応用としてすぐ に利用できるものではありません ? 復元されたモデルには、不要に細かい部分が含まれているときがあ り、描画や物理計算のために容量と演算量を必要としてしまう ? 復元されたモデルには意味的な情報がないため、頂点の選択はで きても、個々の物体の選択といった簡易な意味論的操作を実行する ことが難しい
全自動ではなく、半自動 全自動の欠点を補うために、半自動によ る再構成を考えます 1. 最も簡単な使い方は、その場面にて支 配的な平面を推定するためにSLAMを 使用する方法です 2. 別の方法は、画像中の消失点の検出 です。それによって簡単な物体の配置 を支援できるため、地面と空間の向き を決めることができます [Salas-Moreno et al. 2013] [https://www.youtube.com/watch?v=tmrAh1CqCRo]
OutlineAR とその拡張 ? OutlineARは、SLAMのマップ作り において、骨組み形状を作成 ? Simonは、この方法を模型製作 とマップ作成段階を切り替える ことで拡張しました [Bunnun and Mayol-Cuevas 2008] [Simon 2010]
JIIMによる半自動再構築 ? JIIMも同様にマップ作製とモデリ ングを分けています ? モデリング時は、タブレット端末 上で静止画を提示し、使用者は ポリゴンの外枠を描きます ? ポリゴンは、SLAMのマップ中の 三次元情報から推定した実物 体表面の奥行に合わせて自動 的に配置されます [van den hengel et al. 2009]
ProFORMAによる半自動再構築 ? 手のひらくらいの小さな物体の、形状と 外観を半自動で再構築します ? 使用者はそのカメラの前で物体を回転さ せます。その物体の様々な姿勢の画像 に対して、その物体の輪郭が背景差分 により推定され、確率的にSpace Carving 法により四面体で構成される領域が抽出 されます ? モデリングを最適に完遂する方法を、矢 印で可視化しています [Pan et al. 2009] [https://www.youtube.com/watch?v=vEOmzjImsVc]
小さな物体の半自動再構成 ? Bastianらも、小さな物体の再構成に焦点を当てています ? カメラを静止させておくよりもむしろ、使用者が物体の周りを動く方法 を提案しています ? 使用者の入力に基づいて最初のキーフレーム上で物体を分割した 後、画像列を通して物体の輪郭をなぞり、Space Carving法で三次元 領域を抽出する
室内の半自動再構成 ? パノラマ画像の撮影と、レー ザー放射を一度に実施できる装 置を使用します ? レーザ距離計で疎に得られる距 離値は、壁などの平面を特定し、 構造を定義するのに利用します ? 密に構造を推定する手法などで 室内構造の体積モデルにこの 情報が統合されます [Nguen et al. 2013] [https://www.youtube.com/watch?v=67cAqq6ioGs]
屋外の半自動再構成 ? 能動型の奥行き画像センサを用いることで、半自動での三次元復元 を支援できるレベルの信頼性の高い幾何学的情報が容易に得られ ます ? 一点のレーザ距離計でも屋外環境の形状取得を容易にできます [Wither et al. 2008]
9.3 半自動再構成 ? 形状情報を用いてシーンを理解させることでモデリングを支持するこ とができる ? シーンの理解には、大規模なデータを要する統計的手法や機械学 習が用いられる。その結果、シーンを理解するほとんどの手法は、 オフラインで三次元復元し、その後に領域分割や形状分類などがな される
SemanticPaint ? 使用者がRGB-Dカメラを用いて 室内環境を計測し、簡単なタッ チ操作によってシーンを分割で きる [Valentin et al. 2015] [https://www.youtube.com/watch?v=z_TcWC7yjj0]
SemanticPaintbrush ? 屋外でも同様の機能が容易に 実現できます ? 条件付き確率場（Conditional Random Field）を用いた動的機 械学習処理により、継続的に領 域分割をオンラインで解析し、そ れに応じて環境の新しく直接見 えない部分にも注釈をつけるこ とができます [Miksik et al. 2015] [https://www.youtube.com/watch?v=3x9qtJjXkuY]
RGB-D SLAMによる半自動再構築 ? Nguyen らは、RGB-D SLAM情報から低多角形数で高いレベルの形 状を計算する構築モデリングのためのシステム ? このシステムは平面を抽出し、平面の境界形状や平面と平面の関 係（接合や直交など）を解析します
9.4 自由形状モデリング
自由形状モデリング ? 従来の形状や外見の設計手法とは、多くの場合、粘土や木材、紙と いった変形しやすい素材から作る原寸模型や試作品を作成すること である ? ARでは、デジタルな設計手段と実物体を組み合わせることにより、 設計過程を拡張することができる ? この応用領域においては、注目すべき点は、正確に形状を入力する ことよりも、むしろ自由に表現し想像できることである
Screendesign ? 使用者が宙空に曲線を描くこと ができ、曲線に自由曲面を合わ せることができるシステム ? 二次元的に見えていますが、使 用者は立体視しています [Fiorentino et al. 2002] [https://www.youtube.com/watch?v=XcHuaOFpg7g] ① ②
噴霧器によるモデリング ? 立体物の自由モデリングにおけ るもう一つの直感的な方法は、 発泡粒子を模倣した噴霧器を用 いる方法があります [Jung et al. 2004]
既存の技法を用いたモデリング ? 設計者は、彫刻や素描といった 既に確立された芸術的技法を 好むかもしれません ? 例えば、工業設計者は試作用 の道具として、発泡素材を切断 して使用します ? 発泡素材と切断機をトラッキン グ。その変形過程をシミュレート し、切断された部分や内部構造、 目標形状などの追加情報を提 示しました[Marner and Thomas 2010] [https://www.youtube.com/watch?v=VPUT2l5JvT0]
AR-Jig 発泡素材の切断では、意図した 形状を物理的に作成できなけれ ばならない、という限界がある ① AR-Jigでは、トラッキングされ たピン配列を用いて、使用者 が二次元曲線を入力できる ② 取り込まれた曲線を仮想の彫 刻をするために利用できる [Anabuki and Ishii 2007] ① ②
Construct3D ? 数学を勉強するために、高次構 造の形状制作も提供できます ? HMDを装着した学生が、複数の 回転曲面の交差曲線など、制 約付きモデリング技術を用いて、 対話的に媒介変数を変更する ことができます [Kaufmann et al. 2000] [https://www.youtube.com/watch?v=QvsN-5GykhA]
9.5 注釈
注釈の有用性 ? 異なる種類の注釈（オンライン? オフライン）を実物体に情報を紐 付けることは、有用性がありそう です ? 注釈を付与することで、使用者 が環境について良く理解し覚え るために役立つものです [Starner et al. 1998] [Wither et al.2009]
Augment-able reality ? 他の利用者との注釈共有は、ソー シャルコンピューティングにおいて 重要な機能です ? Augment-able reality （拡張可能な現実環境） 必要に応じて新たな情報が提供さ れ、それゆえ「拡張可能な」という 言葉が使われています ? 位置に紐付けされた注釈をサーバ 上で蓄積することで、情報共有を 共同で作り上げるものとなります [Rekimoto et al. 1998]
注釈を配置するフロー 1. 物体上に注釈を配置する前に、物体の三次元復元を行います ? 注釈を配置するために必要な、トラッキング用の三次元モデルが、最初から 利用できるわけではありません ? 最低でも、後で注釈配置される物体か場所を確実に検出できるようにするた め、画像情報を収集しなければなりません ? 前述の半自動三次元復元手法を用います 2. ARシステムは環境の三次元情報を取得し、その使用者がそこに 追加情報を注釈の形で追加するという流れになります
注釈配置の作業負担の軽減 ? 屋内環境では、従来のSLAMに よって取得した疎な三次元マップ が注釈を配置するために直接用 いることができます ? 使用者が環境中に存在する幾何 学的特徴を選択し、システムにそ れらの特徴をトラッキングさせると いう手法です ? 特徴が自動的に抽出されることで、 注釈配置のために手動で表面形 状を指定するという作業負担を軽 減することができます [Reitmayｒ et al. 2007] [https://www.youtube.com/watch?v=2P_k-2pHiRs]
注釈の二次元的に配置 ? 多くの場合、三次元の注釈は、 二次元的に作成できます ? ビデオ透過型の携帯ディスプレ イ上で二次元的に矢印を描画し たり、画面上で物体やその一部 を円で囲って強調表示させるな どして、AR用の注釈を加工する ことができます[Gauglitz et al. 2014b] [https://www.youtube.com/watch?v=wURXdhi4SdA]
注釈の補完 ? 画像や物体空間におけるジェス チャで強調された注釈の補完や 半自動物体分割は、二次元入 力の曖昧さをなくし、異なる視点 から正しく解釈するために三次 元の場面に適用することができ ます [Nuernberger et al. 2016]
屋外での注釈配置 ? 屋外での用途として、開けた環 境で使用者が建物に注釈を追 加できるシステム ? 物理センサ情報（GPS、方位、 IMU）により使用者の現在位置 が決まり、画像上での建物の角 を指定すると、その建物がトラ キングされ、使用者が画像上で 注釈を配置できます [Kim et al. 2007]
移動センサを用いた注釈配置の例 ? 屋外のどこにでも注釈できる頑 強かつ拡張性のあるシステム ? 移動センサとパノラマSLAMの組 み合わせで構築 [Gauglitz et al. 2014b] [https://www.youtube.com/watch?v=xadks8UVwlA]
GPSを用いた注釈配置の例 ? パノラマ画像と注釈の位置情報 は、GPS座標値で紐付けし、 サーバに蓄積します ? パノラマ画像の撮影中もしくは その後に、環境中の特徴点を選 択し、文字や音声で注釈付けで きます [Langlotz et al. 2011]
三次元モデルを用いた注釈配置の例 ? 都市の三次元モデルが利用可 能である場合、パノラマ画像は、 都市の三次元モデルとの画像 に基づく照合のために超広角画 像として扱えます ? このような拡張された枠組みで、 地理座標系に配置された注釈 を利用することができます [Arth et al. 2014b] [https://www.youtube.com/watch?v=XjXFpMVXwrk]
9.6 まとめ
9.6 まとめ ? モデリングは、ARのインタラクションにおいて必要不可欠です ? 空間的な入力が不正確になる場合、幾何学的な情報を入力する使 用者を支援する様々な技術が開発されてきました ? 今後、社会交流用のARが主流のメディアとなるなら、注釈配置は末 端の使用者にとって重要な技術となると考えられます

More Related Content

ARの教科書 第9章 モデリングと注釈付け