自律ドローンのサーベイ资料
- 2. はじめに 調べたもの The Foldable Drone: A Morphing Quadrotor that can Squeeze and Fly Are We Ready for Autonomous Drone Racing? The UZH-FPV Drone Racing Dataset Beauty and the Beast: Optimal Methods Meet Learning for Drone Racing Build Your Own Visual-Inertial Drone: A Cost-Effective and Open-Source Autonomous Drone FPGA Based UAV Flight Controller Design and Implementation of FPGA Based Quadcopter
- 3. BEAUTY AND THE BEAST: OPTIMAL METHODS MEET LEARNING FOR DRONE RACING(IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019) BEAUTY AND THE BEAST: OPTIMAL METHODS MEET LEARNING FOR DRONE RACING Video: https://youtu.be/UuQvijZcUSc >>いよいよ人間に近づいてきた自律レースドローン。 http://rpg.i?.uzh.ch/docs/ICRA19_Kaufmann.pdf
- 4. BEAUTY AND THE BEAST: OPTIMAL METHODS MEET LEARNING FOR DRONE RACING(IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019) 何がすごい？ ? マッピングデータや大量の学習データなしで未知の環境を飛 行できる。一回だけ飛行させればもう飛べる。 ? 動的な環境でも飛行できる。 ? 次のゲートを見失いにくくなった。 ? ゲートに対して鋭角にも入れる ? 次のゲートが視野になくても飛べる ? なのに飛行環境の再学習は不要 http://rpg.i?.uzh.ch/docs/ICRA19_Kaufmann.pdf
- 5. 流れ ? FPVカメラ映像＝＝＞UpBoardへ ? CNNでゲートの姿勢を推論、EKFで尤もらしく補正。（あ りえない推論をなくす） ? モデル制御予測?逐次二次計画法でゲートまでのパス生成、 線形補間等でウェイポイントを生成、ナビゲーション。 ? BEAUTY AND THE BEAST: OPTIMAL METHODS MEET LEARNING FOR DRONE RACING(IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019) http://rpg.i?.uzh.ch/docs/ICRA19_Kaufmann.pdf
- 6. どうやったか？ ? まずは色々な環境でプロレーサーが飛行させCNNで学習。 ? 設計したEKFより推論の尤度を出す。 BEAUTY AND THE BEAST: OPTIMAL METHODS MEET LEARNING FOR DRONE RACING(IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019) http://rpg.i?.uzh.ch/docs/ICRA19_Kaufmann.pdf
- 8. テキスト 思ったこと ? 前よりも(2017)人間に近い飛行ができるようになった。 ? 3.5m/sが運用の限界っぽい。速度の点ではまだまだ… ? これ以上はカメラからの入力だとドリフトしてしまう、ちゃんと推定すること ができない。 ? 高速化にはさらなる推論の高速化が必要では（CNN10Hz, MPC100Hz） ? 人間の飛行プロセスをもっと観察すれば新しい発見がある…? ? 推論をハードウェアに落とし込めれば高速化できそう ? <==>計算量をさらに落としていく方針の研究がされている BEAUTY AND THE BEAST: OPTIMAL METHODS MEET LEARNING FOR DRONE RACING(IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019) http://rpg.i?.uzh.ch/docs/ICRA19_Kaufmann.pdf
- 9. BEAUTY AND THE BEAST: OPTIMAL METHODS MEET LEARNING FOR DRONE RACING(IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019) IROS2018で優勝（参加2チーム） https://www.youtube.com/watch?v=9AvJ3-n-82w http://rpg.i?.uzh.ch/docs/ICRA19_Kaufmann.pdf
- 10. IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019 ARE WE READY FOR AUTONOMOUS DRONE RACING? THE UZH-FPV DRONE RACING DATASET ? 一言で…最速のレースドローンの飛行データセットを作った ? https://www.youtube.com/watch?v=3vVAC9ByVi4http://rpg.i?.uzh.ch/docs/ICRA19_Delmerico.pdf
- 11. IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019 なにができたか ? 未知の環境における高速ロボットナビゲーションがアツい ? レースドローンのような高加速度、高速回転を伴う動きは状態 推定が困難。 ? エキスパートが飛行させるIMU、GoundTruth, 魚眼映像、Event カメラ、オプティカルフローを含めたデータセットを10kmに 渡って公開 ? オプティカルフロー統計を行なってデータセットにおける優 劣、新たな評価手法の提案 http://rpg.i?.uzh.ch/docs/ICRA19_Delmerico.pdf
- 12. テキスト 思ったこと ? GroundTruthの取得方法がわかった。 ? やっぱりGPSベースじゃないんだな ? Snapdragon FlightはPX4 FlightStackが使えるのでみんなこ れを使ってるっぽい。 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019 http://rpg.i?.uzh.ch/docs/ICRA19_Delmerico.pdf
- 13. IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), MONTREAL, 2019 気になったこと ? VI-SLAMの比較もされた ? 視覚ベースの位置推定は? やはり難しいか… http://rpg.i?.uzh.ch/docs/ICRA19_Delmerico.pdf
- 14. IEEE ROBOTICS AND AUTOMATION LETTERS. PREPRINT VERSION. ACCEPTED NOVEMBER, 2018 THE FOLDABLE DRONE: A MORPHING QUADROTOR THAT CAN SQUEEZE AND FLY ? 一言で言うと…? 動物みたいに体の形を変えられるドローンの話 ttp://rpg.i?.uzh.ch/docs/RAL18_Falanga.pdf
- 15. IEEE ROBOTICS AND AUTOMATION LETTERS. PREPRINT VERSION. ACCEPTED NOVEMBER, 2018 できたこと https://www.youtube.com/watch? v=jmKXCdEbF_E&feature=youtu.be 機体の形に合わせて慣性行列を再計算し、モデルを更新進する ことで最適な飛行制御を行う。 妖力を計算しプロペラを回転させる。モデルベース制御で安定し た飛行。（Linear Quadratic Regulator（LQR）ゲインを最適化 しかも自律飛行。OpenCVのビジュアルオドメトリを使用。 ttp://rpg.i?.uzh.ch/docs/RAL18_Falanga.pdf
- 18. AIAC-11 Eleventh Australian International Aerospace Congress FPGA BASED UAV FLIGHT CONTROLLER ? 一言で言うと…? FPGAつかってCPUの負担を軽減してあげた話? ~IO制御からの解放~ https://www.academia.edu/19692802/FPGA_Drone_Flight_Controller
- 19. RE:FPGA＋CPUで始めるドローン制御～飛んだとは言ってない～ ? センサー通信 ? ESCのPWM波形生成 ? UART通信 ? 姿勢推定計算（EKF） ? PID計算 FPGA レ ジ ス タ CPU EKFパラメータ生成 UART通信内容生成 たったの11命令で 飛行を実現できる https://www.academia.edu/19692802/FPGA_Drone_Flight_Controller
- 20. RE:FPGA＋CPUで始めるドローン制御～飛んだとは言ってない～ 思ったこと ? ここまでFPGAでやるのはすごい。 ? 設計に相当時間かかってそう。 ? 論文中で提案した、設計したと言ってるけど実際に飛行して いる様子や組み込んでいる様子が見当たらない。 ? ほぼCPUなしで飛行するためには大変な努力が必要 ? 先行事例はもう少しありそう https://www.academia.edu/19692802/FPGA_Drone_Flight_Controller
- 21. FPGAでFCを作ってみた結果【飛んだとは言ってない】 DESIGN AND IMPLEMENTATION OF FPGA BASED QUADCOPTER ? 一言で言うと…? フライトコントローラーFPGAオンリーで作ってみた ? 一通りFCの機能をFPGA上で実現。 https://pdfs.semanticscholar.org/c2db/1043cdb43d0e7274ba547cc23854ede3f345.pdf
- 22. FPGAでFCを作ってみた結果【飛んだとは言ってない】 できたこと ? ESC（PWM波形生成） ? Receiver（PWM波形デコード） ? センサー通信（IIC） ? PIDコントローラー ? モーター出力計算 これらをハードウェアに 実装した https://pdfs.semanticscholar.org/c2db/1043cdb43d0e7274ba547cc23854ede3f345.pdf
- 24. まとめ まとめ ? 飛行制御だけでいえば現状CPUで十分な気がする ? 画像入力などが入ってくると効果がありそう ? ＜＝＝＞処理を軽くする方針で研究が進んでいる? （UZH: EventCamera） ? レースドローンにハードウェアパワーを適用したいが… ? 推論をハードウェアで行う？
- 25. テキスト 推論をハードウェアでやった先行事例 ２値化CNN on FPGAでGPUとガチンコバトル 2値化CNNなDQNを FPGAで動かしてみた FPGA SoCを用いて CNNの演算を効率化する方法について FPGAでDeep Learningしてみる Accelerating CNN inference on FPGAs: A Survey /HirokiNakahara1/cnn-on-fpgagpu http://www.modulabs.co.kr/? module=?le&act=procFileDownload&?le_srl=18142&sid=995c9fd7a02c61f0a0d83c07c162c511&module l=18115 https://xiangze.github.io/CNN_FPGASoC_report/FPGA%20SoC%E3%82%92%E7%94%A8%E3%81%84%E3%81%A6CNN%E6%BC%94%E7%AE%97.html https://qiita.com/ykshr/items/6c8cff881a200a781dc3 https://arxiv.org/pdf/1806.01683.pdf
- 27. テキスト やること ? ドローンのGPS飛行の評価 ? 基準点を確認 ? ドローン組み立て（PX4mini, iNav） ? 次は…