際際滷

際際滷Share a Scribd company logo
畛 ti:
畛ng d畛ng k畛 thu畉t stereo
    vision cho robot

GVHD: PGS.TS Hong 狸nh Chi畉n
SVTH: Nguy畛n Vn 畛c
      Nguy畛n H畛ng 畛c
N畛I DUNG

1   Gi畛i thi畛u

2   H畛 th畛ng Stereo Vision

3   K畉t qu畉 畉t 季動畛c

4   H動畛ng ph叩t tri畛n
Gi畛i thi畛u

        C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n




D湛ng c担ng t畉c hnh tr狸nh       D湛ng c畉m bi畉n si棚u 但m
Gi畛i thi畛u
C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n




       Ph動董ng ph叩p optical flow
Gi畛i thi畛u
C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n




Ph動董ng ph叩p d嘆 bi棚n (Edge detection)
Gi畛i thi畛u
C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n




         Ph動董ng ph叩p d嘆 n畛n
Gi畛i thi畛u
C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n




      Ph動董ng ph叩p Stereo Vision
H畛 th畛ng Stereo Vision
L畉y 箪 t動畛ng t畛 ho畉t 畛ng th畛 gi叩c c畛a ng動畛i
H畛 th畛ng Stereo Vision
 S董 畛 kh畛i




               Tr叩i                Tr叩i *
        Thu           Hi畛u ch畛nh             T鱈nh to叩n    X畛 l箪 b畉n
        h狸nh             畉nh                b畉n 畛 畛    畛 畛 ch棚nh
               Ph畉i                Ph畉i *
                                            ch棚nh l畛ch       l畛ch




                      Hi畛u ch畛nh                         i畛u khi畛n
                       Camera                            畛ng d畛ng
H畛 th畛ng Stereo Vision
 Kh畛i thu h狸nh




               Tr叩i                Tr叩i *
        Thu           Hi畛u ch畛nh             T鱈nh to叩n    X畛 l箪 b畉n
        h狸nh             畉nh                b畉n 畛 畛    畛 畛 ch棚nh
               Ph畉i                Ph畉i *
                                            ch棚nh l畛ch       l畛ch




                      Hi畛u ch畛nh                         i畛u khi畛n
                       Camera                            畛ng d畛ng
H畛 th畛ng Stereo Vision




T ( xl x r )   T         fT
                   Z
  Z f          Z       xl x r
H畛 th畛ng Stereo Vision
 Kh畛i hi畛u ch畛nh camera




               Tr叩i                Tr叩i *
        Thu           Hi畛u ch畛nh             T鱈nh to叩n    X畛 l箪 b畉n
        h狸nh             畉nh                b畉n 畛 畛    畛 畛 ch棚nh
               Ph畉i                Ph畉i *
                                            ch棚nh l畛ch       l畛ch




                      Hi畛u ch畛nh                         i畛u khi畛n
                       Camera                            畛ng d畛ng
Kh畛i hi畛u ch畛nh camera
1. 畉c t鱈nh c畛a camera (Camera Model)




q=M*Q
畉c t鱈nh c畛a camera (Camera Model)
畉c t鱈nh c畛a camera (Camera Model)
畉c t鱈nh c畛a camera (Camera Model)
畉c t鱈nh c畛a camera (Camera Model)
   Radial distorsions :




   Tangential distorsions :
Kh畛i hi畛u ch畛nh camera
                         2. Hi畛u ch畛nh

       M畛c 鱈ch ch鱈nh c畛a hi畛u ch畛nh camera l t狸m ra ma tr畉n
c畉n thi畉t E (Essential matrix) v ma tr畉n c董 s畛 F (Fundamental
matrix)
H畛 th畛ng Stereo Vision
 Kh畛i hi畛u ch畛nh 畉nh




               Tr叩i                Tr叩i *
        Thu           Hi畛u ch畛nh             T鱈nh to叩n    X畛 l箪 b畉n
        h狸nh             畉nh                b畉n 畛 畛    畛 畛 ch棚nh
               Ph畉i                Ph畉i *
                                            ch棚nh l畛ch       l畛ch




                      Hi畛u ch畛nh                         i畛u khi畛n
                       Camera                            畛ng d畛ng
Kh畛i hi畛u ch畛nh 畉nh


               T狸m 動畛ng epipolar


Hi畛u ch畛nh
   畉nh



                Canh 畉nh (Image rectification)
T狸m 動畛ng epipolar
Canh 畉nh
H畛 th畛ng Stereo Vision
 Kh畛i t鱈nh to叩n b畉n 畛 畛 ch棚nh l畛ch




                Tr叩i                Tr叩i *
         Thu           Hi畛u ch畛nh             T鱈nh to叩n    X畛 l箪 b畉n
         h狸nh             畉nh                b畉n 畛 畛    畛 畛 ch棚nh
                Ph畉i                Ph畉i *
                                             ch棚nh l畛ch       l畛ch




                       Hi畛u ch畛nh                         i畛u khi畛n
                        Camera                            畛ng d畛ng
T鱈nh to叩n b畉n 畛 畛 ch棚nh l畛ch
T狸m i畛m t動董ng quan

      fT     fT
Z
    xl x r   d




             d
Thu畉t to叩n SAD


                                  I : Gia trido sang trungbinh cua so
                                  Ic : Gia tricuong do sang pixel trung tam
                                  Icap : Gia trigioi han tren




Min Max( I c I , I cap ), I cap
Thu畉t to叩n SAD
Thu畉t to叩n SAD
Thu畉t to叩n SAD
H畛 th畛ng Stereo Vision
 Kh畛i x畛 l箪 b畉n 畛 畛 ch棚nh l畛ch




                Tr叩i                Tr叩i *
         Thu           Hi畛u ch畛nh             T鱈nh to叩n    X畛 l箪 b畉n
         h狸nh             畉nh                b畉n 畛 畛    畛 畛 ch棚nh
                Ph畉i                Ph畉i *
                                             ch棚nh l畛ch       l畛ch




                       Hi畛u ch畛nh                         i畛u khi畛n
                        Camera                            畛ng d畛ng
X畛 l箪 b畉n 畛 畛 ch棚nh l畛ch
H畛 th畛ng Stereo Vision
 Kh畛i i畛u khi畛n 畛ng d畛ng




               Tr叩i                Tr叩i *
        Thu           Hi畛u ch畛nh             T鱈nh to叩n    X畛 l箪 b畉n
        h狸nh             畉nh                b畉n 畛 畛    畛 畛 ch棚nh
               Ph畉i                Ph畉i *
                                            ch棚nh l畛ch       l畛ch




                      Hi畛u ch畛nh                         i畛u khi畛n
                       Camera                            畛ng d畛ng
K畉t qu畉 畉t 季動畛c
K畉t qu畉 畉t 季動畛c
K畉t qu畉 畉t 季動畛c
畉t 季動畛c
   動a 季動畛c ra b畉n 畛 畛 ch棚nh l畛ch v畛i ch畉t l動畛ng ch畉p
    nh畉n 季動畛c
   K畉t qu畉 v畛 kho畉ng c叩ch sai s畛 kh担ng 叩ng k畛 trong ph畉m vi
    70 - 90 cm
H動畛ng ph叩t tri畛n

 T狸m hi畛u c叩c k畛 thu畉t trong i畛u khi畛n di chuy畛n

 Thi畉t k畉 m担 h狸nh Mobile robot di chuy畛n b畉ng b叩nh xe

 Ti畉n hnh l畉p k畉 ho畉ch 動畛ng i v tr叩nh v畉t c畉n tr棚n m担
  h狸nh robot th畛c k畉t h畛p v畛i k畛 thu畉t stereo vision

More Related Content

Stereo vision

  • 1. 畛 ti: 畛ng d畛ng k畛 thu畉t stereo vision cho robot GVHD: PGS.TS Hong 狸nh Chi畉n SVTH: Nguy畛n Vn 畛c Nguy畛n H畛ng 畛c
  • 2. N畛I DUNG 1 Gi畛i thi畛u 2 H畛 th畛ng Stereo Vision 3 K畉t qu畉 畉t 季動畛c 4 H動畛ng ph叩t tri畛n
  • 3. Gi畛i thi畛u C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n D湛ng c担ng t畉c hnh tr狸nh D湛ng c畉m bi畉n si棚u 但m
  • 4. Gi畛i thi畛u C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n Ph動董ng ph叩p optical flow
  • 5. Gi畛i thi畛u C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n Ph動董ng ph叩p d嘆 bi棚n (Edge detection)
  • 6. Gi畛i thi畛u C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n Ph動董ng ph叩p d嘆 n畛n
  • 7. Gi畛i thi畛u C叩c ph動董ng ph叩p ph叩t hi畛n v畉t c畉n Ph動董ng ph叩p Stereo Vision
  • 8. H畛 th畛ng Stereo Vision L畉y 箪 t動畛ng t畛 ho畉t 畛ng th畛 gi叩c c畛a ng動畛i
  • 9. H畛 th畛ng Stereo Vision S董 畛 kh畛i Tr叩i Tr叩i * Thu Hi畛u ch畛nh T鱈nh to叩n X畛 l箪 b畉n h狸nh 畉nh b畉n 畛 畛 畛 畛 ch棚nh Ph畉i Ph畉i * ch棚nh l畛ch l畛ch Hi畛u ch畛nh i畛u khi畛n Camera 畛ng d畛ng
  • 10. H畛 th畛ng Stereo Vision Kh畛i thu h狸nh Tr叩i Tr叩i * Thu Hi畛u ch畛nh T鱈nh to叩n X畛 l箪 b畉n h狸nh 畉nh b畉n 畛 畛 畛 畛 ch棚nh Ph畉i Ph畉i * ch棚nh l畛ch l畛ch Hi畛u ch畛nh i畛u khi畛n Camera 畛ng d畛ng
  • 11. H畛 th畛ng Stereo Vision T ( xl x r ) T fT Z Z f Z xl x r
  • 12. H畛 th畛ng Stereo Vision Kh畛i hi畛u ch畛nh camera Tr叩i Tr叩i * Thu Hi畛u ch畛nh T鱈nh to叩n X畛 l箪 b畉n h狸nh 畉nh b畉n 畛 畛 畛 畛 ch棚nh Ph畉i Ph畉i * ch棚nh l畛ch l畛ch Hi畛u ch畛nh i畛u khi畛n Camera 畛ng d畛ng
  • 13. Kh畛i hi畛u ch畛nh camera 1. 畉c t鱈nh c畛a camera (Camera Model) q=M*Q
  • 14. 畉c t鱈nh c畛a camera (Camera Model)
  • 15. 畉c t鱈nh c畛a camera (Camera Model)
  • 16. 畉c t鱈nh c畛a camera (Camera Model)
  • 17. 畉c t鱈nh c畛a camera (Camera Model) Radial distorsions : Tangential distorsions :
  • 18. Kh畛i hi畛u ch畛nh camera 2. Hi畛u ch畛nh M畛c 鱈ch ch鱈nh c畛a hi畛u ch畛nh camera l t狸m ra ma tr畉n c畉n thi畉t E (Essential matrix) v ma tr畉n c董 s畛 F (Fundamental matrix)
  • 19. H畛 th畛ng Stereo Vision Kh畛i hi畛u ch畛nh 畉nh Tr叩i Tr叩i * Thu Hi畛u ch畛nh T鱈nh to叩n X畛 l箪 b畉n h狸nh 畉nh b畉n 畛 畛 畛 畛 ch棚nh Ph畉i Ph畉i * ch棚nh l畛ch l畛ch Hi畛u ch畛nh i畛u khi畛n Camera 畛ng d畛ng
  • 20. Kh畛i hi畛u ch畛nh 畉nh T狸m 動畛ng epipolar Hi畛u ch畛nh 畉nh Canh 畉nh (Image rectification)
  • 23. H畛 th畛ng Stereo Vision Kh畛i t鱈nh to叩n b畉n 畛 畛 ch棚nh l畛ch Tr叩i Tr叩i * Thu Hi畛u ch畛nh T鱈nh to叩n X畛 l箪 b畉n h狸nh 畉nh b畉n 畛 畛 畛 畛 ch棚nh Ph畉i Ph畉i * ch棚nh l畛ch l畛ch Hi畛u ch畛nh i畛u khi畛n Camera 畛ng d畛ng
  • 24. T鱈nh to叩n b畉n 畛 畛 ch棚nh l畛ch
  • 25. T狸m i畛m t動董ng quan fT fT Z xl x r d d
  • 26. Thu畉t to叩n SAD I : Gia trido sang trungbinh cua so Ic : Gia tricuong do sang pixel trung tam Icap : Gia trigioi han tren Min Max( I c I , I cap ), I cap
  • 30. H畛 th畛ng Stereo Vision Kh畛i x畛 l箪 b畉n 畛 畛 ch棚nh l畛ch Tr叩i Tr叩i * Thu Hi畛u ch畛nh T鱈nh to叩n X畛 l箪 b畉n h狸nh 畉nh b畉n 畛 畛 畛 畛 ch棚nh Ph畉i Ph畉i * ch棚nh l畛ch l畛ch Hi畛u ch畛nh i畛u khi畛n Camera 畛ng d畛ng
  • 31. X畛 l箪 b畉n 畛 畛 ch棚nh l畛ch
  • 32. H畛 th畛ng Stereo Vision Kh畛i i畛u khi畛n 畛ng d畛ng Tr叩i Tr叩i * Thu Hi畛u ch畛nh T鱈nh to叩n X畛 l箪 b畉n h狸nh 畉nh b畉n 畛 畛 畛 畛 ch棚nh Ph畉i Ph畉i * ch棚nh l畛ch l畛ch Hi畛u ch畛nh i畛u khi畛n Camera 畛ng d畛ng
  • 33. K畉t qu畉 畉t 季動畛c
  • 34. K畉t qu畉 畉t 季動畛c
  • 35. K畉t qu畉 畉t 季動畛c 畉t 季動畛c 動a 季動畛c ra b畉n 畛 畛 ch棚nh l畛ch v畛i ch畉t l動畛ng ch畉p nh畉n 季動畛c K畉t qu畉 v畛 kho畉ng c叩ch sai s畛 kh担ng 叩ng k畛 trong ph畉m vi 70 - 90 cm
  • 36. H動畛ng ph叩t tri畛n T狸m hi畛u c叩c k畛 thu畉t trong i畛u khi畛n di chuy畛n Thi畉t k畉 m担 h狸nh Mobile robot di chuy畛n b畉ng b叩nh xe Ti畉n hnh l畉p k畉 ho畉ch 動畛ng i v tr叩nh v畉t c畉n tr棚n m担 h狸nh robot th畛c k畉t h畛p v畛i k畛 thu畉t stereo vision