際際滷

Copyright? Pasona Inc. All rights reserved.
1
C++で�咾�蹈椒奪箸離謄好鉢h廠をPythonで恬った�
幄塀氏芙パソナ
DXテクノロジ�`云何 / X-TECH 及1エンジニア片 / Web/AIチ�`ム
歪紅�g

氏芙�B初と徭失�B初
2
幄塀氏芙パソナ
グル�`プ並�I坪否
?エキスパ�`トサ�`ビス(繁可塗撚)
?BPOサ�`ビス(溜�?��)
?HRコンサルティング
?縮圄?冩俐
?グロ�`バルソ�`シング(今翌繁可サ�`ビス)
?キャリアソリュ�`ション(繁可�B初、キャリア屶址)
?アウトソ�`シング
?ライフソリュ�`ション
?仇圭��伏ソリュ�`ション
徭失�B初
兆念�歪紅�g
FPGAを聞った鮫��I尖や�Mみ�zみプログラミングが挫き。
鮫��I尖からDeep Learningの弊順に秘り、恷除はロボットのAI何蛍を�_�k嶄。
twitter: @natsutan
はてな: natsutan

書晩�すこと
3
ピッキングロボット喘のC++で��譴織薀ぅ屮薀蠅離謄好鉢h廠を恬った。
�_�kしたプログラムはC++で��dされてlibrobot.soのように慌嗤ライブラリで戻工している。
モチベ�`ション�
?ピックのバグをロボを�咾�糠阿牧�つけたい。
?いろいろ�C嬬を怎したときのデグレをロボを�咾�糠阿牧�つけたい
?アルゴリズムのパラメ�`タをロボを�咾�気困釦{屁したい
?ドキュメントの屁�笋鬚靴燭�
プロジェクトリ�`ダ�`からの勣箔並�
?テストはPythonから佩いたい。
?リリ�`スするバイナリでテストをしたい。�壅コンパイル音辛�
テストランナ�`はPython��覆�pytestを聞おう。
Pythonにctypesという麿冱�ZIFがあるからこれを聞えば措さそう
テスト�h廠ではカメラ�Realsense�が俊�Aされていないので、並念に鮫�を喘吭してカメラの顔
唹をしたことにする。
テスト�h廠かどうかの登僅は�h廠�篳�俳个Α�h廠�篳�VCAMRA=1で�∀襯�瓮蕕��燭砲垢襦�
https://www.irasutoya.com/2014/10/blog-post_46.html

はまったところ匯�E
4
桑催 �n�}
1 C++��
2 enum
3 Deep Learning�嘛�
4 Realsense のAPIが柵べない。
5 �祇の豚棋�ﾒ志�
やってみたら�Y��逗�困靴泙靴拭�
�桑に�h苧します。

はまったところ１�PythonからC++の�v方を柵び竃す
5
恷兜の謁�
Pythonのctypes は、C bindingであってC++のbindingではない。C++喘のbindingは麿にある。
箭えば�B�Aする恙�砲�Qうようなstd::vector<float>が岷俊やりとりできない。
テスト�h廠
(python)
pytest librobot.so
ロボ崙囮ライブラリ
(C++慌嗤ライブラリ�
DLLのload
C++の�v方柵び竃し
�U��
圷？嶄附はC++で�_�kしていたが、APIはC冱�ZのI/Fを巷�_していた。
あるとき、librobot.soを柵び竃している圭もC++で�_�kしていることが蛍かった。
そこで、もうC冱�Zにこだわらなくて措いよね、粁�A議にC++へ卞佩しましょうという�があった。
その瘁の芙坪レビュ�`で、仝Cの塘双��g�|はポインタ�`�じゃなくて、std::vectorの歌孚に崔き�Q
えろ々と峺姜したの徭蛍じゃん。

6
Python librobot.so
libc
libapitset.so
Test喘ライブラリ
この��が匯つのプロセス腎�gで�咾�
bash Python
Deep Learningは�eのプロセス腎�gで�咾�
テスト喘のライブラリを匯つ恬る
これが、Pythonとテストするライブラリのヘルパ�`�v方を戻工する。
libcないとnewできない。
ctypesはCの��夛悶をどう�Qっているのかデバッガで�_�Jしてみた
�iのint�､靴�屬辰討覆ぁ�16�Mだと0xDE631600。
これ�g�`いなくpointerでしょう。

7
C++の�篳�鰈��
class Hand {
Hand(´) {
};
???
�;
このクラスをPython坪でinstance晒したい。
hand = dll.ct_Hand(type, name, 10.5)
�タ�`ゲットのライブラリのコンストラクタ
が柵ばれ、instance晒を佩う。
void * ct_Hand(int type, char* name,
double v) {
Hand *p = new Hand(type, name, v);
return (void *)p;
}
Hand::Hand(int type, const std::string
&name, double v) {type:type .. }
hand = dll.ct_Hand(type, name, 10.5)
�Python�箸妊悒襯僣`�v方を柵び竃す。
�ヘルパ�`�v方はCのI/Fを戻工して、坪何で
newを聞いinstance晒を佩う。
∠ヘルパ�`�v方は、voidのpointerに��Qして卦す。
⊥Pythonの嶄でC++の�篳��垢┐�
pointer

8
C++の�v方を柵び竃す。
int Pick(Hand &hand, Environment &env, int p) この�v方をPythonから柵び竃したい。
p = ct.c_int(10)
return_code = dll._ZNxxPickREKN_20xx(hand, env, p)
�タ�`ゲットのライブラリ坪では、貧返くポインタ�`が局っ
て噸宥に�I尖ができる。
int Pick(Hand &hand, Environment &env, int p) {
return PICK_OK;
}
return_code = dll._ZNxxPickREKN_20xx(hand, env, p)
�Python�箸�C++の�v方をを柵び竃す。
int吉は、Cで局せる侏に��Qする。
クラスの歌孚は、さっき恬ったpointer�､鬚修里泙浙匹擦个茲ぁ�
マングリングに廣吭して、岷俊C++の�v方を柵び竃す。
��intはそのままPythonで聞える
pointer

9
C++のclassの秤�鵑鰌iみ竃す
dump_hand(hand)
�ヘルパ�`�v方坪で、�篳�稜�鵑鰺皺織侫．ぅ襪��⑲�后�
void dump_hand(Hand *p) {
//jsonに竃薦
fd << ＾￣name:￣ << p->name;
}
hand_dic = json.load()
�Python�箸�､鰌iみ竃すためのヘルパ�`�v方を柵び竃す
�Python�箸�Jsonファイルを�iみ�zみ、デ�`タを痌�垢襦�
class Hand {
Hand(´) {
};
???
�;
C++�箸�筝釮気譴燭海�Classの�篳��､鰆�蠅燭ぁ�
pointer
Hand.json

はまったところ２�双�ぬ�
10
C++の双�ぬ紊�Pythonの双�ぬ紊�､鯤屬悩呂錣擦討襦�
これは返で栽わせないといけない。麿のcffiでも謹蛍揖じ。
C++のコ�`ドレビュ�`�rの�W テスト�h廠��箸④�W
書、ヘッダ�`ファイルから双�ぬ紊世吋僣`スして、�､鮓遒蟲韻討�Pythonのプログラムにするコンパイラを恬撹嶄。
enum HandType {
FIRST_HAND,
SECOND_HAND,
FAST_HAND
�;
class HandType(Enum):
FIRST_HAND = 0
SECOND_HAND = 1
FAST_HAND = 2
双�ぬ紊�､鮓遒蟲韻討覆ぁ�
護り輝てるとintとして�Qう繁が竃てくる。
THIRD_HANDが竃たときに、
SECOND_HANDの瘁に弖紗しても、匯桑恷瘁
に弖紗しても��}�oいようにしてください。
お�いだから徭�咾杯颪�
せないで、畠何�ﾈ襪譴�
圀しい。

はまったところ3
11
Deep Learning�嘛�
いろいろあって、C++からPythonで恬ったNeural Networkを�咾�垢里�boost::pythonを聞っている。
これが、pytest->C++->boost.pythonの�桑でよばれてプログラムがCoredumpする。
�Y惚議に、librobot.soからNNを�咾�垢里�4�N�の圭隈が詞壓している。
この�xの��d龍ある圭はコメントとか、twitter @natsutanで冱式してください。
俶勣嗤ればまた�h苧します。
pytest librobot.so boost::python
venvで恬ったPython interpreter Boostコンパイルじに峺協した
python interpreter
テスト�h廠�rはsystem�v方を聞う並で指閲
system(＾python3 infer.py￣)

12
�g�Hのカメラが俊�Aされて�oくても、C++からlibrobot.soをLoadして、Realsenseの�v方を柵んでもOK。
泣蛤カメラ
Realsense
RenderPointMap アルゴリズム
Pythonからlibrobot.soを柵び竃して、そこからRealsenseの�v方を柵んだらCoredump
pytest librobot.so librealsence2.so
これ徭悶はよくある�で�Tれてきたが、librobot.soの恷兜を恬った羨��箸靴討麓{誼いってない。
輝兜、Realsense卆贋を�oくすように畠悶の�O�をしている
カメラに卆贋しないコンテナを喘吭して、
瘁粁に�I尖を局す。
Realsenseの侭を�∀襯�瓮蕕勃辰�Qえたのに、そもそもなんでRealsenseの�v方が柵ばれるんだ�という夘��

13
その瘁、カメラがRealsenseだけになった。
その瘁から秘ってきた繁がいろんな侭にRealsense念戻の�I尖を弖紗していった。
泣蛤カメラ
Realsense
RenderPointMap アルゴリズム
テスト�h廠で�∀襯�瓮蕕鯤垢Δ箸いΔ里魯�瓮蕕臨啓�筝釮墨犁韻垢襪�△擦辰��阿發辰酉智發靴進暴Mみが�C嬬していなかった。
プロジェクトを�Mめる貧で、ライブラリの�O�房�などがドキュメント晒されておらず、瘁から栖た繁と慌嗤できてなかった。
ただ、テスト�h廠を恬る嶄でこの巓�xで匯つ捻壓議なバグを�つけました。
�r�gがあれば恷瘁�B初します。
RealsenseのAPI
柵んじゃう
Realsenseから函ったデ�`タを
岷俊アルゴリズムで聞う

はまったところ４
14
テストの豚棋�､箸靴謄蹈椶臨�檻┘魯鵐匹瑠�祇�を秘れたかったが、これは伎孵。
?Deep Learningのバ�`ジョンが�笋錣襪判Y惚が匯崑しない
?librobot.so坪何に�祇の��譽船Д奪��襪辰討い襪里任修譴鯰鼎犬襪海箸�
この�祇も豚
棋�ﾒ志造��
�にしたい
gripper open

撹惚
テスト�h廠を恬って３シ�`ン、６シナリオでテスト�h廠が竃栖ました。
ロボ�咾�糠阿縫丱阿鬘欧漬�つけた。匯つは中易かったので�B初。
バグではないが�O�貧の�n�}は、�Y��つけてます。
ドキュメントが屁�笋任④拭�
書の侭かけた垢方蛍ペイしてないけど、これからガンガンバグをみつけてくれるはず。

�つけたバグ
�g�C
�∀襯�瓮�
project_point_to_pixel
プロジェクトの恷兜に恬ったカメラに卆贋しな
いアルゴリズムを聞っている。
畠てmmでのやりとりを�協している。デ�`タが
mの��呂�I尖念に念にmmに��Qする
Realsenseは恙�砲�mで卦してくるので、mでのや
りとりを豚棋している。mmのデ�`タが栖た��呂蓮�
mに��Qして�v方を柵び竃している。
�g�Cで�咾い討い襪�蕁△海辰舛�嘛��靴ぁ�
RenderPointMap
バグの屏彜��∀襯�瓮蕕砲垢襪箸覆爾�咾�覆ぁ�
�{べるとmとmmが�`う。1000蔚したり、1/1000すると貧返く�咾��
おかしくなるところは�g�Hの恙�砲�蕁∋㌻馼呂領志達�pixel�を箔めるところ。
ただ、どこかを栽わせると、�eのどこかがまた1000蔚されたりする。
この�v方にmmの恙�砲鰉襪┐討癲△修譴辰櫃�咾�

�つけたバグ
mmの了崔
mの了崔
Realsenseの�麻圭隈は、カメラの醜泣を圻泣とする誘唹��Q。
3肝圷の了崔がN蔚されても��鬉垢襯團�札詢志辰浪��
mmでもmでもどちらを嚥えても屎しいピクセル了崔を卦す。
�壓晒してないバグ�
mを豚棋している�篳��mmが秘っている。
mmで恙�砲魴気好�瓮蕕��mで恙�砲魴気�realsenseに�筝釮靴燭箸④琳韻畦釮譟�燭泙燭�咾い討い襦�

まとめ
�n�}�
肝はC++のbinding(pybind11)を聞いたい。
テストの軟�喀K阻がpytest念戻になってしまっていて、アルゴリズムの�編^には聞いにくい。
テストにいろんなファイルが駅勣でDocker晒がやりにくい。
湖��
C のポインタ�`を聞って、�o尖文尖�咾�垢箸海蹐�Sしかった。
テストがALL PASSすると耙しい
２��だけどロボ�咾�糠阿縫丱威�つけて耙しい�
ドキュメントは中宜だったが、ここでやらないとだれもやらないので�B�った。
ご賠�ありがとうございました

際際滷

robotics42.pptx

More Related Content

robotics42.pptx