![BackGround : CNNの僥
? CNNは咾鮟Uるごとにエッジなどの詰いレベルの蒙翮燭鰕Я
しMみ栽わせることで}jな侘彜をJRしていると深えられて
いる
? 麗悶奮においては侘彜のA鬚鬩@誼する圭が嶷勣[Ritter et
al. , 2017]](https://image.slidesharecdn.com/imagenet-trainedcnnsarebiasedtowards-190125120054/85/Imagenet-trained-cnns-are_biased_towards-13-320.jpg)
![BackGround : CNNの僥
? ImageNetを僥したVGG16などは參和のようにモザイク彜に
した鮫颪しても互いJR楕をFる[Anonymous, 2018]](https://image.slidesharecdn.com/imagenet-trainedcnnsarebiasedtowards-190125120054/85/Imagenet-trained-cnns-are_biased_towards-14-320.jpg)
![Method : Stylized-ImageNet (SIN)
? 圷鮫颪離謄スチャ秤鵑魍肇しランダムにxばれた鮫颪離
クスチャ秤鵑鮓錦襪靴ImageNetデ`タセットで僥
? テクチャ原嚥にはAdaIN style transfer[Huang & Belongie,
2017]による鮫LQを旋喘](https://image.slidesharecdn.com/imagenet-trainedcnnsarebiasedtowards-190125120054/85/Imagenet-trained-cnns-are_biased_towards-18-320.jpg)
![Results : Overcoming The Texture Bias
? CNNがテクスチャにバイアスをかけてしまった圻咀はデ`タ
セットにあると深えられる
? ImageNetはロ`カルな秤鵑里澆鮴喘して互いJR娼業を_
撹できることが岑られている[Anonymous, 2018]
★ SINを旋喘することでこのhを編^](https://image.slidesharecdn.com/imagenet-trainedcnnsarebiasedtowards-190125120054/85/Imagenet-trained-cnns-are_biased_towards-21-320.jpg)
![[猟待h]Stochastic Thermodynamics Interpretation of Information Geometry](https://cdn.slidesharecdn.com/ss_thumbnails/aa-180330124241-thumbnail.jpg?width=560&fit=bounds)
More Related Content
More from KCS Keio Computer Society (20)
Recently uploaded (11)
Imagenet trained cnns-are_biased_towards
- 1. いきなりですが、諒籾です
- 9. IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES ACCURACY AND ROBUSTNESS. @mo_takusan9922 20181205 Under review at ICLR 2019 (review scores 8,8,7)
- 10. 徭失B初 ? 尖垢僥何秤鷙ぱЭ3定 ? KCS ? 櫃鼎い燭藕塀サイトに誘後 している並がunityしかない
- 12. BackGround : ImageNet (IN) ? 1400嵐旦參貧の鮫颪уhされているデ`タセット ? 2嵐旦參貧のカテゴリに蛍かれている ? ベンチマ`クとしても措く旋喘される https://cs.stanford.edu/people/karpathy/cnnembed/
- 13. BackGround : CNNの僥 ? CNNは咾鮟Uるごとにエッジなどの詰いレベルの蒙翮燭鰕Я しMみ栽わせることで}jな侘彜をJRしていると深えられて いる ? 麗悶奮においては侘彜のA鬚鬩@誼する圭が嶷勣[Ritter et al. , 2017]
- 14. BackGround : CNNの僥 ? ImageNetを僥したVGG16などは參和のようにモザイク彜に した鮫颪しても互いJR楕をFる[Anonymous, 2018]
- 15. BackGround : CNNの僥 ? エッジのJRが嶷勣であるのにもvわらず、テクスチャの僥 しかしていない ★ この}を盾Qすることが 侮嗔Я、CV式び舞U親僥蛍勸において嶷勣
- 16. Method : Psychophysical Experiments ? Geirhos et al. (2018) のパラダイムに惄辰董⇒じ鮫颪砲け るの繁gと CNN の蛍のパフォ`マンスを屎_に岷俊曳^
- 17. Method : Data Set (Phychophysics) ? 參和の鮫颪して麗悶JRタスクを佩い、テクスチャ式び侘 彜のバイアスをuする ? オリジナル : 圷の鮫 ? グレ`スケ`ル : x業秤鵑里 ? シルエット : 唹のみ ? エッジ : 甑のみ ? テクスチャ : |湖のみ ? キュ`コンフリクト : 鮫LQによってテクスチャを篁させたもの
- 18. Method : Stylized-ImageNet (SIN) ? 圷鮫颪離謄スチャ秤鵑魍肇しランダムにxばれた鮫颪離 クスチャ秤鵑鮓錦襪靴ImageNetデ`タセットで僥 ? テクチャ原嚥にはAdaIN style transfer[Huang & Belongie, 2017]による鮫LQを旋喘
- 19. Results : Shape vs Texture
- 20. Results : Shape vs Texture
- 21. Results : Overcoming The Texture Bias ? CNNがテクスチャにバイアスをかけてしまった圻咀はデ`タ セットにあると深えられる ? ImageNetはロ`カルな秤鵑里澆鮴喘して互いJR娼業を_ 撹できることが岑られている[Anonymous, 2018] ★ SINを旋喘することでこのhを編^
- 22. Results : Overcoming The Texture Bias
- 23. Results : Overcoming The Texture Bias
- 24. Results : Robustness and Accuracy ? 侘彜にバイアスをかけたResNet-50のロバスト來と娼業を參和 の圭隈で鯢呂気擦 ? INとSINを栽わせたデ`タセットで僥させる ? INにしてfine-tuningした彜BでINとSINを栽わせたデ`タセットを 聞って僥させる(=Shape-ResNet) ? これらを宥械のResNet-50と肝のようにして曳^ 1. IN の蛍來嬬 2. Pascal VOC 2007 への了僥 3. 鮫颪咾するB宗來
- 25. Results : Robustness and Accuracy ? IN の蛍來嬬 ? Pascal VOC 2007 への了僥
- 26. Results : Robustness and Accuracy ? 鮫颪咾するB宗來
- 27. 歌深 ? Robert Geirhos. IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES ACCURACY AND ROBUSTNESS. Under review as a conference paper at ICLR 2019. 2018 ? @karpathy. t-SNE visualization of CNN. Results codeshttps://cs.stanford.edu/people/karpathy/cnnembed/. (歌孚晩: 2018/12/02) ? Stanford Vision Lab, Stanford University, Princeton University.ImageNet. http://www.image-net.org/ .2016
Editor's Notes
- #15: for VGG-16, BagNet-9/17/33 reach 0.70 / 0.79 / 0.88
- #17: 遺鰻鰻による容胎と揖じくらいの扮寂で岷Q議に僉ばせた
- #18: このr、オリジナルとテクスチャのxび圭は聞喘するモデル畠てでうまく蛍できたもの これにしてオリジナルにグレ`スケ`ル、シルエット、、などの篁を原ける これによってテクスチャによって蛍できたのか、それとも侘彜によって蛍できたのかわかる
- #19: 郡塀では掲械にLいrgかかる g悶のフィ`ドフォワ`ドで販吭の鮫LにQできるという泣で駻辰気譴
- #20: ほぼすべてのオブジェクトとテクスチャ鮫 (オリジナルとテクスチャデ`タセット) CNNs と繁gのI圭によって屎しくJRされた 侘彜とテクスチャ秤鵑I圭根んでいるグレ`スケ`ル鮫颪任睛にうまくJRされた シルエット鮫颪栽、苧らかに繁gよりもImageNetでされたCNNはJR崙業が詰い エッジの栽はさらに广 したがって繁gはテクスチャ秤鵑魍屬燭覆せ颪してもうまくJRできるのにしてImageNetで僥されたCNNはテクスチャ秤鵑贋壓しない栽はJRできない これはエッジの鮫颪鬟優奪肇鍠`クが^肇にたことがないために rに贋壓しなかったスケッチ鮫颪徭隼な鮫颪らのy楚が寄きくなるため rに僥しなかったドメインにしてはうまくm鬉垢襪海箸できないことを幣す。 これFgの鮫颪廃ЯしたCNNではアニメ鮫颪鬚Δ泙Reすることができないとかいうの念からなかったっけ燭辰橡爾い泙靴 ものは冱いようかな燭函 シルエットを伏撹するためにオブジェクトの甑が\い弼で托められた栽、CNN のJR娼業は繁gの娼業よりもはるかに詰かった。これは、さらにエッジ缶爾のために广であった, 繁gのオブザ`バ`は、テクスチャ秤鵑鬚曚箸鵑紐屬辰討い覆せ颪箸呂襪に措いIすることを幣す.これらのgYの1つの詞揖は CNNs が (ネットワ`クが念にQしてたことがない) スケッチに (ネットワ`クがされた) 徭隼なイメ`ジからのイメ`ジのy楚の寄きい筝すなわちI囃の了とうまくIしないA鬚あることである。
- #21: 繁gが橿来 AlexNetがムラサキダイヤモンド VGG16が楳い眉叔 GoogLeNetが邦弼来 ResNet-50がグレ`屎圭侘 繁gは屎しくJRできたカテゴリでは95.9%で侘彜を圷にQ協を佩っていることを幣す。 CNNでは謹くの栽、テクスチャを圷にQ協していることが蛍かる AlexNet: 42.9% 57.1%; VGG-16: 17.2% shape 82.8% GoogLeNet: 31.2% 68.8%; ResNet-50: 22.1% 77.9%
- #22: 鮫馮悶の侘彜を由栽し蛍窃するプロセスをUるのではなく、たくさんの何蛍議なテクスチャの徨を由栽するだけで噴蛍に範紛できる
- #23: 僥に旋喘したデ`タセット★┘謄好箸棒喘したデ`タセット SINを旋喘した栽にJR娼業が詰和するのはSINがINに曳べてyしいタスクであるため SIN★INではJR楕が個鋲していることからも蛍かる BagNetはResNet-50のア`キテクチャを隔つが、JRするために旋喘する鮫骼I囃の恷寄サイズを33*33、17*17、9*9に崙泙靴燭發 仝鮫馮悶の侘彜を由栽し蛍窃するプロセスをUるのではなく、たくさんの何蛍議なテクスチャの徨を由栽するだけで噴蛍に範紛できる々を^苧できる
- #24: 橿来哉哩g 仔膨叔SINのResNet-50 子膨叔INのResNet-50 SINによって僥することによって、INでは22%しか侘彜をていなかったResNet-50が81%も侘彜をるように篁した
- #25: 橿来哉哩g 仔膨叔SINのResNet-50 子膨叔INのResNet-50 SINによって僥することによって、INでは22%しか侘彜をていなかったResNet-50が81%も侘彜をるように篁した
- #26: トップ1と top5 ImageNet の編^娼業にvして、バニラ ResNet を争{しています。これは、SIN が ImageNet での嗤喘なデ`タ寄であり、ア`キテクチャの筝なしにモデルのパフォ`マンスを鯢呂任ることを幣しています。 パスカル VOC の 2007.トレ`ニングデ`タに SIN をMみzむことで70.7だったmAP50のJR楕が75.1へと鯢蓮 テクスチャベ`ス燕FよりもU械ベ`ス燕Fは嗤吩であるという岷湖に冽っている。 ＭAPは麗悶JRタスクにおいてFれた屎盾ラベルの坪どれだけ屎しくJRできたかの峠譲を畠てのオブジェクトにして峠譲をとったもの mAP50 のオブジェクト奮來嬬が寄嫌に鯢呂靴泙后これは、オブジェクトの奮のために、侘彜ベ`スの燕Fは、テクスチャベ`スの燕Fよりも嗤吩であるという岷湖に冽って、麗悶を淫根する仇貧の寔尖のL圭侘は、グロ`バルオブジェクトの侘彜に栽わせたデザインであるためです。
- #27: ノイズ、コントラスト篁、ハイ?ロ`パスフィルタリング、Eidolonなどによって鮫颪浴んでいる栽のモデルの娼業がどれほど喪晒するかテストしたY惚 SINで僥したモデルの圭が、ほとんど畠ての浴みにしてINで僥したものよりも措いY惚を幣している。 Lowパスフィルタでは率匯いY惚を幣したが、ロ`パスフィルタによってエッジ秤鵑oくなるためだと深えられる。 しかし畠悶としては繁gの浴みにするロバスト來にかなり除くなっている。 浴みにするB宗來または了爛離ぅ此▲灰鵐肇薀好篁、ハイ?ロ`パスフィルタリング、まぼろし咾覆匹砲茲辰道颪浴んでいる栽、モデルの娼業がどのように喪晒するかを悶狼議にテストしました。この曳^のY惚、ヒト歌孚喘のデ`タは、6の晒である。浴み鮫颪諒パ`セントの娼業を之いているg、恟のを鞭けたネットワ`クは、ほとんどすべての鮫餡掀でを鞭けた CNN よりもれています。(ロ`パスフィルタリング/ブラ`は、sin によってされたネットワ`クがより唹を鞭けやすい率匯のディスト`ションタイプであり、}鮫を宥した sin の互巓襖佚催の^偠Fといエッジへの卆贋に軟咀する辛嬬來があります。恟のを鞭けた ResNet-50 は、嶄に浴みのいずれかをたことがないにもかかわらず、繁gレベルの浴みの埓緑圓暴づく。