ݺߣ

ݺߣShare a Scribd company logo

Mlc 2017 문제 보기

•
•
Dong Heon Cho
Dong Heon Cho

Google Machine Learning Challenge 2017 One of Participant's review

1 of 28
Download to read offline
MLC 2017 문제 보기 Thinkpad p50 믿고 Windows BASH에서 딥러닝하기 한줄 결론 : 비싼 데톱 사는게 정답!
MLC 2017
Mlc 2017 문제 보기
기대
현실 https://github.com/machine-learning-challenge/mlc2017-online/tree/master/quickdraw
문제를 살펴보면 1. 개 vs 강아지 binary classification 2. Cartpole 강화학습 3. Quick Draw 10-class classification
개 vs 고양이 Input : 32 x 32 | Output : 2 그냥 CNN 대충 돌려보면 되겠네!
0차 시도 BaseModel - LogisticModel [FC] Flatten -> 1
1차 시도 별거 없는 CNN 모델 [CNN] 32 -> 64 -> 32 [FC] 1024 -> 2
2차 시도 좋아 검증된 VGG16으로! 여러 파라미터 조정을 통해… + FC 제거 GAP 사용
3차 시도 https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html BottleNeck Fine-Tuning ADAM : 86 SGD : 음… 잘 안되더라… ImageNet… ImageNet…
마지막 VGG 16 (bt FC) + VGG 16 (bt GAP) + VGG 16 (ft FC) + Data Augmentation! ( 데이터 3배 )
아! Cartpole 문제는 봤는데 https://gym.openai.com/envs/CartPole-v0 + http://www.modulabs.co.kr/RL_library/3192 Obervation > x : position of cart on the track θ : angle of the pole with the vertical dx/dt : cart velocity dθ/dt : rate of change of the angle Action > Right || Left Reward > 0 || 1 ( 쓰러짐, 안 쓰러짐 ) 음 이거 Qlearning이나 Policy Gradient하면 만점 나오던데! 모연 블로그 보고 해야지!
오잉!? 주어진 코드의 상태가…! 그럼 길게만 해보자 10000000…?!
선착순 게임 40분 차이
Quick Draw Classifier Input : 50 x 50 | Output : 10 그냥 CNN 대충 돌려보면 되겠네!
0차 시도 BaseModel - LogisticModel [FC] Flatten -> 10
1차 시도 Cats vs Dogs할 때 VGG는 Base부터하면 트레이닝이 잘 안되었으니 좀 얕은 걸루 하자!
2차 시도 음… 이것 저것 넣어보자… truncated dist + batch_norm + CNN 크기 늘리기
3차 시도 어! Relu를 해보면 어떨까? 그리고 중간에 CNN Layer 추가해보고…
Onsite 턱걸이… https://github.com/machine-learning-challenge/mlc2017-onsite
아 high level 사용 불가… https://stackoverflow.com/questions/42530216/how-to-access-weight-variables-in-keras- layers-in-tensor-form-for-clip-by-weight : 나중에 집에가서 된다는거 알게됨…
0차 시도…
1차 시도… 하다가 끝남 DCGANhttps://github.com/davinnovation/mlc2017_onsite_dcgan/blob/maste r/models.py 조금 얕은 GAN 4->8->16->50 한번 더 깊은 GAN 4->8->16->16->50
참고… 하면 좋을 것https://github.com/davinnovation/mlc2017_onsite_dcgan/blob/maste r/models.py 현재는 계산 문제로 4->8->16에서 stride 3을 주어서 conv2d_transpose를 통해 50으로 늘렸으나 ( 16->50 ) 컴퓨터가 좋으면 16->32->64 -> 50으로… 비어있는 부분이 채워질 듯…? 참고로… 구현하다가 대회의 General 한 Attack & Defense는 뒷전으로…
중간 이슈들… < Google Cloud > gsutil을 windows bash에서 사용하려고 하니 계속 python 2 의존 문제가 생겨서 이건 windows cmd에서 하고, gcloud는 bash에서 하고… < 트레이닝 참사 > TF 1.3으로 멋도 모르고 하고 있다가 TF 1.3은 아직 GC가 지원 안해서 1.2로 내리고 다시 트레이닝 < Deconv(conv trans) 계산 > https://tensorflow.blog/a-guide-to-convolution-arithmetic-for-deep-learning/ http://deeplearning.net/software/theano/tutorial/conv_arithmetic.html 이거 보고 계산했습니다…
Onsite 후기 1. 밥이 좋아 2. 밥이 맛있어 3. 커피 좋네요… 4. Google Cloud 명령어를 몰라요 ㅠㅠ
부록 Online 대회에서 Cat vs Dog, Quick Draw 대회 1등 비결 공유 Cat vs Dog : 앙상블 100개 했어요 (ㄷㄷ) Quick Draw : Resnet Fine – tune하고 앙상블 했어요… (궁금한 것 – Quick Draw는 어떤 weight를 가져온 걸까…? )

More Related Content

Mlc 2017 문제 보기