�ݺ�ߣ

Unet
전력연구원 객체 분할 모델(UNet) 상세 소개

Image Segmentation
Detection / Segmentation
Panoptic: 모든 것이 한 눈에 보이는, 파노라마적인
객체 검출 (Object Detection) 은 객체의 위치, 종류 그
리고 확률을 출력함.
[x, y, width, height, class, probability]
이미지 분할 (Image Segmentation) 은 크게 아래와 같
이 3가지로 구분함.
• Semantic Segmentation (의미론적 분할)
• Instance Segmentation (인스턴스 분할, 객체 분할)
• Panoptic Segmentation

Semantic Segmentation
Semantic Segmentation(의미론적 분할)은 같은 Class는 다 똑같이 예측하는 방법. (상세 설명은 뒤에서)
두 같은 객체(Same class, different instance)가 겹쳐 있으면 구분할 수 없다.
가방 지갑 신발 진열벽 벽
모니터

Instance Segmentation
Instance Segmentation(인스턴스 분할, 객체 분할)은 지정한 객체를 Instance 단위로 검출한다. (상세 설명은 뒤에서)
두 같은 객체(Same class, different instance)가 겹쳐 있어도 구분할 수 있다.

Panoptic Segmentation
Panoptic Segmentation은 Semantic Segmentation + Instance Segmentation 이다.
두 같은 객체가 겹쳐 있어도 구분할 수 있고 배경 또한 구분할 수 있다.

Segmentation 종류
원본 이미지 Panoptic Segmentation

Object Detection
Classification (분류)
Binary Classification
(이진 분류)
Saliency Detection
(중요 물체 검출)
(의미론적 분할)
Multi-Label Classification
(다중 분류)
Object Detection
(객체 검출)
(인스턴스 분할, 객체 분할)
Panoptic Segmentation
ex) ResNet, EfficientNet
ex) FasterRCNN, YOLO
ex) MaskRCNN, YOLACT
ex) U^2 Net,
Pyramid Feature Attention
ex) U-Net, HRNet, DeepLab
ex) UPSNet, Mask2Former

U-Net 구조 (출력 레이어)
Output Mask의 크기는 입력 영상의 크기와 동일함. 채널은 Class의 개수이다.
Input Image(3 x 256 x 256) -> Output Mask( [c] x 256 x 256 )
U-Net 모델
Q) 왜 Encoder 부분이 더 길까?
Encoder Decoder
왼쪽 그림을 오른쪽 마스크로 경계를
찾아야 함.

Binary Cross Entropy Loss
log(0)은 ∞(무한대)이므로 수식 오류를 방지하기 위해 작은 숫자 𝜀𝜀 (epsilon)으로 범위를 고정시킨 후 계산.
𝐵𝐵𝐵𝐵𝐵𝐵 = −
1
𝑁𝑁
�
𝑖𝑖=1
𝑁𝑁
𝑦𝑦𝑖𝑖 � log 𝑝𝑝𝑖𝑖 + 1 − 𝑦𝑦𝑖𝑖 � log 1 − 𝑝𝑝𝑖𝑖 , 𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤 𝜀𝜀 ≤ 𝑦𝑦𝑖𝑖, 𝑝𝑝𝑖𝑖 ≤ 1 − 𝜀𝜀
Ground Truth (정답)
Prediction (예측)
정답과 예측이사이의 픽셀 값으로 손실률을 계산.
정답과 예측이 다르면 ∞(무한대)에 가까워지고, 같으면 0에 가까워 진다고 이해하면 쉽다.
학습 과정
수식 알 필요 없다.
픽셀끼리 비교하는 것만 기억하자!
Binary Cross Entropy Loss는 가장 기초적인 손실률 계산 방법임.

Binary Cross Entropy Loss
𝐵𝐵𝐵𝐵𝐵𝐵 = −
1
𝑁𝑁
�
𝑖𝑖=1
𝑁𝑁
𝑦𝑦𝑖𝑖 � log 𝑝𝑝𝑖𝑖 + 1 − 𝑦𝑦𝑖𝑖 � log 1 − 𝑝𝑝𝑖𝑖 , 𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤 𝜀𝜀 ≤ 𝑦𝑦𝑖𝑖, 𝑝𝑝𝑖𝑖 ≤ 1 − 𝜀𝜀
검증해 봅시다
y가 1일 때 p가 0에 가까워지면(즉, 많이 틀릴 수록) 무한대에 가까워진다.
y가 0일 때 p가 1에 가까워지면(즉, 많이 틀릴 수록) 무한대에 가까워진다.
ếġƚiļŋ[ŋấʔɫiļĉgiǫ[Ẃɫ[ŋĉ
ếġƚiļŋ[ʔŏġƚp[Ẃɫ[ʔƚ
ẳấĉ[ʟaấ6ʔŏġƚp₉p3[ƚ04
[[[[p[[ʔƚ2agếƚ₉p3[ŋĉ2əấļẂɫ2ʟẂaəấʔẳ2ấƚɫếgiʔ₉03[
Σ[9[ŋĉ2əấļẂɫ2ʟẂaəấʔẳ2ấƚɫếgiʔ₉00
[[[[ƚ[[ʔƚ2agếƚ₉ƚ3[ŋĉ2əấļẂɫ2ʟẂaəấʔẳ2ấƚɫếgiʔ₉03[
Σ[9[ŋĉ2əấļẂɫ2ʟẂaəấʔẳ2ấƚɫếgiʔ₉00
[[[[ļấŋŏļʔ[9₉p[₂[ʔƚ2giċ₉ƚ0[/[₉Σ[9[p0[₂[ʔƚ2giċ₉Σ[9[ƚ002ġấẂʔ₉0
ếĉ[⣺-ʔẂġấ⣺-[⣺♣[⁹⣺-ġẂếʔ⣺-⁹4
[[[[p[[ʔƚ2ẂļļẂp₉3Ρ3[Σ3[Ρ3[Σ40
[[[[ƚ[[ʔƚ2ẂļļẂp₉3Ρ3[Ρ2Ω3[Ρ2ΡΡΣ3[Ρ2Ά40
[[[[ŋĉ6ļấɫŏgŋ[[ŋĉ2əấļẂɫ2giɫɫấɫ2ÆếʔẂļpǼļiɫɫấʔŋļiƚp₉
ļấẳŏaŋếiʔŋĉ2əấļẂɫ2giɫɫấɫ2Ớấẳŏaŋếiʔ2ḰĽḰÐ0₉p3[ƚ02ʔŏġƚp₉0
[[[[ʔƚ6ļấɫŏgŋ[[ʟaấ6ʔŏġƚp₉p3[ƚ0
[[[[print₉ĉ⁄ŋĉ[ʟaấ4[1ŋĉ6ļấɫŏgŋ2⁄0
[[[[print₉ĉ⁄ʔƚ[ʟaấ4[1ʔƚ6ļấɫŏgŋ2⁄0
ŋĉ[ʟaấ4[Ρ2ΣΦΧΤΡΦΨΨΥΤΩΨΨΩΤΥΨ
ʔƚ[ʟaấ4[Ρ2ΣΦΧΤΡΧΦΡΧΥΧΩΨΈΨΥΆ
Òļiaấɫɫ[ĉếʔếɫéấẳ[ǫếŋé[ấœếŋ[aiẳấ[Ρ

Inference (추론)
log(0)은 ∞(무한대)이므로 수식 오류를 방지하기 위해 작은 숫자 𝜀𝜀 (epsilon)으로 범위를 고정시킨 후 계산.
정답과 예측이사이의 픽셀 값으로 손실률을 계산.
정답과 예측이 다르면 ∞(무한대)에 가까워지고, 같으면 0에 가까워 진다고 이해하면 쉽다.
추론 과정
지정한 threshold(문턱치) 이상은 1로 미만은 0으로 변경!

• Encoder 부분은 어떤 Backbone을 써도 무방함.
• 입력 이미지크기의 1/32가 될 때 까지 Convolution연산 수행.
(원하는 대로 조절 가능, TF2의 Backbone이 1/32까지 줄인 이후에 cls-head를 붙이는 형태여서 1/32까지 사용함)
• Width, Height가 줄어들기 가장 마지막 레이어의 활성화 함수를 거친 Tensor를 Concatenate 한다.
• InceptionResNet같이 Convolution연산에서 strid와 paddin으로 정확하게 반으로 줄어들지 않는 경우는 Concatenate할 때 추가 padding 작업이 필요함.
U-Net 구조 (Encoder)
Encoder (Backbone)
U-Net의 구조라기 보다 U-Net의 Encoder를 만드는 방법 !
𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤𝑤
2
,
ℎ𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒
2
4
,
4
8
,
8
16
,
16
32
,
32
1
,
1
본 Encoder가이드라인은 Tensorflow2의 Backbone을 기반으로 정의하였으며, 타 프레임워크와는 구현이 다를 수 있음.
ResNet50 ( 256 x 256 )의 경우 Tensor의 크기는 ( BatchSize x 8 x 8 x 2048 )
Pooling 을 어떤 걸 사용하던지 Chanel의 크기가 어떤지는 중요하지 않음. Backbone과 똑같이 하던지 스스로 짜던지 상관없음 !

U-Net 구조 (Decoder)
Decoder (Upsample or Transposed Conv)
본 Encoder가이드라인은 Tensorflow2의 Backbone을 기반으로 정의하였으며, 타 프레임워크와는 구현이 다를 수 있음.
Output Layer의 각 pixel은 0 ~ 1 의 값을 가진다.
Threshold를 통해 Binary Mask를 만들어야 한다.
2
,
2
4
,
4
8
,
8
16
,
16
32
,
32
1
,
1
• Encoder에서 Concatenate에 사용할 레이어를 확장(Upsample, ConvTr)후에 뒤에 붙인다.
• 원래의 이미지 크기가 될 때 까지 연산 수행.
• 단순히 크기만 늘릴 수 있고, 크기를 늘리고 Residual과 같은 레이어도 추가로 탑재 가능.

U-Net 구조 (Decoder::Upsample, ConvTr)
Upsample / Transposed Conv
Transposed Convolution이 올바른 명칭, Deconvolution은 잘못된 명칭.
• 이미지 resize와 비슷함.
입력 출력
• Stride ( 입력에서의 원소 사이의 거리 )는 2, kernel_size 는 3인 경우.

U-Net 구조 (Concatenated Skip Connection)
U-Net Encoder Decoder
원소 간 덧셈 ( element wise add ) 가 아니라 Tensor를 붙인다 !
4
,
4
8
,
8
16
,
16
32
,
32
1
,
1
2
,
2
2
,
2
4
,
4
8
,
8
16
,
16
32
,
32
1
,
1
• ResNet의 skip-connection은 Add지만, U-Net은 Concatenate라는 차이가 있다.
• 윤곽의 디테일한 정보를 다음 레이어에 전달 할 수 있음.

Adobe Photoshop (Instance Segmentation)
Adobe Photoshop CC 23.0 개체 찾기 도구 선택시 활성화 됨.

Semantic Segmentation 모델
Badrinarayanan, Vijay, Alex Kendall, and Roberto Cipolla. "Segnet: A deep convolutional encoder-decoder architecture for image segmentation." IEEE transactions on pattern analysis and machine intelligence 39.12 (2017): 2481-2495.
Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
Sun, Ke, et al. "High-resolution representations for labeling pixels and regions." arXiv preprint arXiv:1904.04514 (2019).
SegNet FCN
HRNet

U^2 Net
Qin, Xuebin, et al. "U2-Net: Going deeper with nested U-structure for salient object detection." Pattern Recognition 106 (2020): 107404.
RSU (ReSidual Ublock)

Dataset
Polygon Mask
가운데 구멍이 뚫려 있는 객체는 어떨까?

�ݺ�ߣ

[UNET]Segmentation model, a representative UNet, and a slide for understanding

Recommended

More Related Content

Similar to [UNET]Segmentation model, a representative UNet, and a slide for understanding (20)

More from Bomm Kim (6)

[UNET]Segmentation model, a representative UNet, and a slide for understanding