Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation
https://arxiv.org/pdf/2212.04976.pdf
- Github
https://github.com/zhenzhao/AugSeg
GitHub - ZhenZHAO/AugSeg: [CVPR'23] Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentati
[CVPR'23] Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation - GitHub - ZhenZHAO/AugSeg: [CVPR'23] Augmentation Matters: A Simple-yet-Effective A...
github.com
논문을 읽기 전에 필요한
용어 정리
- SSS: semi-supervised semantic segmentation
- data perturbations: 데이터 간섭(Data perturbations)은 데이터 세트에서 일부 또는 전체 데이터를 약간 수정하거나 변형하여 생성되는 것을 의미.
- consistency regularization (CR): CR은 레이블이 지정되지 않은 데이터에 대해 모델이 생성한 예측과 레이블이 지정된(labeled) 데이터에 대한 예측 사이의 일관성을 유지하도록 모델을 규제(regularize).
- Exponential Moving Averagin(EMA): 데이터의 이동 평균을 계산하는 데 사용되며, 과거 데이터에 더 작은 가중치를 부여하여 최신 데이터에 더 큰 중요성을 부여.
Abstract
SSS에 대한 많은 연구.
최근 SOTA는 네트워크 요소와 추가적인 학습 절차가 필요한 복잡한 구조로 이루어져 있음.
따라서 우리는 Standard teacher-student framework와 AugSeg 를 제안, data perturbations to boost the SSS performance.
다양한 data augmentation을 Semi-superviseds learning 에 더 잘 맞도록 조정하고자 함
intensity-based augmentation, 모델이 레이블이 지정되지 않은 다양한 샘플에 대한 추정 신뢰도를 기반으로 데이터 보강을 수행
Introduction
SSS가 필요한 이유
semantic segmentation은 pixel-level 의 label을 만드는 데에 많은 시간과 노동력이 필요
labeled data가 없는 것은 practical application의 한계
→ SSS 필요
SSS의 발전
초기: standard supervised-learning에다가 unlabeled data 넣기
→ data augmentation이 SSS에 효과가 있다.
→ 최근 SOTA : extra auxiliary tasks를 추가
예를 들면) advanced contrastive learning techniques, and more trainable modules
하지만 at the cost of requiring more complex methods
In this paper
복잡한 network components들을 추가하는 것을 버리고 AugSeg 사용
- we simplify existing randomAug and design a highly random intensity-based augmentation, which selects a random number of different intensity-based augmentations and a random distortion strength from a continuous space
- random copy-paste among different unlabeled samples
- We simply revise the widely-adopted data augmentations to better adapt to SSS tasks by injecting labeled information adaptively and simplifying the standard RandomAug with a highly random design
최근 SSS에서의 augmentation
- auto data augmentations
- cutmix-related transformations
Related-Works
semi-supervised의 핵심: unlabeled data를 사용하는 것
consistency regularization (CR) 은 semi-supervised learning의 근본 기술
다양한 perturbation 기술에 의존.
SSS의 성능을 개선하는 3가지 방법
- augmentations
- 대다수의 연구가 사용
- more supervision
- multiple training branches, training stages, or losses (MBSL)
- pseudo-rectifying
- ECS, ELN은 발표했다. additional trainable correctingnetworks (ACN)를.
최근 SOTA 모델들은 contrasive learning, multiple ensembling 등 complex 한 machanisms들을 도입
이와는 다르게, 이 논문에서는 오직 data augmentation만을 사용한 simple and clean한 모델 제안.
Instead of using a predefined number of augmentations with finite and discrete strength possibilities, we select a random number of augmentations and sample the augmentation strength uniformly from a continuous interval. In this way, our design enjoys better data diversity and is less likely to over-distort samples.
→ data augmentation을 수행할 때 aug의 수와 strength를 random 하게 결정
→ 다양하고 덜 왜곡된 샘플을 얻을 수 있음.
* Copy-Paste Augmentation 방식 참고용 논문
https://arxiv.org/pdf/2012.07177.pdf
Experiments
Training
segmentation backbone으로 DeepLabV3+ with ResNet pretrained on ImageNet 사용
output stride of 16 by default (instead of using 8)
student model을 학습시키기 위해서
- SGD optimizer with a momentum of 0.9
- a polynomial learning-rate decay with an initial value of 0.01
- 512 X 512 - 80 epoch
- 800 X 800 - 240 epoch
- batch size: 16
- sync-BN are adopted
Evaluations
성능 평가 위해 miou 사용
인코더로는 ResNet-50 and ResNet-101 사용
(Following CPS [7] and U2PL [45], we also adopt the sliding evaluation to examine the performance on validation images of Cityscapes with a resolution of 1024 × 2048.)
