[GAN] Style Transfer - AdaIN

Style Transfer 기법 - AdaIN

스타일 전송 기법 중 하나인 AdaIN(Adaptive Instance Normalization)은 딥러닝의 정규화 기법을 활용하여 스타일을 전송한다. 이 기법은 인스턴스 정규화(Instance Normalization) 레이어를 확장한 형태로, 스타일 전송에 효과적이다.

Adaptive Instance Nomalization

• AdaIN은 각 채널의 평균과 분산 값을 정규화한다. 이 과정에서 각 채널의 특성을 표준화하여 스타일 전송에 적합한 형태로 만든다.

평균과 분산의 조정

• 평균과 분산은 0과 1로 표준화된 값으로 변환된다. 이후, 이 값들을 곱하고 더하는 과정을 통해 주어진 입력에 대한 활성화 맵(activation map)을 조정한다.
• 이는 각 채널 내에서 발생하는 평균과 분산 값을 제거하고, 원하는 스타일의 평균과 분산 값으로 대체하는 과정이다.

스타일과 활성화 맵

• AdaIN은 타깃 이미지와 스타일 이미지 모두에서 활성화 맵을 계산한다.
• 이 활성화 맵은 이미지가 가진 스타일 특성을 나타내며, AdaIN은 이를 통해 스타일을 전송한다.

선형 변환의 적용

• 선형 변환은 0과 1로 이루어진 첫 번째 채널의 활성화 값을 적용하여, 해당 채널의 평균과 분산을 조정한다.
• 이 과정을 통해 첫 번째 채널은 원하는 스타일의 평균과 분산을 갖게 된다.
  

모델 구조

• AdaIN은 사전 학습된 모델의 인코더를 사용하여 입력 이미지의 특성을 추출한다.
• 추출된 특성은 디코더를 통해 새로운 스타일의 이미지로 변환된다. 이후, 다시 인코더를 통해 특성을 추출하여 최종적인 스타일 전송을 완성한다.

손실 함수의 역할

• AdaIN은 각 채널의 평균과 분산 값, 그리고 VGG 모델을 통해 추출된 평균과 분산 값의 손실을 계산한다.
• 이 손실 값은 스타일 전송 과정에서 원본 스타일과 타깃 스타일 간의 일관성을 유지하는 데 사용된다.

AdaIN을 활용한 스타일 전송은 원본 이미지의 스타일을 효과적으로 다른 이미지에 전달하는 강력한 방법이다. 이 기법은 딥러닝과 이미지 처리의 최신 연구에서 중요한 위치를 차지하고 있다.

---

이 글은 옵시디언 프로그램을 통해 티스토리에 게시되었습니다.