Generative Model: Perceptual Loss와 Style Loss

참고 블로그

Week_7 CV-Perceptual Loss

Week_7 CV-Perceptual Loss

 

😶생성 모델에서의 L1 Loss 문제점

 

GT와 픽셀 단위로 비교해서 계산한 평균오차가 L1 loss.

문제는 생성모델의 특징은 가능한 정답이 여러개라는 것. 모든 가능한 정답과의 평균 오차를 줄이기 위해 학습하다보면, 그 모든 정답의 평균값인 흐릿한 결과물이 나오게 됨.

이를 보완하기 위해, 픽셀 단위로 정답과의 차이를 계산하는 것에서 나아가 ‘인간의 인식’과 유사한 loss 계산방식을 적용한 것이 Perceptual Loss.

(인간은 픽셀단위로 두 객체를 비교해서 비슷한지 여부를 판단하지 않음.)

 

---

😶Perceptual Loss

 

참고 블로그에서는 perceptual loss를 content loss와 style loss로 나눠서 설명.

블로그에서 설명하는 content loss = 여기서 설명하는 perceptual loss라고 두고 작성함.

Perceptual Loss는 픽셀단위의 오차가 아닌, Featur Extractor에 넣은 결과물인 abstract한 feature map 끼리의 비교를 통해 계산된 Loss.

단순히 픽셀단위 오차가 아니라, 사람이 바라보는 perceptual space로 변형시킨 상태에서 loss를 계산한다는 점에서 L1 loss를 보완함.

---

😶Style Loss

 

특징간의 상관관계(correlation)로 이해할 것.

비교할 두 이미지로부터 Gram Matrix를 얻음(어떻게 얻는지는 생략).

두 이미지의 Gram Matrix 유사도가 증가할수록(상관관계 값이 증가할수록) 스타일 손실이 감소되는 것.