https://www.youtube.com/watch?v=vZdEGcLU_8U&t=122s 오늘 강의 하나로 GANs은 모두 마스터 불가능 합니다 이런 연구들이 있었구나. 저런 문제를 해결했구나 이런 자세로 들으면 된다 💡 Unconditional GAN GAN이란 이미지를 생성하는 모델 training data의 distribution을 만들어내려고 함 - real 샘플을 사용할 경우, 판별하는 Discriminator을 input으로 넣으면 , output(회색박스) 안의 logit값들이 모두 1이 되도록 loss를 지정 (L2, L1, 사용 가능 / cross entropy를 사용하는 이유는 틀린 샘플에 대해서 패널티를 강하게 걸음) - fake 샘플(genearator가 가우시안 노이즈로부터 샘플..

instance들 간의 유사도를 기반으로 loss를 측정하는 softNN loss에 대해서 알아보자 출처 : https://arxiv.org/abs/1902.01889 Analyzing and Improving Representations with the Soft Nearest Neighbor Loss We explore and expand the $\textit{Soft Nearest Neighbor Loss}$ to measure the $\textit{entanglement}$ of class manifolds in representation space: i.e., how close pairs of points from the same class are relative to pairs of poin..

Underfitting Overfitting 우리가 머신러닝 모델을 얘기 할 때 기본으로 항상 나오는 얘기가 바로 모델의 overfitting 및 underfitting이다. 우리는 모델을 학습할 때 새로운 인풋 데이터에 대해서 예측을 잘 하는, 즉 일반화가 잘 된 모델이 생성되기를 원한다. 모델이 일반화가 잘 되려면 모델이 다양한 데이터에 노출이 되어야 하고 모델 자체가 잘 짜여진 알고리즘이어야 한다. 먼저 용어들에 대해서 살펴보자 Bias: 모델의 예측값과 실제 값 차이를 측정 한 값. 모델이 지나치게 단순화되면 예측 값이 실제 값과 멀어져서 더 큰 bias가 발생한다. Variance : 다양한 데이터셋의 예측값들이 얼마나 일관성 있는지, 또는 없는지를 측정한 값. 모델의 성능이 서로 다른 데이터셋..