https://www.youtube.com/watch?v=vZdEGcLU_8U&t=122s 오늘 강의 하나로 GANs은 모두 마스터 불가능 합니다 이런 연구들이 있었구나. 저런 문제를 해결했구나 이런 자세로 들으면 된다 💡 Unconditional GAN GAN이란 이미지를 생성하는 모델 training data의 distribution을 만들어내려고 함 - real 샘플을 사용할 경우, 판별하는 Discriminator을 input으로 넣으면 , output(회색박스) 안의 logit값들이 모두 1이 되도록 loss를 지정 (L2, L1, 사용 가능 / cross entropy를 사용하는 이유는 틀린 샘플에 대해서 패널티를 강하게 걸음) - fake 샘플(genearator가 가우시안 노이즈로부터 샘플..

instance들 간의 유사도를 기반으로 loss를 측정하는 softNN loss에 대해서 알아보자 출처 : https://arxiv.org/abs/1902.01889 Analyzing and Improving Representations with the Soft Nearest Neighbor Loss We explore and expand the $\textit{Soft Nearest Neighbor Loss}$ to measure the $\textit{entanglement}$ of class manifolds in representation space: i.e., how close pairs of points from the same class are relative to pairs of poin..

Underfitting Overfitting 우리가 머신러닝 모델을 얘기 할 때 기본으로 항상 나오는 얘기가 바로 모델의 overfitting 및 underfitting이다. 우리는 모델을 학습할 때 새로운 인풋 데이터에 대해서 예측을 잘 하는, 즉 일반화가 잘 된 모델이 생성되기를 원한다. 모델이 일반화가 잘 되려면 모델이 다양한 데이터에 노출이 되어야 하고 모델 자체가 잘 짜여진 알고리즘이어야 한다. 먼저 용어들에 대해서 살펴보자 Bias: 모델의 예측값과 실제 값 차이를 측정 한 값. 모델이 지나치게 단순화되면 예측 값이 실제 값과 멀어져서 더 큰 bias가 발생한다. Variance : 다양한 데이터셋의 예측값들이 얼마나 일관성 있는지, 또는 없는지를 측정한 값. 모델의 성능이 서로 다른 데이터셋..

요즘 너무나도 유명한 ChatGPT! 도대체 얼마나 대단하길래 이렇게 뜨거운 이슈 일까? 너무나도 궁금해서 직접 사용 해 보았다. OpenAI에서 출시된 ChatGPT는 대화형 인공지능 서비스이다. (링크) 링크에 접속하여 간단하게 회원가입만 하면 바로 사용 할 수 있다. ChatGPT의 기능이나 능력에 대해서는 나무위키를 참고하면 될 것 같다. 영어를 잘 하시는 분이라면 영어로 대화해도 되지만 한국어로도 충분히 대화를 잘 해낸다. 이런 간단한 질문에 대해서 답을 할 수 있다. 그리고 의외로 체계적으로 답을 한다. 질문에 대한 답이 무엇인지 정확히 파악하는 것 같다. 이 외에도 좀 심오한 질문들을 많이 해보았는데 답변들이 다 놀라웠다. 그리고 코딩도 해준다고해서 시험해 보았다. 그런데 너무 .. 잘해서 ..