본문 바로가기

About AI (인공지능)11

Cross Entropy Loss (pytorch 예제 +) 손실 함수(loss function) 손실 함수는 머신러닝에서 모델이 나타내는 확률 분포와 데이터가 따르는 실제 확률 분포 사이의 차이를 나타내는 함수. 즉, 이 값은 0에 가까울수록 모델의 정확도가 높고, 반대로 0에서 멀어질수록 모델의 정확도가 낮습니다. Entropy 불확실성의 척도 이다. 정보이론에서의 엔트로피는 불확실성을 나타내며, 엔트로피가 높다는 것은 정보가 많고, 확률이 낮다는 것읠 의미 불확실성 : 어떤 데이터가 나올지 예측하기 어려운 경우 # 예시 : 동전 던지기 & 주사위 던지기 동전을 던졌을 때, 앞/뒷면이 나올 확률 : 1/2 라고 가정 주사위를 던졌을 때, 각 6면이 나올 확률을 모두 : 1/6 라고 가정 동전의 엔트로피 값 : 0.693 주사위의 엔트로피 값 : 1.79 주사위.. 2023. 3. 23.
벡터와 행렬 벡터와 행렬은 선형대수학에서 매우 중요한 개념입니다. 벡터(Vector) 크기와 방향을 가지는 양을 나타내는 개념 일반적으로 행 벡터나 열 벡터 형태로 표현하며, 선분으로 나타낼 수도 있음 벡터의 덧셈, 뺄셈, 스칼라 곱 등이 가능하며, 내적과 외적 등 다양한 연산이 존재함 물리학, 공학, 컴퓨터 그래픽스 등 다양한 분야에서 활용됨 행렬(Matrix) 숫자의 집합을 사각형 모양의 배열로 나타낸 것 행과 열의 크기에 따라 n x m 행렬로 표현함 행렬의 덧셈, 뺄셈, 곱셈 등이 가능하며, 행렬식, 역행렬 등 다양한 개념이 존재함 대수학, 물리학, 공학, 경제학, 통계학 등 다양한 분야에서 활용됨 벡터와 행렬의 관계 벡터는 행렬의 한 행 또는 열로 나타낼 수 있음 행렬과 벡터의 곱셈은 벡터의 변환을 나타내며.. 2023. 3. 22.
ChatGPT 1. ChatGPT 개념. ChatGPT 는 '대화형 생성 인공지능 (AI) 서비스' 이다. ChatGPT는 대규모 언어 모델 중 하나로, OpenAI에서 개발한 GPT-3.5 아키텍처를 기반으로 합니다. 이 모델은 다양한 자연어 처리(NLP) 작업에 사용될 수 있으며, 대화형 인터페이스를 통해 사용자와 상호작용할 수 있습니다. ChatGPT는 매우 큰 언어 모델로, 이전의 대규모 언어 모델들과 달리 더욱 발전된 기술과 방법을 사용해 학습됩니다. 이 모델은 인간과 자연어로 대화하는 것과 같은 자연스러운 대화를 제공하기 위해 학습되었습니다. ChatGPT는 인터넷에서 수집한 대규모 텍스트 데이터를 기반으로 학습됩니다. 이 데이터는 인터넷 상의 다양한 웹 페이지, 뉴스 기사, 논문 등에서 수집됩니다. 이러한.. 2023. 3. 15.
[Class Imbalance] 딥러닝에서 클래스 불균형 다루는 방법 1. Weight balancing Train 데이터에서 각 loss 를 계산할 때 특정 클래스에 대해서는 더 큰 loss 를 계산해주는 방법. - 클래스의 비율에 대해 가중치를 두는 방법이 있다. 예를 들어 두 개의 클래스 비율이 1:9라면 가중치를 9:1로 줌으로써 전체 클래스의 loss 에 동일하게 기여하도록 한다. - Weight balancing 방법 중 Focal Loss 라는 방법도 있다. 어떤 딥러닝 분류 모델에서 A,B,C 라는 다중 클래스가 존재하고 A 클래스로 분류하기 쉽지만 상대적으로 B,C 클래스는 분류하기가 힘들다고 가정해보자. 100번의 Epoch 을 실시하고 10번의 Epoch 만에 99% 의 정확도를 얻었다고 했을 때 아무런 조치를 취하지 않으면 남은 90번의 Epoch 을.. 2023. 3. 9.