Generative Model vs. Discriminative Model

생성 모델과 판별 모델은 머신러닝에서 데이터를 모델링하는 두 가지 주요 방법입니다. 이 두 모델은 데이터의 분포와 관련된 방식에 차이가 있습니다.

https://sites.google.com/site/machlearnwiki/bayesian-learning/saengseong-model

생성 모델 - MLWiki

패턴 인식에서 분류에 쓰이는 모델은 크게 2가지이다. Generative Model 과 Discriminative model 이다. generative model 은 sample data set 을 생성하는 모델이다. 다시 마랳서 학습하는 데이터의 분포를 학습하게 된다. 반면에 판별 모델은 샘플을 생성하지 못한다. 

 

분류의 관점에서 본다면 판별 모델은 class의 차이점에 주목한다. 반면 생성 모델은 각 class의 분포에 주목한다. 예를 들어 GMM(Gaussian Mixture Model)에서 EM방식으로 학습을 한다면, Gaussian으로 모델링해서 그 평균을 구하여 사용하는 것이 생성 모델이다. 분류를 하기 위해서는 decision boundary를 구하는게 주목적인데, 생성 모델에서는 이를 likelihood와 posterior probability 등을 사용하여 decision bounday를 구축한다. 

 

• 생성 모델은 입력 데이터와 레이블의 결합 확률 분포 P(X, Y)를 학습하는 모델입니다. 이 모델은 특정 클래스에 속하는 데이터의 확률 분포를 학습하며, 새로운 데이터가 어떤 클래스에 속할 확률을 예측합니다. 생성 모델은 레이블을 가진 데이터를 생성할 수 있어서, 이를 바탕으로 새로운 데이터를 생성하거나, 누락된 데이터를 복원하는 등의 작업이 가능합니다.

 

• 판별 모델은 입력 데이터 X가 주어졌을 때 레이블 Y의 조건부 확률 분포 P(Y|X)를 학습하는 모델입니다. 이 모델은 입력 데이터와 레이블 간의 경계를 찾아서, 새로운 데이터가 어떤 클래스에 속할지를 예측합니다. 판별 모델은 생성 모델에 비해 일반적으로 예측 성능이 더 좋으며, 분류와 회귀 문제에 적합합니다.

 

요약하면, 생성 모델은 입력 데이터와 레이블의 결합 확률 분포를 학습하여 새로운 데이터를 생성할 수 있는 능력이 있는 반면, 판별 모델은 입력 데이터가 주어졌을 때 레이블의 조건부 확률 분포를 학습하여 분류와 회귀 문제에 더 적합한 성능을 발휘합니다. 이 두 모델은 각각의 특성에 따라 적절한 문제와 상황에 사용됩니다.