베이지안 이론(Bayesian theory)

1. 빈도 확률 (Frequentist probability) vs 베이지안 확률(Bayesian probability) 

 

• 빈도 확률
  • 시행 횟수를 반복하여 빈도수(Frequency) 를 측정하게 되면 이것을 빈도 확률이라고 한다. 예를 들어 10 번의 동전을 던져서 4 번의 앞면이 나왔다고 한다면 동전의 앞면이 나올 확률을 4/10 이 된다.
  • = 객관적 확률, 물리적 확률
• 베이지안 확률
  • 빈도 확률 방법으로는 신뢰할만한 값을 얻기 어려울 경우, 반복할 수 없는 사건일 경우, "빈도 확률"의 개념을 그러한 경우에 적용을 할 수 없다. 일어나지 않은 일에 대한 확률을 불확실성(uncertainty) 의 개념. 즉, 사건과 관련 있는 여러 확률을 이용해 새롭게 일어날 사건을 추정하는 것이 베이지안 확률입니다.
  • = 증거 확률

2. 베이지안 확률(Baysian probability) 정의 

• 베이즈 정리(Bayes' theorem) 라 불리며, 종속적(의존적) 관계에 놓인 사건들을 기반으로 확률을 구한다. 
• 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리이다.
• 사전확률 P(A) 과 우도확률 P(B|A) 를 안다면, 사후 확률 P(A|B) 를 알 수 있다.
• 베이지안 확률은 아래 조건부 확률로 나타내며, 정보를 업데이트하면서 사후확률 P(A|B) 를 구하는 것이다. 

*주변 우도 : evidence 증거

 

---

사후확률의 사전적 정의

 

사전확률과 대비되는 개념으로 확률변수에 대한 관측이나 증거에 대한 조건부 확률을 말합니다. 

즉, 어떤 특정사건이 이미 발생하였는데 이 특정사건이 나온 원인이 무엇인지 불확실한 상황을 식으로 나타낸 것 이며 P(A|B) 로 표현될 수 있다. (B는 이미 일어난 사건, A 는 B 가 나올 수 있게 한 과거의 특정사건) 사후확률은 베이즈 정리에 기반하여 사전확률분포와 우도함수의 곱으로부터 얻을 수 있다.