혼동행렬의 개념과 핵심 평가지표

작성자:admin 마지막 수정일:

혼동행렬이란?

혼동행렬은 분류 모델의 성능을 평가할 때 사용하는 가장 대표적인 지표이다. 모델이 예측한 값과 실제 정답이 얼마나 일치(또는 혼동)하는지를 한눈에 보여주는 표 형태를 띤다.

영역으로는 4가지 영역이 있다.

TP (True Positive) : 모델이 Positive라고 예측했는데, 실제로도 Positive인 경우
(정답)
TN (True Negative): 모델이 Negative라고 예측했는데, 실제로도 Negative인 경우
(정답)
FP (False Positive): 모델이 Positive라고 예측했는데, 실제로는 Negative인 경우
(오답 / 제1종 오류)
FN (False Negative): 모델이 Negative라고 예측했는데, 실제로는 Positive인 경우
(오답 / 제2종 오류)

* 귀무가설과 대립가설의 개념

귀무가설(H0): 효과가 없다, 병이 없다 (기본 상태 = Negative)

대립가설(H1): 효과가 있다, 병이 있다 (새로운 발견 = Positive)

1종오류와 2종오류 비교

1. 제1종 오류 (Type I Error) = FP (False Positive)

  • 정의 : 실제로는 Negative인데, 모델이 Positive라고 잘못 예측한 경우.
  • 통계학적 의미 : 귀무가설이 참인데도 이를 기각하고 대립가설을 채택한 오류
  • 현실 예시 : 스팸 메일이 아닌데(N), 스팸 메일함으로 분류(P)한 경우.
    암에 걸리지 않은 건강한 사람인데(N), 검사 결과 암 환자(P)라고 오진한 경우.

2. 제2종 오류 (Type II Error) = FN (False Negative)

  • 정의 : 실제로는 Positive인데, 모델이 Negative라고 잘못 예측(놓침)한 경우.
  • 통계학적 의미 : 대립가설이 참인데도 귀무가설을 기각하지 못한 오류
  • 현실 예시 : 실제 암 환자인데(P), 건강하다고 판단하여 집으로 돌려보낸(N) 경우.
    은행 화재경보기 시스템이 실제로 불이 났는데(P), 정상 상태(N)라고 판단해
    울리지 않은 경우.

어떤 오류를 줄여야 하는지에 대한 판단

비즈니스 상황에 따라 어떤 오류를 줄여야 하는지가 완전히 달라진다.

  • 제1종 오류(FP)가 치명적인 경우 (스팸 필터, 법원 판결):
    • 중요한 비즈니스 메일이 스팸 처리되어 삭제되면 큰 손해가 발생한다. 법원에서도 “열 명의 범죄자를 놓치더라도(FN), 한 명의 억울한 피해자를 만들면 안 된다(FP)”는 원칙에 따라 FP를 극도로 경계한다.
  • 제2종 오류(FN)가 치명적인 경우 (의료, 재난, 보안):
    • 암 환자를 놓치거나(FN), 화재를 감지하지 못하면 생명과 직결되는 큰 재앙이 된다.
      따라서 이런 분야에서는 조금 과하게 경보를 울리더라도(FP가 늘어나더라도) FN을 최소화하는 방향으로 모델을 조정한다.

4. 혼동행렬로 계산하는 핵심 평가지표

혼동행렬의 수치들을 조합하여 모델의 성능을 정량화한다.

가. 정확도 (Accuracy ): 전체 중 맞춘 비율

나. 정밀도 (Precision) : 모델이 Positive라고 예측한 것 중 진짜 Positive인 비율.
FP(1종오류)를 줄여야 할 때 중요

다. 재현율 (Recall / Sensitivity) : 실제 Positive인 것 중 모델이 Positive라고 맞춘 비율.
FN(2종오류)를 줄여야 할 때 중요

라. F1-Score : 정밀도와 재현율의 조화평균 (두 지표가 균형을 이룰 때 높아짐)