06 로지스틱 회귀와 분류

핵심 출력을 $0$~$1$로 눌러 주는 S자 곡선 $\dfrac{1}{1+e^{-x}}$. 이 곡선을 데이터에 맞춰 ‘참일 확률’을 예측하는 것이 로지스틱 회귀다.

역사 1838년 베르휠스트가 인구가 한계에 부딪혀 S자로 포화되는 모형으로 제안한 로지스틱 함수는, 출력을 확률로 변환하는 성질 덕분에 분류의 표준 도구가 되었다. 신경망의 활성화 함수(시그모이드)로도 그대로 쓰인다.

핵심 여러 입력 변수로 확률을 예측. 오즈 $\dfrac{p}{1-p}$에 로그를 취한 로그오즈(로짓)가 입력의 선형식이 된다: $\ln\dfrac{p}{1-p}=b_{0}+b_{1}x_{1}+\cdots$.

역사 로지스틱 회귀가 ‘선형’ 모델인 비밀은 로그오즈에 있다. 확률 자체는 S자로 휘지만, 오즈의 로그를 취하면 입력의 깔끔한 일차식이 된다. 1944년 벅슨이 ‘로짓’이라 이름 붙인 이 변환이, 분류 문제를 회귀의 틀로 풀게 해 주었다.

핵심 로지스틱 모델의 적합도와 각 계수의 유의성을 평가하는 지표. 어떤 변수가 예측에 실제로 기여하는지를 통계적으로 따진다.

역사 모델을 ‘만드는 것’과 ‘믿어도 되는지 따지는 것’은 다른 일이다. 각 변수의 p-값으로 우연한 기여인지 진짜인지를 가리고 적합도를 평가하는 절차는, 블랙박스가 되기 쉬운 분류 모델을 해석 가능하게 붙드는 안전장치다.

핵심 분류 결과를 참양성·거짓양성·참음성·거짓음성의 표로 정리한 것. 정밀도·재현율 등 다양한 성능 지표가 여기서 나온다.

역사 ‘정확도 하나’로는 분류기를 평가할 수 없다. 100명 중 1명만 환자인데 모두 ‘정상’이라 해도 정확도는 $99\%$다. 혼동행렬은 어떤 종류의 실수를 하는지를 드러내, 암 진단처럼 거짓음성과 거짓양성의 대가가 다른 문제에서 올바른 판단을 돕는다.

핵심 베이즈 정리로 ‘특성이 주어졌을 때 각 분류일 확률’을 계산해 분류한다. 특성들이 서로 독립이라 가정하면 나이브 베이즈 분류기다.

역사 18세기 베이즈 정리는 ‘증거로 가설의 확률을 갱신’하는 분류의 자연스러운 틀을 준다. 단순하지만 강력한 나이브 베이즈는 스팸 메일 필터의 고전이 되었고, 적은 데이터로도 잘 작동해 텍스트 분류에서 여전히 즐겨 쓰인다.

핵심 임계값을 바꿔 가며 참양성률 대 거짓양성률을 그린 곡선이 ROC, 그 아래 넓이가 AUC($0.5$~$1$). 한쪽 클래스가 드물면(불균형) 평가에 특히 주의해야 한다.

역사 ROC 곡선은 제2차 세계대전 때 레이더 신호에서 적기와 잡음을 구별하려는 신호탐지 연구에서 나왔다. 임계값에 휘둘리지 않고 분류기의 전반적 분별력을 재는 AUC는, 사기 탐지·질병 진단처럼 드문 사건을 다루는 불균형 데이터에서 특히 중요하다.