05 선형회귀

핵심 데이터에 가장 잘 맞는 직선 $y=mx+b$를 찾는 것이 선형회귀. 각 점과 직선의 세로 차이가 잔차이고, 잔차 제곱의 합(SSE)을 최소화한다.

역사 ‘점들 사이로 최적의 직선을 긋는’ 회귀는 19세기 초 르장드르·가우스의 최소제곱법에서 시작됐다. 천체 궤도를 관측 오차 속에서 추정하려던 이 방법은, 오늘날 가장 기본적이면서도 널리 쓰이는 예측 모델의 원형이 되었다.

핵심 잔차제곱합을 최소화하는 방법으로 닫힌 형태 해(정규방정식), 역행렬 기법, 경사하강법이 있다. 정확도·계산비용·확장성에서 각각 장단점이 다르다.

역사 같은 최적 직선을 ‘공식으로 한 번에’ 구할 수도, ‘조금씩 더듬어’ 구할 수도 있다. 데이터가 작으면 정규방정식이 깔끔하지만, 특성이 수백만 개로 커지면 역행렬 계산이 불가능해 반복적 최적화가 필수가 된다 — 이 지점에서 경사하강법이 등장한다.

핵심 손실함수의 기울기(경사)를 따라 조금씩 내려가며 최솟값을 찾는 반복 알고리즘. 매 단계 전체 대신 일부 데이터만 쓰면 확률적 경사하강법(SGD)이다.

역사 1847년 코시가 제안한 경사하강법은 ‘안개 속 산에서 가장 가파른 내리막을 따라 내려가는’ 직관 그대로다. 데이터가 거대한 현대에 와서 무작위 일부만 쓰는 SGD로 발전했고, 오늘날 거의 모든 머신러닝·딥러닝 모델을 학습시키는 핵심 엔진이 되었다.

핵심 모델이 훈련 데이터의 잡음까지 외워 새 데이터에서 성능이 떨어지는 현상이 과적합. 지나치게 복잡한 모델은 분산이 커진다(편향-분산 트레이드오프).

역사 ‘데이터를 너무 잘 맞히는’ 모델이 오히려 위험하다는 역설이 과적합이다. 훈련 점수가 높아도 실전에서 무너지는 이 문제는, 단순함과 정확함 사이의 균형(편향-분산 트레이드오프)이라는 머신러닝의 근본 긴장을 보여 준다.

핵심 두 변수의 직선적 관계의 강도를 $-1$~$1$로 나타낸 상관계수 $r$, 모델이 데이터 변동을 설명하는 비율 $R^{2}$($0$~$1$).

역사 19세기 골턴은 ‘키 큰 부모의 자녀’ 연구에서 두 양의 관계를 수치화하려 상관 개념을 만들었고, 제자 피어슨이 상관계수로 정식화했다. 다만 상관은 인과가 아니다라는 경고는, 데이터에서 의미를 읽을 때 가장 자주 잊히는 교훈이다.

핵심 관측된 관계가 우연이 아닐 확률을 따지는 통계적 유의성(p-값), 개별 예측값이 들어갈 범위인 예측구간. 추정의 불확실성을 함께 보고한다.

역사 좋은 예측은 ‘값 하나’가 아니라 ‘얼마나 믿을 수 있는지’를 함께 말한다. 회귀계수가 통계적으로 유의한지, 예측이 어느 범위에 있을지를 밝히는 것은, 모델을 맹신하지 않고 불확실성을 정직하게 다루는 데이터 과학의 자세다.

핵심 데이터를 학습용과 평가용으로 나눠 일반화 성능을 검증한다. 입력 변수가 여럿이면 $y=b_{0}+b_{1}x_{1}+\cdots+b_{n}x_{n}$의 다중선형회귀.

역사 ‘본 적 없는 데이터로 시험’해야 진짜 실력을 안다는 훈련·테스트 분할은 머신러닝 방법론의 핵심 규율이다. 여러 요인을 동시에 고려하는 다중회귀와 결합해, 현실의 복잡한 관계를 모형화하고 그 성능을 정직하게 평가하는 표준 절차를 이룬다.