07 신경망

핵심 입력·은닉·출력층의 노드가 가중치로 연결된 모델. 이미지·음성·텍스트처럼 특성이 복잡하게 얽힌 비정형 데이터에서 강점을 가진다.

역사 신경망은 만능이 아니다. 표 형태의 정형 데이터에는 단순한 회귀·트리가 더 낫고, 신경망의 진가는 사람이 특성을 일일이 정의하기 어려운 이미지·언어에서 드러난다. 데이터와 문제의 성격에 맞는 도구를 고르는 안목이 먼저다.

핵심 각 노드의 가중합에 적용해 비선형성을 더하는 함수(시그모이드, ReLU $\max(0,x)$ 등). 이것이 없으면 신경망은 하나의 선형변환에 불과하다.

역사 활성화 함수는 신경망에 비선형이라는 표현력을 불어넣는 핵심이다. 층을 아무리 쌓아도 선형함수만 있으면 결국 직선 하나일 뿐이다. 단순한 ReLU의 재발견이 깊은 신경망의 학습을 가능케 해, 딥러닝 혁명의 한 축이 되었다.

핵심 입력이 층을 따라 가중합과 활성화 함수를 거쳐 출력으로 전달되는 과정. 신경망이 예측을 ‘계산’하는 방향이다.

역사 순전파는 ‘입력에서 출력으로 정보가 흐르는’ 신경망의 예측 과정이다. 1958년 로젠블랫의 퍼셉트론이 그 원형으로, 여러 입력에 가중치를 곱해 더하고 임계로 판단하는 단순한 구조가 오늘날 거대한 신경망의 기본 단위로 이어졌다.

핵심 출력의 오차를 뒤로 전파하며 각 가중치가 오차에 얼마나 기여했는지를 연쇄법칙으로 계산한다. 이 기울기로 가중치를 갱신해 학습한다.

역사 신경망이 ‘스스로 배우는’ 비밀은 역전파에 있다. 연쇄법칙으로 오차를 거꾸로 흘려보내 수백만 개 가중치의 기울기를 한 번에 구하는 이 방법은, 1986년 럼멜하트 등이 대중화하며 신경망 부활의 결정적 계기가 되었다.

핵심 역전파로 구한 기울기로 가중치를 조금씩 갱신하되, 전체 데이터 대신 작은 묶음(미니배치)만 써서 빠르고 효율적으로 학습한다.

역사 거대한 데이터로 신경망을 학습시키려면 ‘전부 보고 한 걸음’은 너무 느리다. 무작위 일부만 보고 자주 갱신하는 확률적 경사하강법은, 잡음 덕에 나쁜 국소 최솟값을 빠져나가는 이점까지 있어 딥러닝 학습의 표준이 되었다.

핵심 많은 데이터와 연산이 필요하고, 왜 그런 결정을 내렸는지 설명하기 어려운 블랙박스다. 과적합과 편향 학습의 위험도 크다.

역사 신경망의 놀라운 성능 뒤에는 해석 불가능성이라는 그늘이 있다. 데이터의 편향을 그대로 학습하고, 결정의 근거를 설명하지 못하는 문제는 채용·대출·재판 같은 영역에서 심각하다. ‘설명 가능한 AI’는 그래서 오늘날 데이터 과학의 중요한 과제다.