04 선형대수

핵심 크기와 방향을 갖는 수의 묶음 $\vec{v}=(x,y)$. 데이터의 한 행(여러 특성의 모음)을 벡터로 본다. 덧셈과 스칼라배가 기본 연산이다.

역사 데이터 과학에서 벡터는 하나의 데이터 포인트다. 키·몸무게·나이를 묶으면 3차원 벡터가 된다. 19세기 그라스만·해밀턴이 세운 벡터 대수는, 수백 개 특성을 가진 데이터를 고차원 공간의 점으로 다루는 현대 머신러닝의 언어가 되었다.

핵심 벡터들의 스칼라배와 합으로 만들 수 있는 모든 벡터의 집합이 스팬. 한 벡터가 다른 벡터들의 조합으로 표현되면 선형종속, 아니면 선형독립이다.

역사 ‘몇 개의 벡터로 공간의 어디까지 갈 수 있는가’라는 물음이 스팬·차원 개념을 낳았다. 선형독립인 특성만이 새로운 정보를 더한다는 통찰은, 데이터에서 중복된 특성을 걸러내는 차원 축소(PCA 등)의 바탕이 된다.

핵심 기저벡터 $\hat{i},\hat{j}$가 어디로 가는지로 공간 전체의 변환이 정해진다. 행렬은 이 변환을 나타내고, 행렬·벡터 곱이 변환을 적용하는 일이다.

역사 행렬을 ‘숫자표’가 아니라 공간을 회전·확대·기울이는 변환으로 보는 관점은 선형대수의 핵심 직관이다. 이 시각에서 이미지 회전, 데이터 투영, 신경망의 한 층이 모두 ‘선형변환 + 비선형 함수’의 반복으로 이해된다.

핵심 행렬 곱 $AB$는 두 변환을 잇따라 적용한 것. 행렬식 $\det(A)$은 변환이 넓이·부피를 몇 배로 키우는지를 나타내며, $0$이면 차원이 찌부러진다.

역사 행렬과 연립방정식 풀이는 기원 전후 중국 《구장산술》의 ‘방정(方程)’에 이미 등장한다. 19세기 케일리가 행렬을 독립된 대수 대상으로 정식화했고, 행렬식이 변환의 부피 배율이라는 기하적 의미가 데이터 변환을 직관적으로 이해하게 해 준다.

핵심 정사각행렬, 곱해도 변화 없는 단위행렬 $I$, 역변환인 역행렬 $A^{-1}$, 대각·삼각·희소행렬 등. 각각 계산과 저장에서 특별한 성질을 가진다.

역사 행렬의 종류를 구분하는 것은 단순한 분류가 아니라 효율적 계산의 문제다. 대부분이 $0$인 희소행렬은 추천 시스템의 거대한 사용자-상품 표를, 대각행렬은 독립적 스케일링을 압축해 표현한다. 데이터의 구조가 곧 행렬의 형태가 된다.

핵심 연립일차방정식을 $A\vec{x}=\vec{b}$로 쓰고, 역행렬이 있으면 $\vec{x}=A^{-1}\vec{b}$로 푼다. 선형회귀의 정규방정식이 바로 이 형태다.

역사 《구장산술》의 소거법에서 가우스 소거법으로 이어진 연립방정식 풀이는, 데이터 과학에서 최적의 모델 계수를 한 번에 구하는 닫힌 형태 해(정규방정식)로 되살아난다. 역행렬은 ‘변환을 되돌리는’ 연산으로 회귀·최적화의 핵심 도구다.

핵심 변환 $A$를 적용해도 방향이 변하지 않고 크기만 $\lambda$배 되는 벡터가 고유벡터, 그 배율 $\lambda$가 고유값이다: $A\vec{v}=\lambda\vec{v}$.

역사 ‘변환에도 방향이 보존되는 특별한 축’인 고유벡터는 데이터의 가장 본질적인 변동 방향을 찾아낸다. 주성분분석(PCA)은 공분산행렬의 고유벡터로 차원을 줄이고, 구글의 페이지랭크도 거대한 행렬의 고유벡터로 웹페이지의 중요도를 매긴다.