Matrix and Linear Equations

Matrix(행렬)란 직사각형의 배열을 의미한다. 복수형으로 Matrices라고 쓴다. 예를 들어 아래를 보자.

 

$5x + y = 3$

$2x - y = 4$

 

위 두 개의 선형 방정식(linear equations)을 행렬로 표현하면 아래와 같다.

 

\begin{bmatrix}
5 & 1 &  3 \\
2 & -1 & 4 \\
\end{bmatrix}

 

컴퓨터는 배열을 다루는 데에 특화되어 있기 때문에, 행렬로 선형 방정식을 표현한다는 것은 매우 중요하다. 그렇지만 행렬이 단순히 선형 방정식을 풀기 위한 notation tool인 것은 아니고, 그 자체가 하나의 수학적인 object로 간주될 수 있다. Matrices, 그리고 그것과 연관된 주제를 연구하는 학문이 바로 선형대수학(linear algebra)라고 볼 수 있다. 특히 딥러닝이 큰 화제가 되면서 더 중요한 분야가 되었다.

 

Linear Equation이란 무엇인가? 위에서도 써놨지만 한글로는 선형 방정식이다. 그런데 선형이란 말의 의미가 헷갈린다. 우선 2차원 평면 xy좌표계를 생각해 보자. 2차원 평면 위의 어떤 하나의 직선의 방정식은 아래와 같이 쓸 수 있다. 

 

$ax + by = c$   $(a,b$ not both $0) \cdots (1)$

 

비슷하게 3차원 공간 위의 한 평면은 아래와 같이 표현할 수 있다.

 

$ax + by +cz = d$  $(a,b,c,$ not all $0) \cdots (2)$

 

(1), (2)가 linear equation의 예시이다. 이를 일반화하여, n개의 변수를 가지는 linear equation을 아래 (3)과 같이 표현한다.

 

$a_{1}x_{1} + a_{2}x_{2} + \cdots + a_{n}x_{n} = b \cdots (3)$

 

(1), (2)와 마찬가지로 (3)에서도 $x_{i}$앞에 붙는 coefficients인 $a_{i}$은 0이 아닌 상수이다. 특히 linear equation의 오른쪽 항이 0이 되는 경우를 특별히 homogeneous linear equation이라고 하는데, 일단은 용어만 알아두고 넘어가자. 어쨌든 linear equation의 의미는 변수의 지수가 1차항으로만 이루어진 polynomial equation을 뜻한다. 2차 이상의 n차항은 물론, log나 sin도 포함되어선 안된다.

 

그런데 오해하면 안되는 것이 머신러닝을 하다보면 parameter optimization을 하게되는데, 사실 변수 x는 그저 data일 뿐이고, 진짜 중요한 것은 x앞에 붙어 있는 coefficients이다. (3)에서 변수 $x_{i}$앞에 곱해져 있는 $a_{i}$ 하나 하나가 전부 parameter라고 보면 된다. linear의 진정한 의미는 변수 $x_{i}$가 아닌 parameter에 해당되는 것이라는 것이다. 즉, 우리가 어떤 numerical한 무언가를 행렬로 denotation 했을 때, 거기에 위에서 말한 2차 이상의 n차항이나, log 또는 삼각함수 같은 것들이 포함되어선 안되다는 것이다. 이게 중요한 데, linear라는 특성이 만족되어야만 우리가 앞으로 수행할 행렬 연산에 대한 operation이나 공리 같은 것들이 유지될 수 있기 때문이다.

 

설명이 좀 헷갈릴 수 있는데, 뒤에 내용을 배우다보면 이해될 것이라고 생각한다.

 

References

1. Elementary linear algebra 12th editon, Howard Anton, Anton Kaul