ベクトルと内積

妥協しないデータ分析のための微積分+線形代数入門で微積分・線形代数の学び直しをしている。その中で学んだことを忘れないように自分の言葉でまとめたい。

ベクトルとは

ベクトル（Vector）とは、値が並んでいるものを指す。そして、その値の個数が次元と呼ばれる。

v = \begin{bmatrix} v_1 \\ v_2 \\ v_3 \\ \vdots \\ v_n \end{bmatrix}

上記の場合、v1, v2, ..., vn ∈ Rのように書く。

ベクトルの内積とは、2つの値の積の和を指す。

\mathbf{v} \cdot \mathbf{w} = v_1 w_1 + v_2 w_2 + \dots + v_n w_n

主に以下の2つの用途で用いられる。

ベクトルの内積は、2つのベクトルの類似度を計算できる。

BoW（Bag-of-Words）ベクトルとは、文章に含まれる単語の出現回数を数えてベクトルで表現したもの。これはベクトルの和として表現できる。

WORD	明日	は	明日	の	風	が	吹く	BoWベクトル
明日	1	0	1	0	0	0	0	2
は	0	1	0	0	0	0	0	1
の	0	0	0	1	0	0	0	1
風	0	0	0	0	1	0	0	1
が	0	0	0	0	0	1	0	1
吹く	0	0	0	0	0	0	1	1

明日 = \begin{bmatrix} 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{bmatrix} \quad は = \begin{bmatrix} 0 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \end{bmatrix} \quad 明日 = \begin{bmatrix} 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{bmatrix} \quad の = \begin{bmatrix} 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{bmatrix}

風 = \begin{bmatrix} 0 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \end{bmatrix} \quad が = \begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \\ 1 \\ 0 \end{bmatrix} \quad 吹く = \begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \\ 0 \\ 1 \end{bmatrix}

BoW = 明日 + は + 明日 + の + 風 + が + 吹く = \begin{bmatrix} 2 \\ 1 \\ 1 \\ 1 \\ 1 \\ 1 \end{bmatrix}

同じような文章の場合、同じ単語が頻出するため、ベクトルの内積が大きくなる。逆に、異なる単語が頻出する場合、ベクトルの内積が小さくなる。

たとえば、以下のテストの結果からテストの平均点を算出するために内積が使える。

A_{\text{平均点}} = \frac{1}{5} \cdot \vec{A} = \begin{bmatrix} \frac{1}{5} \\ \frac{1}{5} \\ \frac{1}{5} \\ \frac{1}{5} \\ \frac{1}{5} \end{bmatrix} \cdot \begin{bmatrix} 80 \\ 70 \\ 90 \\ 60 \\ 50 \end{bmatrix} = \frac{1}{5} \cdot 80 + \frac{1}{5} \cdot 70 + \frac{1}{5} \cdot 90 + \frac{1}{5} \cdot 60 + \frac{1}{5} \cdot 50 = 70

また、文系・理系科目のそれぞれの平均点数を計算する場合は、重みをつけたベクトルを使って計算する。

科目_{\text{文系}} = \begin{bmatrix} \frac{1}{2} \\ 0 \\ 0 \\ \frac{1}{2} \\ 0 \end{bmatrix} \quad 科目_{\text{理系}} = \begin{bmatrix} 0 \\ \frac{1}{3} \\ \frac{1}{3} \\ 0 \\ \frac{1}{3} \end{bmatrix}

平均点_{\text{文系}} = 科目_{\text{文系}} \cdot \vec{A} = \begin{bmatrix} \frac{1}{2} \\ 0 \\ 0 \\ \frac{1}{2} \\ 0 \end{bmatrix} \cdot \begin{bmatrix} 80 \\ 70 \\ 90 \\ 60 \\ 50 \end{bmatrix} = \frac{1}{2} \cdot 80 + \frac{1}{2} \cdot 90 = 85

平均点_{\text{理系}} = 科目_{\text{理系}} \cdot \vec{A} = \begin{bmatrix} 0 \\ \frac{1}{3} \\ \frac{1}{3} \\ 0 \\ \frac{1}{3} \end{bmatrix} \cdot \begin{bmatrix} 80 \\ 70 \\ 90 \\ 60 \\ 50 \end{bmatrix} = \frac{1}{3} \cdot 70 + \frac{1}{3} \cdot 60 + \frac{1}{3} \cdot 80 = 70

内積を用いることで、ベクトルの長さや角度を計算できる。

\mathbf{v} \cdot \mathbf{v} = |\mathbf{v}|^2

\mathbf{v} \cdot \mathbf{w} = |\mathbf{v}| |\mathbf{w}| \cos \theta

ベクトルvを基準にしたとき、ベクトルwの長さは|w|cosθで表される。そのため、v・wは|v||w|cosθとなる。

また、ベクトルvとwが同じ値の場合、cos0°=1となるため、v・v = |v|^2となる。