머신러닝을 위한 기초 수학

시그마, 파이, 미분, 편미분, 합성함수, 백터 및 행렬, 기하벡터, 지수, 대수에 대하여 요점 정리합니다.

Sigma & Phi

  • 1 부터 100까지 합산

$$ \sum_{i=1}^{100}i $$

  • 몇시적으로 마지막 값을 모르는 합산

$$ \sum_{i=1}^{n}i $$

  • 집합 합산

$$ G = {2, 3, 6, 8, 10} \\
\sum_{g \in G}g $$

  • 모든 것을 곱함 (1~100)

$$ 1 \cdot 2 \cdot 3 \cdot 4 \cdot \cdot \cdot 99 \cdot 100 \\
\prod_{i=1}^{100}i $$

  • 모든 것을 곱함 (1~n)

$$ \prod_{i=1}^{n}i $$

미분

  • 순간의 변화량

$$ \frac{d}{dx}f(x) = \lim_{x \to 0}\frac{f(x+h)-f(x)}{h} $$

  • 미분 성질 1: $f(x)=x^n$ 미분

$$ \frac{d}{dx}f(x) = nx^{n-1} $$

  • 미분 성질 2: 선형성

$$ \begin{align} \frac{d}{dx}(f(x)+g(x)) &= \frac{d}{dx}f(x) + \frac{d}{dx}g(x) \\
\frac{d}{dx}(af(x)) &= a\frac{d}{dx}f(x) \end{align} $$

  • 미분 성질 3: 상수 미분, a는 상수

$$ \frac{d}{dx}a = 0 $$

  • 미분 성질 4: Sigma 미분

$$ \frac{d}{dx} \sum x^n = \sum \frac{d}{dx} x^n $$

  • Example

$$ \begin{align} (1) & \frac{d}{dx}5=0 \\
(2) & \frac{d}{dx}x=1 \\
(3) & \frac{d}{dx}x^3=3x^2 \\
(4) & \frac{d}{dx}x^{-2}= -2x^{-3} \\
(5) & \frac{d}{dx}10x^{4}= 10 \cdot 4x^3 \\
(6) & \frac{d}{dx}(x^5 + x^6) = 5x^4 + 6x^5 \end{align} $$

편미분

  • 다변수 함수

$$ g(x_1, x_2, …, x_n)=x_1+x_1^2+….+x_n^n $$

  • 다변수 함수에 대한 편미분
    • 목적 변수외에는 모두 상수 취급

$$ h(x_1, x_2)= x_1^2+x_2^3 \\
\frac{\partial}{\partial x_1} h(x_1, x_2)=2x_1 \\
\frac{\partial}{\partial x_2} h(x_1, x_2)=3x_2^2 $$

합성함수

  • $(f \circ g)(x) = f(g(x)) $
  • $f(u) = 10+u^2$
  • $g(x) = 3+x$

합성 함수의 미분

$$ \begin{align} y &= (f \circ g)(x) = f(g(x)) \\
y &= f(u) \\
u &= g(x) \\\
\frac{dy}{dx} &= \frac{dy}{du}\frac{du}{dx} \end{align} $$

지수와 로그

  • 지수 기본 성질

$$ \begin{align} a^{b+c} &= a^b*a^c \\
a^{b-c} &= \frac{a^b}{a^c} \\
(a^b)^c &= a^{bc} \end{align} $$

  • 로그

$$ \begin{align} \log_e\ a &= \log\ a = ln\ a \\
\log_e e &= 1 \\
\log ab &= log a + log\ b \\
\log \frac{a}{b} &= log\ a - log\ b\\
\log a^b &= b\ log\ a \end{align} $$

  • 로그 미분

$$ \begin{align} \frac{d}{dx}log_a\ x &= \frac{1}{x\log\ a}\\
\frac{d}{dx}log\ x &= \frac{1}{x} \end{align} $$

김태완 avatar
작성자: 김태완
1999년 부터 Java, Framework, Middleware, SOA, DB Replication, Cache, CEP, NoSQL, Big Data, Cloud를 키워드로 살아왔습니다. 현재는 빅데이터와 Machine Learning을 중점에 두고 있습니다.
E-mail: taewanme@gmail.com