떼닝로그

Sequence 데이터 이해하기 소리, 문자열, 주가등의 데이터를 시퀀스 데이터로 분류 시퀀스 데이터는 독립동등분포(i.i.d) 가정을 잘 위배하기 때문에, 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀜 개가 사람을 물었다 / 사람이 개를 물었다 순서 바뀜으로써 data의 확률 분포 변함. 과거의 정보로 update하기 어려워짐 Sequence 데이터 다루기 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부확률 이용 결합확률분포 = \(x_t\)에 대한 확률분포 * 결합확률 조건부확률은 과거의 모든 정보를 사용하지만, 시퀀스 데이터를 분석할 때 모든 과거 정보들이 필요한 것은 아님 시퀀스 데이터를 다루기 위해서는 길이가 가변적인 데이터를 다룰 수 있..

Convolution 연산 이해하기 Convolution 연산은 Kernel을 입력벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조 고정된 가중치 커널 V를 입력벡터 상에서 움직여가면서 계산 적용 활성화 함수를 제외한 Convolution 연산도 선형변환에 속함 kernel이 공통적으로 적용되기 때문에, parameter size 줄일 수 있음 Convolution 연산의 수학적인 의미는 신호를 커널을 이용해 국소적으로 증폭 또는 감소시켜서 정보를 추출 또는 필터링하는 것 f : 커널 / g : 신호 / z : 커널의 범위 / x - z : 신호의 term CNN에서 사용하는 연산은 사실 convolution이 아니라 cross-correlation 위의 식에서 -로 되어있는 부분 +로도 변환..

조건부 확률 사건 B가 일어난 상황에서 사건 A가 발생할 확률 P(A∩B) = P(B)P(A|B) 베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려줌 A라는 새로운 정보가 주어졌을 때 P(B)로부터 P(B|A)를 계산하는 방법 제공 예제를 통한 베이즈 정리의 이해 아래는 베이즈 정리를 위한 식 θ : model에서 계산하고 싶어하는 parameter(모수). hypothesis \(D\) : 새로 관찰하는 data 사후확률 : data가 주어져있을 때 parameter θ가 성립할 확률 사전확률 : modeling 전 사전에 주어진 확률 가능도(likelihood) : 현재 주어진 parameter(모수)를 가정해서 이 data가 관찰될 확률 계산 Evidence : data 자체의 분포 ..

모수 통계적 모델링은 적절한 가정 위에서 확률분포를 추정(inference)하는 것이 목표 유한한 개수의 데이터에서 관측하여 정확하게 알아내는 것은 불가능하므로, 근사적으로 확률분포를 추정해야 함 예측모형의 목적은 데이터와 추정 방법의 불확실성을 고려해서 위험을 최소화하기 위함 어떤 가정을 미리 부여하는지 아닌지에 따라 모수적, 비모수적 방법론으로 나뉨 데이터가 특정 확률분포를 따른다고 선험적으로(a priori) 가정한 후, 그 분포를 결정하는 모수(parameter)를 추정하는 방법을 모수적(parametric) 방법론 특정 확률분포를 가정하지 않고, 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌면, 또는 모수의 개수가 무한할 때 비모수(noparametric) 방법론 확률분포 사용 예시..

딥러닝에서의 확률론 딥러닝은 확률론 기반의 기계학습 이론에 바탕 기계학습에서의 손실함수(loss function)들의 작동 원리는 데이터 공간을 통계적으로 해석해서 유도 - 예측이 틀릴 위험(risk)을 최소화하기 위해 회귀 분석에서 손실함수로 사용되는 L2-norm은 예측오차의 분산을 가장 최소화하는 방향으로 학습 분류 문제에서 사용되는 교차 엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습 분산 및 불확실성을 최소화하기 위해서는 측정하는 방법을 잘 선택해야 함 확률분포는 data 해석에 있어서 굉장히 중요한 도구로 쓰임 이산확률변수 vs 연속확률변수 확률변수는 확률분포 D에 따라 이산형(discrete)과 연속형(continous) 확률변수로 구분 이산확률변수와 연..

Softmax 연산 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산 출력물의 모든 값을 고려함 분류(classification) 문제를 풀 때 선형모델과 softmax 함수 결합하여 특정 vector가 어떤 class에 속할 확률 예측 def softmax(vec): # denumerator : 각 출력 vector denumerator = np.exp(vec - np.max(vec, axis=-1, keepdims=True)# np.max 사용함으로써 overflow 방지 # numerator : 각 출력 vector들의 합에 exponential 연산 수행 numerator = np.sum(denumerator, axis=-1, keepdims=True) val = denumerator / nu..

미분 미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구 sympy.diff로 쉽게 계산 가능 import sympy as sym from sympy.abc import x sym.diff(sym.poly(x**2 + 2*x + 3), x) Poly(2*x + 2, x, domain='ZZ') 함수 f의 주어진 점(x, f(x))에서의 접선의 기울기를 구함 접선의 기울기를 이용함으로써 어느 방향으로 점을 움직여야 함수값이 증가하는지/감소하는지 알 수 있음. - 미분값이 음수일 경우 x의 값을 왼쪽으로 이동할수록 함수값이 증가 - 미분값이 양수일 경우 x의 값을 오른쪽으로 이동할수록 함수값이 증가 미분값을 더하면 경사상승법(gradient ascent). 함수의 ..

행렬 행렬(matrix)는 벡터를 원소로 가지는 2차원 배열 행(row)과 열(column)으로 이뤄져있음 행렬의 특정 행(또는 열)을 고정하면 행(또는 열)벡터 행렬의 행벡터 x_i는 i번째 데이터 행렬의 x_ij는 i번째 데이터의 j번째 변수의 값 행렬의 계산 행렬끼리 같은 모양을 가지면 덧셈, 뺄셈 계산 가능 성분곱은 벡터와 같음. A_ij * B_ij으로 하나씩 곱하는 방식 스칼라곱도 벡터와 같음. 3A = A의 행렬 모든 원소에 스칼라값인 3을 곱해주면 됨 행렬 곱셈은 i번째 행벡터와 j번째 열벡터 사이의 내적을 성분으로 가지는 행렬 계산 행렬 곱셈 위해서는 두 개의 행렬 사이 차원이 같아야함. ex) A(NxK) * B(KxM) 행렬 곱셈 이용하여 벡터를 다른 차원의 공간으로 보낼 수 있음 행..