떼닝로그

Softmax 연산 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산 출력물의 모든 값을 고려함 분류(classification) 문제를 풀 때 선형모델과 softmax 함수 결합하여 특정 vector가 어떤 class에 속할 확률 예측 def softmax(vec): # denumerator : 각 출력 vector denumerator = np.exp(vec - np.max(vec, axis=-1, keepdims=True)# np.max 사용함으로써 overflow 방지 # numerator : 각 출력 vector들의 합에 exponential 연산 수행 numerator = np.sum(denumerator, axis=-1, keepdims=True) val = denumerator / nu..

미분 미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구 sympy.diff로 쉽게 계산 가능 import sympy as sym from sympy.abc import x sym.diff(sym.poly(x**2 + 2*x + 3), x) Poly(2*x + 2, x, domain='ZZ') 함수 f의 주어진 점(x, f(x))에서의 접선의 기울기를 구함 접선의 기울기를 이용함으로써 어느 방향으로 점을 움직여야 함수값이 증가하는지/감소하는지 알 수 있음. - 미분값이 음수일 경우 x의 값을 왼쪽으로 이동할수록 함수값이 증가 - 미분값이 양수일 경우 x의 값을 오른쪽으로 이동할수록 함수값이 증가 미분값을 더하면 경사상승법(gradient ascent). 함수의 ..

행렬 행렬(matrix)는 벡터를 원소로 가지는 2차원 배열 행(row)과 열(column)으로 이뤄져있음 행렬의 특정 행(또는 열)을 고정하면 행(또는 열)벡터 행렬의 행벡터 x_i는 i번째 데이터 행렬의 x_ij는 i번째 데이터의 j번째 변수의 값 행렬의 계산 행렬끼리 같은 모양을 가지면 덧셈, 뺄셈 계산 가능 성분곱은 벡터와 같음. A_ij * B_ij으로 하나씩 곱하는 방식 스칼라곱도 벡터와 같음. 3A = A의 행렬 모든 원소에 스칼라값인 3을 곱해주면 됨 행렬 곱셈은 i번째 행벡터와 j번째 열벡터 사이의 내적을 성분으로 가지는 행렬 계산 행렬 곱셈 위해서는 두 개의 행렬 사이 차원이 같아야함. ex) A(NxK) * B(KxM) 행렬 곱셈 이용하여 벡터를 다른 차원의 공간으로 보낼 수 있음 행..

벡터 벡터는 숫자를 원소로 가지는 list 또는 array. 공간에서의 한 점을 나타냄 원점으로부터 상대적 위치를 표현함 벡터에 숫자(scalar 값)을 곱해주면 길이만 변함. 즉, 방향은 변하지 않음. 벡터끼리 같은 모양을 가지면 덧셈, 뺄셈을 계산할 수 있음. 벡터끼리 같은 모양을 가지면 성분곱(Hadamard product)를 계산할 수 있음. 벡터의 덧셈 두 벡터의 덧셈은 다른 벡터로부터의 상대적 위치이동 벡터의 norm 벡터의 norm : 원점에서부터의 거리. L1-norm : 각 성분의 변화량의 절대값 모두 더하기 L2-norm : 피타고라스 정리를 이용해 유클리드 거리 계산하기 norm의 종류에 따라 기하학적 성질 달라짐 두 벡터 사이의 거리 구하기 L1, L2-norm 이용하여 두 벡터 사..

전에 부캠할 때 아 난 이제 벨로그를 써야겠어! 했는데 벨로그보다는 그래도 티스토리가 구글에 노출도 자주 되고 뭐 ㅎㅎ,,, 암튼 그런 욕심에 티스토리 블로그를 새로 하나 파게 되었습니당. 벨로그에 있던 것도 여기로 다 옮겨야징 저는 지금 샌디에고 임시 숙소 옆 카페에 나와있어용. 당돼 라스베가스 가는 거 배웅해주고 숙소 왔는데 체크인까지는 시간이 좀 남아서,,, 숙소에 짐 맡겨두고 노트북 가방 싸들고 숙소 앞 카페에서 스파클링 애플 주스 마시면서 웹서핑 중입니당. (사실 다 마신 지 오래) 약간 작은 푸드코트같은 그런 느낌인데 불고기 냄새가 왕창 난다,,, 진짜 불고기일까? 암튼 벨로그에 있던 글도 싹 다 옮기고 WEST 프로그램 준비 과정 같은 것도 다 열심히 적어보도록 할게요,,, 개발+해외여행+정..