동그랑땡의 빅데이터

상관관계(Correlation) 야식과 몸무게에 상관관계가 있다고 생각하는가? (난 매우 그렇다고 생각한다.) 그렇다면 어떤 상관관계가 있는지 알고 싶을 수 있다. 예를 들어, 'X번 야식을 먹으면, 몸무게가 Y(kg) 늘어난다.‘ 는 명확한 상관관계를 찾아낸다면, 우리는 야식을 줄일 수 있을지도 모른다. 상관관계를 알려면 어떻게 해야할까. 몸무게를 출력변수 Y, 야식 횟수를 입력변수 X로 놓는다. 그런 다음, Y와 X의 관계를 함수로 표현하면 된다! 통계학습(Statistical Learning) $Y = f(X)$ 이 때 함수 f를 추정하는 일련의 기법을 통계학습(Statistical Learning)이라고 한다. (Statistical Learning(통계학습)은 그 이름이 Machine Learn..

Foundation 모델의 탄생 다양한 문제를 푸는데 기반이 되는 AI모델, Foundation 모델(흔히 생성형 AI, Generative AI)이 등장한다. 모델? 파라미터? 모델(model) = 함수(function) = 프로그램(program) : 입력을 하면 출력이 나오는 형태. AI 모델은 수많은 정답(데이터)에 가장 확률적으로 가까운 함수(y=ax+b)의 형태가 되도록 훈련된다. 데이터가 많고 각각의 데이터에 가까우려면 1차 함수보다 훨씬 복잡한 함수가 필요할 것이다. 1차 함수는 $y = ax + b$ 형태가 된다. 이 형태에서 a와 b를 파라미터(매개변수)라고 한다. 2차 함수는 아래와 같은 형태이다. $y= ax^2+ bx + c$ 여기선 a, b, c가 파라미터다. 1차 함수에는 파라..