동그랑땡의 빅데이터

✍️ 2023. 10. 20 내용 수정 모수적 방법에 대해 알기전에 모수 Parameter에 대해 알면 좋다. Parameter라는 단어는 꽤 여러가지 의미를 갖게 되는데 이에 대해선 나중에 언급하도록 하겠다. 모수 Parameter 우리는 모집단 population을 추정하기 위해 표본 sample을 뽑아 조사한다. 선거날 출구조사를 생각해보자. 선거종료 후 개표를 통해 모집단(대한민국 선거인구)이 누굴 뽑았는지 알 수 있지만, 조금 더 빨리 결과를 확인하기 위해 선거하는 사람들 중 몇 명(표본)만 추려서 조사하고 투표가 끝나자마자 출구조사를 공개한다. 만약 출구조사를 통해 A후보가 선출되었다고 발표했다면 이 정보는 통계량(Statistics)이 된다. 그런데, 막상 투표를 까보니 B후보가 선출되었다...

R로 갖고오고 싶은 엑셀 내용을 드래그 복사한 후 data1 = read.table("clipboard",h=T) 아래와 같이 "clipboard"를 활용하여 변수에 넣으려고 했는데 오류가 떴다. data1 = read.table("clipboard",h=T) Error in file(file, "rt") : X11 module cannot be loaded In addition: Warning message: In file(file, "rt") : unable to load shared object '/Library/Frameworks/R.framework/Resources/modules//R_X11.so': dlopen(/Library/Frameworks/R.framework/Resources/mod..

지도학습과 비지도학습으로 분류할 수 있는 통계학습(Statistical Learning)은 함수 f를 추정하는 일련의 기법을 의미한다. 함수 f는 $Y=f(X)$에서의 함수 f를 의미한다. 통계학습에 대해서는 아래 글에서 조금 더 상세하게 언급했다. [통계 이해땡]예측 vs 추론(통계학습(Statistical Learning)의 목적) 상관관계(Correlation) 야식과 몸무게에 상관관계가 있다고 생각하는가? (난 매우 그렇다고 생각한다.) 그렇다면 어떤 상관관계가 있는지 알고 싶을 수 있다. 우리는 보통 '얼마나 여러 번 야식을 먹 oooo12.tistory.com 입력변수(input), 출력변수(output) $Y=f(X)$에서 $X$는 입력변수(Input), $Y$는 출력변수(Output)에 해..

polygon 먼저 R에 나온 설명을 보자. polygon draws the polygons whose vertices are given in x and y. polygon은 polygon의 꼭지점을 x,y로 그린다. 무슨 소리인지 전혀 모르겠으니 예시를 보자. 예시 데이터를 이용하여 히스토그램을 그려보자 hist(CR$Score, freq=F, xlab="Credit Score", main="", breaks=100, xlim=c(500,900)) 이제 polygon 함수를 써보자 polygon(density(CR$Score), lwd=2) 히스토그램을 구성하는 막대 각각의 맨 꼭대기를 꼭지점으로 잇는 그래프를 그린 것을 볼 수 있다. scan Read data into a vector or list ..

R에서 설명하는 density 먼저 R에서 설명하는 density 함수는 아래와 같다. The (S3) generic function density computes kernel density estimates. (Its default method does so with the given kernel and bandwidth for univariate observations.) kernel density estimates? density는 확률밀도를 의미한다.(물리적 밀도, 질량/부피로 오해하지 말자) 확률밀도라는 단어가 익숙하지 않다면 확률밀도함수(pdf,probabilty density function을 공부해보자. 맨아래에 참고할만한 블로그를 링크해두었다.) kernel density estimati..

Plot 출력화면에서 한글이 깨진다. RStudio에서 아래와 같이 plot 출력시 title, label 에 사용한 한글이 깨지는 경우가 있다. barplot(table(Btype), xlab="혈액형", ylab="빈 도 수", main="막대그래프 예제") 해결코드 이럴 때 아래 코드를 입력해보자.(Rstudio 껏다 킬때마다 입력해야한다.) par(family="AppleGothic") 다시 실행 barplot(table(Btype), xlab="혈액형", ylab="빈 도 수", main="막대그래프 예제") 해결! 보통 같았으면 그냥 label을 영어로 바꿔줬을텐데, 듣고 있는 강의에서 쭉 label을 한글로 쓸거 같아서 해결책을 찾아보았다. ggplot을 사용하는데 한글이 깨진다면! ggpl..

상관관계(Correlation) 야식과 몸무게에 상관관계가 있다고 생각하는가? (난 매우 그렇다고 생각한다.) 그렇다면 어떤 상관관계가 있는지 알고 싶을 수 있다. 예를 들어, 'X번 야식을 먹으면, 몸무게가 Y(kg) 늘어난다.‘ 는 명확한 상관관계를 찾아낸다면, 우리는 야식을 줄일 수 있을지도 모른다. 상관관계를 알려면 어떻게 해야할까. 몸무게를 출력변수 Y, 야식 횟수를 입력변수 X로 놓는다. 그런 다음, Y와 X의 관계를 함수로 표현하면 된다! 통계학습(Statistical Learning) $Y = f(X)$ 이 때 함수 f를 추정하는 일련의 기법을 통계학습(Statistical Learning)이라고 한다. (Statistical Learning(통계학습)은 그 이름이 Machine Learn..

Foundation 모델의 탄생 다양한 문제를 푸는데 기반이 되는 AI모델, Foundation 모델(흔히 생성형 AI, Generative AI)이 등장한다. 모델? 파라미터? 모델(model) = 함수(function) = 프로그램(program) : 입력을 하면 출력이 나오는 형태. AI 모델은 수많은 정답(데이터)에 가장 확률적으로 가까운 함수(y=ax+b)의 형태가 되도록 훈련된다. 데이터가 많고 각각의 데이터에 가까우려면 1차 함수보다 훨씬 복잡한 함수가 필요할 것이다. 1차 함수는 $y = ax + b$ 형태가 된다. 이 형태에서 a와 b를 파라미터(매개변수)라고 한다. 2차 함수는 아래와 같은 형태이다. $y= ax^2+ bx + c$ 여기선 a, b, c가 파라미터다. 1차 함수에는 파라..