목록AI/머신러닝 (16)
꺼내먹는지식 준
현실 세계에서는 rule base 가 완벽하게 동작하기 어렵다. 모든 결정이 consistent 한 것이 아니다. (오늘은 비가 오지만 나가고 싶을 수 있다.) error 가 관측치에 있기도 하다. 모든 정보를 다 보기도 어렵다. (놓친 feature) 그렇다면 우선, error 가 있는 경우에 통계적 기법을 가미해서 learning 을 할 수 있는 방법은 무엇이 있을까? Decision Tree 를 통해 가능하다. 사전 version space를 통해 만들어진 결과물로 decision tree 를 만들 수 있다. http://archive.ics.uci.edu/ml/datasets/Credit+Approval UCI Machine Learning Repository: Credit Approval Dat..
머신러닝이란? 경험에 의해 배우는 프로그램 경험에 의해 특정 테스크의 수행능력이 점차 향상 된다. 즉, 더 많은 경험이 쌓이면 (혹은 더 많은 사전 지식) 머신러닝의 성능이 점차 좋아질 것이라 기대된다. Rule Based Learning 이상적인 세상 가정 관측 에러 X 모든 것은 일관적 관측 아래의 종류만으로 결과를 완벽하게 설명 가능 Sky Temp Humid Wind Water Forecast EnjoySpt Sunny Warm Normal Strong Warm Same Yes Sunny Warm High Strong Warm Same Yes Rainy Cold High Strong Warm Change No Sunny Warm High Strong Cool Change Yes Function A..
확률이란? $P(E) \in R$ : 확률이란 함수 형태를 가지고 있다. $P(E) \geq 0$ : 모든 각 사건은 확률이 0 이상이다. (음수는 없다.) $P(\omega) = 1$ : 모든 경우를 합치면 1이다. 오메가에 대한 정의 $$ P(E_1 \cup E_2 \cup ...) = \sum^{\infty}_{i=1} P(E_i) $$ if $A \subseteq B$ then $P(A) \leq P(B)$ $P(\emptyset) = 0$ $0 \leq P(E) \leq 1$ $P(A \cup B) = P(A) + P(B) - P(A \cup B)$ $P(E^C) = 1- P(E)$ 위 정도로 정리 가능하다. 조건부 확률 $$P(A | B) = \frac{P(A \cap B)}{P(B)}$$ B..
베이즈는 이미 2번 정리를 했지만, 여러번 볼 수록 좋기에 한번 더 정리를 한다. Supervised Learning Unsupervised Learning Label이 있는 learning (분류, regression) label 없이 주어진 데이터로 패턴 파악(clustering, Filtering) Unsupervised Learning 예시: 주어진 신문기사 4만개에서 10개로 분류해보아라. labeling 과정을 거칠 필요가 없이 clsutering 하면 된다. 이항 분포 이산 확률 분포 $$\textrm{n번중 k번 성공}$$ $$f(k;n,p) = P( K = k ) = \binom{n}{k} \, p^k (1-p)^{n-k}$$ $$\binom{n}{k} = \frac{n!}{k! (n-k..
베이지안 라이브러리가 필요한 이유 베이지안이 어려운 이유는 실제로 conjugate distribution 을 찾기 어렵기 때문이다. 이로 인해 MCMC 샘플링을 사용하는 방식을 많이 사용하고 대표적인 library 로 PYMC3 가 있다. 복잡한 과정을 모두 대신해준다. 생각보다 듀토리얼이 없어서 아주 간단한 이론적 배경과 사용법을 정리해본다. 해당 글을 읽었을 때의 유익 저자는 본 글을 읽고나서 베이지안 사고방식이 어떤 의미인지, 그리고 해당 사고방식을 어떻게 접목해야하는지 깨달을 수 있는 기회가 되었다. 해당 내용은 https://nbviewer.org/github/markdregan/Bayesian-Modelling-in-Python/blob/master/Section%201.%20Estimati..
베이즈를 활용해서 연구도 해봤고, 어느정도 이해했다고는 생각하지만 항상 약간만 깊이 들어가면 내가 아무것도 모르는 구나를 깨닫게 된다. 이론적으로 완벽할 필요는 없지만 어느정도 구조에 대한 파악이 필요하다고 생각한다. 아래 블로그는 웹서핑 과정 중에서 만난 여지껏 어떤 블로그보다 베이즈에 대한 개괄을 잘 작성해놓은 블로그이다. 본 글은 내 사전지식에 맞춰 좀 덜거나 더해 작성되었기에 해당 글을 읽는 것보다 아래의 블로그 글을 읽는 것이 더 좋을 것 같다. 물론 나랑 사전 지식이 비슷하다면 이 글이 오히려 좋을 수도 있다. http://posterior.egloos.com/9606941 베이즈 정리 (일반적 형태) 앞의 글들에서 베이즈 정리의 의미와 그 사용 예시를 살펴보았다. 이제 본격적인 베이지안 추론..