Machine Learning

Logistic RegressionGeneralized Linear Model

8.1 Introduction, overview8.2 Model specification8.3 Model fitting

8.3.1 MLE8.3.2 Steepest descent8.3.3 Newton's method8.3.6 l2 regularization8.3.7 Multi-class logistic regression

8.4 Bayesian logistic regression8.4.1 Laplace approximation8.4.2 Derivation of the BIC(Bayesian Information Criterion)8.4.3 Gaussian approximation for logistic regression8.4.4 Approximating the posterior predictive

8.5 Online learning and stochastic optimization8.5.3 The LMS algorithm8.5.4 The perceptron algorithm8.5.5 A Bayesian view

8.6 Generative vs discriminative classifiers8.6.1 Pros and cons of each approach

다른 최적화 기법 ( 경사 강하 , 뉴턴 ,…) 을 사용해서 최적화한다

예측치 - 실제치

에타에 대해서 미분

Recall Ridge regresion

정규분포라서 그냥 평균이고 평균은 MAP추정치 였으므로 l2 reg 와 같아짐

베이지안 linear regression

9.1 Introduction9.2 The exponential family

9.2.1 Definition9.2.2.1 Bernoulli9.2.2.2 Multinoulli9.2.2.3 Univariate Gaussian

9.2.3 Log partition function9.2.3.1 Example: the Bernoulli distribution

9.3 Generalized linear models (GLMs) 9.3.1 Basics 9.3.2 ML and MAP estimation 9.3.3 Bayesian inference 

Normalize 하는 term

어떤 분포를 지수형태의 같은 모양으로 표현할 수 있으면 지수족이라고 한다 .

족

Likelihood 의 충분통계량

전체 앞면수 / 전체 시도수

 logistic regression 의 경우 μ = 1/(1+exp(-w'x)) 이므로 S 는 섹션 8.3.1의 결과와 같아진다 .     

Logistic R 의 gradi-ent

부호가 바뀐건 위의 결과는 NLL 에 대해서 한거라