statduck

https://www.youtube.com/watch?v=EzPZ9VCCRmU Never again Will she get the best of me Never again Will she take away my freedom And we won’t forget The day we fought for the right to be a little bit naughty Never again will the chokey door slam Never again will I be bullied and Never again will I doubt it when My mummy says I’m a miracle Never again will we live behind bars Never again now that we..

https://www.youtube.com/watch?v=yIl1OIGzuDg Lyric [Burr] How does a bastard, orphan, son of a whore and a Scotsman, dropped in the middle of a Forgotten spot in the Carribbean by providence impoverished, in squalor Grow up to be a hero and a scholar? 어떻게 나같은 사생아, 고아, 매춘부의 자식이며 신의 뜻으로 쓰여지지도 않는(unwritten) 카리브 해의 잊혀진 곳에서 스코틀랜드 출신인 내가 영웅이자 학자가 될 수 있었을까? * impoverished: 빈곤한 [Laurens] The ten dollar f..

목적 VI 그간 추상적으로 알고있었는데, 실제 파라미터 업데이트 및 사용하는 이유 및 맥락을 살펴보기 위함 정의 $$ q = \underset{q \in \mathcal{Q}}{\mathrm{argmin}} \, D_{\mathbb{KL}} \, (q(z) \; || \; p_\theta(z|x)) $$ $$ \begin{align*} \psi^* &= \underset{\psi}{\mathrm{argmin}} \, D_{\mathbb{KL}} \, (q_\psi (z) \; || \; p_\theta (z|x)) \\ &= \underset{\psi}{\mathrm{argmin}} \, \mathbb{E}_{q_\psi (z)} \Big[\log q_\psi (z) - \log \Big( \dfrac{..

Kernel Method (Gyumin-Lee 23.8.6) Chapter 17 (Nonparametric Method) 17.1 Mercer Kernels (positive definite kerenl a.k.a pd) $\sum\sum K(x_i, x_j) c_i c_j \geq 0, \; c_i, c_j \in \mathbb{R}$ Kernel can be converted into gram matrix, whose elements are represented by inner products. Matrix positive definite = Kernel pd 한거와 동일 Example $ K(x,x')=exp(-\dfrac{||x-x'|^2}{2h^2})$ h is a bandwidth(가중치가 들..

Contributions Seperate paramemters and uses an objective unconstrained about acyclicity, which allows for easier optimization and low-variance gradient estimator having convergence guarantees Scaling to larger graphs and also can be leveraged to detect latent confounders Background Knowledge Causal Structure Learning : From sample of $\mathbb{P}$, discovering $G$ = causal structure learning or c..

우리가 흔히 알고있는 분포들(이항분포, 다항분포, 정규분포)은 주로 지수족(Exponential Family)에 속한다. 지수족은 몇가지 특성들을 만족시키는 분포들의 집합이라고 생각하면 된다. 정의로는 다음과 같은 확률함수의 모양을 가지면 지수족이다. $$ p(x|\eta)= \dfrac{1}{Z(\eta)}h(x)exp[\eta^T T(x)] = h(x)exp[\eta^T T(x)-A(\eta)] $$ $\eta \in R^K$ with fixed support over $x^D \subseteq R^D$ $\eta$: canonical parameters, $T(x)$: suffcient statistics $A(\eta) = logZ(\eta)$: log partition function ( A i..

이진분류 문제에서 로지스틱 모형으로 문제 해결함에 있어 Bi-Tempered Loss를 이용할 수 있다. loss function가 convex인 경우에 decision boundary에서 멀리 떨어진 mislabeled point가 모형에 악영향을 미친다. 근거논문: https://link.springer.com/article/10.1007/s10994-009-5165-z 그러므로 convex형태인 cross entropy를 tempered version으로 치환해서 문제를 해결하자. mislabled point는 Deicison Boundary와의 거리에 따라 다음 두 개의 케이스로 나뉘고 각 케이스를 해결하기 위해 손실 함수와 추정 함수를 각각 temper시킨다. Case1) Mislabeld Po..

Prophet Model Bayesian Concept을 활용해 비즈니스 시계열 추정을 하는 가장 대표적인 모형이 페이스북에서 릴리즈한 Prophet Model이다. https://peerj.com/preprints/3190/ $$ y(t) = g(t)+s(t)+h(t)+\varepsilon_t $$ - g(t): 추세 함수(비주기적 변화 포착) - s(t): 주기적 변화(예) 주간 혹은 연간 계절성) - h(t): 비규칙적인 이벤트 세 가지의 성분을 덧셈으로 연결하였다.(GAM: 일반화가법모형) GAM은 반응평균의 함수를 독립변수들의 함수꼴로 모형화시킨것을 말한다. 컨셉은 결국 시계열 그래프를 가장 그럴듯한 함수 개형을 찾아서 피팅시키는 건데, 그 함수 개형을 크게 3개로 나눠 전반적인 트렌드, 반복하..