Troy's Blog

Hope you take that jump, but don't fear the fall

Knowledge tree for sampling methods

采样知识树图

Posted by Troy Wang on August 8, 2017

MCMC Method & M-H Algorithm & Gibbs Sampling

蒙特卡洛马尔科夫链，Metropolis-Hasting算法，Gibbs采样

Reversible Markov Chain MCMC Metropolis-Hasting Algorithm Metropolis-Hasting示例 Gibbs Sampling Reversible Markov Chain According to wiki Markov Chain 也就是说，符合detailed balance（细致平稳）条件...

Posted by Troy Wang on August 7, 2017

Importance Sampling

重要性采样

概述 Adaptive Importance Sampling & Sampling-Importance-Resampling 概述 假设我们想计算$E[f(x)]$，而$x$本身服从分布，即 如果我们不方便在上采样或者，可以引入一个方便采样的， 这样问题就转化成了求在分布下的期望。 $w(x)$称为importance weight, $q(x)$称为propos...

Posted by Troy Wang on August 6, 2017

Reject Sampling

拒绝采样

概述 示例 Adaptive Reject Sampling 概述 之前我们提到了基于CDF的inverse transform sampling，但是存在很多情况，我们无法或者很难从PDF求出CDF，即使求得了CDF，也很难求CDF的反函数。这个时候就很难直接使用ITS。拒绝采样（Reject Sampling）可以解决此问题。 参考上图，拒绝采样步骤如下： ...

Posted by Troy Wang on August 5, 2017

Inverse Transforming Sampling

逆变换采样

概述 示例 Box-Muller变换 概述 Inverse transform sampling，称为逆变换采样。 本质上来说，计算机只能基于均匀分布进行采样，怎么处理才能使计算机能对较为复杂的PDF进行采样呢？ITS就是最简单的一种方法。 设$f(x)$为目标采样的分布（即PDF），$F(x)$为其累积分布函数（即CDF）。我们可以...

Posted by Troy Wang on August 4, 2017

Intro to Monte Carlo Method

Monte Carlo方法简介

概述 示例1——计算圆周率 示例2——计算定积分 概述 Monte Carlo Method (MCM)蒙特卡洛方法，是一类随机算法的统称，这些算法的共性是使用重复的随机抽样来进行数值计算。MCM获得的是相应问题的数值近似结果，采样次数越多，越接近真实值，即MCM一定会产出一个结果，且结果是近似的。如Sobol所述： The Monte Carlo method is...

Posted by Troy Wang on August 3, 2017

FEATURED TAGS
Machine Learning Mathmatics Sampling Zookeeper Redis Java
ABOUT ME

Home is behind, the world ahead. And there are many paths to tread.

FRIENDS