EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等。本文就对EM算法的原理做一个总结。
EM算法要解决的问题
我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布的对数似然函数。
但是在一些情况下，我们得到的观察数据有未观察到的隐含数据，此时我们未知的有隐含数据和模型参数，因而无法直接用极大化对数似然函数得到模型分布的参数。怎么办呢？这就是EM算法可以派上用场的地方了。
EM算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解我们的模型参数（EM算法的M步)。由于我们之前的隐藏数据是猜测的，所以此时得到的模型参数一般还不是我们想要的结果。不过没关系，我们基于当前得到的模型参数，继续猜测隐含数据（EM算法的E步），然后继续极大化对数似然，求解我们的模型参数（EM算法的M步)。以此类推，不断的迭代下去，直到模型分布参数基本无变化，算法收敛，找到合适的模型参数。
从上面的描述可以看出，EM算法是迭代求解最大值的算法，同时算法在每一次迭代时分为两步，E步和M步。一轮轮迭代更新隐含数据和模型分布参数，直到收敛，即得到我们需要的模型参数。
一个最直观了解EM算法思路的是K-Means算法，见之前写的K-Means聚类算法原理。在K-Means聚类时，每个聚类簇的质心是隐含数据。我们会假设K个初始化质心，即EM算法的E步；然后计算得到每个样本最近的质心，并把样本聚类到最近的这个质心，即EM算法的M步。重复这个E步和M步，直到质心不再变化为止，这样就完成了K-Means聚类。
当然，K-Means算法是比较简单的，实际中的问题往往没有这么简单。上面对EM算法的描述还很粗糙，我们需要用数学的语言精准描述。
EM算法的推导
对于m个样本观察数据
，找出样本的模型参数
，极大化模型分布的对数似然函数如下：
如果我们得到的观察数据有未观察到的隐含数据
，此时我们的极大化模型分布的对数似然函数如下：
上面这个式子是没有 办法直接求出
的。因此需要一些特殊的技巧，我们首先对这个式子进行缩放如下：
上面第(1)式引入了一个未知的新的分布
，第(2)式用到了Jensen不等式：
或者说由于对数函数是凹函数，所以有:
此时如果要满足Jensen不等式的等号，则有：
由于
是一个分布，所以满足：
从上面两式，我们可以得到：
如果
, 则第(2)式是我们的包含隐藏数据的对数似然的一个下界。如果我们能极大化这个下界，则也在尝试极大化我们的对数似然。即我们需要最大化下式：
去掉上式中为常数的部分，则我们需要极大化的对数似然下界为：
上式也就是我们的EM算法的M步，那E步呢？注意到上式中
是一个分布，因此
可以理解为
基于条件概率分布
的期望。
至此，我们理解了EM算法中E步和M步的具体数学含义。
EM算法流程
现在我们总结下EM算法的流程。
输入：观察数据
，联合分布
，条件分布
，最大迭代次数J。
1) 随机初始化模型参数
的值
2） for j from 1 to J开始EM算法迭代：
a) E步：计算联合分布的条件概率期望：
b) M步：极大化
，得到
：
c) 如果
已收敛，则算法结束。否则继续回到步骤a)进行E步迭代。
输出：模型参数
。
EM算法收敛性思考
EM算法的流程并不复杂，但是还有两个问题需要我们思考：
1） EM算法能保证收敛吗？
2） EM算法如果收敛，那么能保证收敛到全局最大值吗？
首先我们来看第一个问题, EM算法的收敛性。要证明EM算法收敛，则我们需要证明我们的对数似然函数的值在迭代的过程中一直在增大。即：
由于
令：
上两式相减得到：
在上式中分别取
为
和
，并相减得到：
要证明EM算法的收敛性，我们只需要证明上式的右边是非负的即可。
由于
使得
极大，因此有:
而对于第二部分，我们有：
其中第（4）式用到了Jensen不等式，只不过和第二节的使用相反而已，第（5）式用到了概率分布累积为1的性质。
至此，我们得到了：
证明了EM算法的收敛性。
从上面的推导可以看出，EM算法可以保证收敛到一个稳定点，但是却不能保证收敛到全局的极大值点，因此它是局部最优的算法，当然，如果我们的优化目标
是凸的，则EM算法可以保证收敛到全局最大值，这点和梯度下降法这样的迭代算法相同。至此我们也回答了上面提到的第二个问题。
好了，这篇文章的内容营销圈就和大家分享到这里，如果大家对网络推广引流和网络创业项目感兴趣，可以添加微信：Sum8338 备注：营销圈引流学习，我拉你进直播课程学习群，每周135晚上都是有实战的推广引流技术和网络创业项目课程分享，当然是免费学！
相关推荐
-
什么是内容服务，抖音内容服务详解？
最近在阅读《订阅经济：创造可持续增长的未来》一书，订阅模式可以改变商业模式，从产品销售转变为内容服务。 Fender乐器从销售吉他到培养音乐人 Fender乐器在过去70年里一直制…
-
辞职原因有哪些，辞职的9大原因？
很多人离职，都和前公司闹得不愉快，其实大可不必。我们看那些前任闹得贼不愉快的艺人们，也能明白一个道理，无论我们承不承认，前任就是既定事实，你说前任不好，就是在打自己的脸，当初的你是…
-
国内aso工具有哪些？国内外常用ASO优化工具分析？
作为一个做ASO工具的团队，我们从竞品的角度，对国内外的知名ASO工具做了详细的分析，本文就把一些分析心得分享出来，也方便大家根据自己App的特点做选择。而从ASO工具的发展，也能…
-
花呗借10000元利息多少，支付宝花呗利息怎么算？
支付宝的花呗，是蚂蚁集团推出的一款消费类信贷产品。当我们开通花呗后，就可以获得一定的消费额度，可以享受先消费后还款的服务。 花呗类似于银行的信用卡，也有着免息还款期，当我们产生消费…
-
软文怎么写比较吸引人，软文写吸引人的6个技巧？
软文推广是目前常见且有效的在线推广方式。软文的内容是你晋升的关键。只有拥有精彩的内容，才会给读者一个继续阅读甚至下次再来的理由。文章的内容应该是：有价值、有创意、直白、贴近生活、抓…
-
seo的优化步骤有哪些，百度算法优化的6大步骤？
当您的企业开始运营网站后，透过搜索引擎优化（SEO）来提高内容曝光及网站权重，便是获得免费流量的好方法。近年SEO已受到各大品牌重视，下面就是让品牌官网做好SEO的各种关键。 百度…
-
小米11pro，小米11pro外观对比？
红米K50 Pro和小米11 Pro虽然同属于小米家族产品，但这两款机型并不属于同一时期上市，在今年3月份红米K50 Pro上市之机，就有很多伙伴们拿它与小米上一代老款旗舰机型小米…
-
网站如何做seo，SEO实操过程中17个操作要点？
SEO优化发展至今，我认为已经跨越了很多个时代了，之前的就不多讲，大家可以百度，目前已经是用户体验的时代了，想做好SEO，也就是想有好的排名，必然要从用户体验出发，做好每一个网站细…
-
随身wifi实名认证有风险吗，随身wifi实名认证有风险吗及注意事项？
看到很多朋友在问有没有靠谱的随身WIFI推荐，市场上各种品牌，不同类型的随身WIFI太多了，到底哪个好用呢，有没有靠谱的。 看来大家真是踩的雷够多了，已经不知道坑在哪里了，由于我多…
-
打死不能开烧烤店，烧烤店失败的4大原因？
餐饮行业的热度，随着夏天的来临也在不断升温。尤其是烧烤店，投资成本不高，操作难度小，看起来顾客又那么多，于是每天都能冒出好几家烧烤店。但事实上，烧烤店的成活率并不高，甚至可以说是九…
