笔记|统计学习方法：朴素贝叶斯

• 联合概率

  朴素贝叶斯是生成模型，由训练数据学习联合分布概率,求得后验概率为:。联合概率分布为： 概率估计方法是极大似然法，或者贝叶斯估计。

• 基本假设：条件独立性

• 确定x的类别

• 1. 计算先验概率以及条件概率

• 2. 对于给定的实例,计算

• 3. 确定实例的类

• 确定x的类的例子：

• 利用贝叶斯定理与联合概率进行分类预测

贝叶斯定理：

将输入x分到后验概率最大的类y

后验概率最大等价于0-1损失函数时的期望风险最小化

• 贝叶斯估计

条件概率：

的取值有个

• 称作极大似然估计
• 称作拉普拉斯平滑

先验概率：

• 贝叶斯估计例子