概率图

• 1. 概率基础
  • 1.1. 概率分布
  • 1.2. 独立性
  • 1.3. 边缘化(marginalization)
  • 1.4. 贝叶斯定理
  • 1.5. 期望与方差
  • 1.6. 常见概率分布
  • 1.7. 大数定律
  • 1.8. 信息论基础
• 2. 参数估计
  • 2.1. 极大似然估计
  • 2.2. 贝叶斯估计
  • 2.3. 最大后验估计
  • 2.4. 最大似然估计与贝叶斯估计的对比
  • 2.5. 统计量和充分统计量
  • 2.6. Fisher Information
  • 2.7. 估计量的评价
• 3. 指数族
  • 3.1. 指数族的定义
  • 3.2. 指数族的期望与方差
  • 3.3. 最大似然估计
  • 3.4. 最大似然估计与KL散度的关系
• 4. 多维高斯分布
• 5. 有向图(Directed Graphical Models)
  • 5.1. 有向图
  • 5.2. 条件独立性
  • 5.3. 本章总结
• 6. 无向图(Undirected Graphical Models)
  • 6.1. 无向图的定义
  • 6.2. 条件独立性
  • 6.3. 图的分解
  • 6.4. 有向图 vs 无向图
  • 6.5. 树
  • 6.6. 本章总结
• 7. 因子图
  • 7.1. 因子图的定义
  • 7.2. 图模型之间的转换
  • 7.3. 图模型的评价
• 8. 模型推断：消元法
  • 8.1. 什么是模型的推断
  • 8.2. 消元法
  • 8.3. 图消除
  • 8.4. 总结
• 9. 加和乘积算法(sum-product algorithm)
  • 9.1. 树结构
  • 9.2. 从消元法到信息传播
  • 9.3. 树模型的和积算法
  • 9.4. 因子图的和积算法
  • 9.5. 类树结构图模型
  • 9.6. 多重树(polytrees)
  • 9.7. 总结
• 10. 最大后验估计
  • 10.1. 最大后验概率
  • 10.2. 最大化后验的状态
  • 10.3. 本章总结
• 11. 完整观测的参数学习
  • 11.1. 有向图的参数学习
  • 11.2. 无向图的参数学习
• 12. 不完整观测的学习
  • 12.1. 隐变量
  • 12.2. 期望最大化算法(EM)
• 13. 有向图结构学习
• 14. 变分推断
• 15. 马尔科夫蒙特卡洛
  • 15.1. Why sampling？
  • 15.2. 蒙特卡罗(Monte Carlo)
  • 15.3. 马尔科夫链(Markov Chain)
  • 15.4. Markov Chain Monte Carlo
  • 15.5. Mixing Time
  • 15.6. Approximate MAP and Partitioning
• 16. 贝叶斯分类器
  • 16.1. 朴素贝叶斯模型
  • 16.2. 高斯判别模型
  • 16.3. 逻辑回归
  • 16.4. 生成模型和判别模型
  • 16.5. 多分类
  • 16.6. 其它扩展
• 17. 回归模型
  • 17.1. 机器学习的概率解释
  • 17.2. 经典线性回归
  • 17.3. 线性回归的概率解释
  • 17.4. 凸函数最优化问题
  • 17.5. 岭回归
• 18. 分类模型
  • 18.1. 生成模型与判别模型
  • 18.2. 线性回归与线性分类
  • 18.3. 生成模型
  • 18.4. 判别模型
• 19. 广义线性模型
  • 19.1. 定义
  • 19.2. 参数估计
  • 19.3. goodness of fit
  • 19.4. 连续值响应模型
  • 19.5. 二项响应模型
  • 19.6. 多项响应模型
  • 19.7. 计数响应模型
  • 19.8. GLM扩展
• 20. 混合模型
  • 20.1. 一般混合模型
  • 20.2. 高斯混合模型
  • 20.3. K-means
• 21. 因子分析
• 22. 二变量模型
• 23. 主题模型
  • 23.1. PLSA
  • 23.2. LDA
• 24. 隐马尔可夫模型
  • 24.1. 隐马尔可夫模型
  • 24.2. 参考文献
• 25. 条件随机场
• 26. 卡尔曼滤波器
• 27. 项目反应理论
• 28. 贝叶斯知识追踪
• 29. 参考文献