前言本文陈述脉络：理论结合kaggle上一个具体的比赛。 正文数据科学的一般流程 指南 特征工程 评价指标 XGBoost参数调优 XGBoost并行处理 特征工程结合以下案例分析： Two Sigma Connect: Rental Listing Inquiries 任务：根据公寓的listing 内容，预测纽约市某公寓租赁listing的受欢迎程度标签： interest_level，该 ...

前言笔记源自：清华大学公开课：线性代数2——第三讲：奇异值分解，本文将每一步推导都详细列出来了。 清华大学线性代数2公开课笔记总结 第1讲：正定矩阵第2讲：相似矩阵第3讲：奇异值分解第4讲：线性变换1第5讲：线性变换2第6讲：伪逆第7讲：工程中的矩阵第8讲：图与网络第9讲：Markov矩阵和正矩阵第10讲：Fourier级数第11讲：计算机图像第12讲：复数与复矩阵 正文对角矩阵是我们最喜欢的一类 ...

即使学了很久，很多人都没弄清楚极大化似然估计与贝叶斯估计区别，本文将简要概述一下区别，如果要详细搞清楚，建议食用MIT概率论教材《Introduction to probability》的第8, 9两章，本文只是简单总结和《统计学习方法》第4章——朴素贝叶斯方法中的例子。 正文下图摘录自教材《Introduction to probability》的第8章 参考 http://www.cn ...

前言写本文章主要目的是复习（毕竟之前看纸质版做的笔记）， 对于证明比较跳跃和勘误的地方我都做了注解，以便初学者和以后复习地时候快速阅读理解不会卡住。 朴素贝叶斯法 4.1 朴素贝叶斯法的学习与分类4.1.1 基本方法 4.1.2 后验概率最大化的含义 4.2 朴素贝叶斯法的参数估计4.2.1 极大似然估计 4.2.2 学习与分类算法 例子 4.2.3 贝叶斯估计 本章概要 习题

前言在深度学习火起来之前，提升方法（包括AdaBoost, GBDT, XGBoost）是 kaggle 等比赛中的利器，所以提升方法 （boosting） 是必备的知识点。李航《统计学习方法》第8章——提升方法主要内容：AdaBoost, Boosting Tree, GBDT(这一块原文不够详细，将补充一些)。写本文主要目的是复习（毕竟之前看纸质版做的笔记）， 对于证明比较跳跃和勘误的地方我都 ...

前言EM（期望最大）算法有很多的应用，最广泛的就是混合高斯模型、聚类、HMM等等，本质上就是一种优化算法，不断迭代，获得优值，与梯度下降、牛顿法、共轭梯度法都起到同一类的作用。 本文是对李航《统计学习方法》的第9章复习总结，主要内容如下 EM（期望最大）算法证明有跳跃性的地方全部事无巨细地写出来， 在 三硬币例子解析 这一节将会把这个例子跟公式一一对应起来 GMM（高斯混合模型）迭代公式证明 ...