机器学习：基础算法（五）—— DT
决策树（decision tree）是一种基本的分类和回归方法。决策树模型是一个树状结构（二叉树或非二叉树），每个内部节点表示在某个特征上的测试，根据测试结果将样本划分到不同子节点，样本最终会落在某个叶子节点中，每个叶子节点的输出值代表了该样本的类别或值。一般通过模型叶子节点中样本集的加权经验熵（分
...
机器学习：基础算法（六）—— LR
逻辑回归（Logistic Regression, LR）是统计学习中经典的分类方法，被广泛应用于计算广告学、社会学、生物统计学、临床、数量心理学、计量经济学、市场营销等众多领域。逻辑回归模型是在线性模型的基础上加上sigmoid激活函数的广义线性模型，它以对数似然（等价于交叉熵）为
...
机器学习：基础算法（七）—— SVM
支持向量机（support vector machines,SVM）是一种二分类模型，其模型为分离超平面 $wx+b=0$ 及决策函数 $f(x)=sign(wx+b)$，其学习策略为间隔最大化，其学习算法为凸二次规划。
在二分类问题上，SVM 包含以下几种由简到繁的模型：
线性可
...
机器学习：基础算法（八）—— PCA
主成分分析（principal components analysis，PCA）是一种常用的降维方法，它将原始高维特征空间中的样本通过线性变换“投影”到低维特征空间，每个新的特征都是原始特征的线性组合且相互独立。
求解投影矩阵：
数据样本中心化$\sum_{i=1}^{n} x_i
...
机器学习：基础算法（九）—— EM
EM(expectation maximization)算法是一种迭代算法，用于含隐变量的概率模型参数的极大似然估计或极大后验概率估计。
EM算法的推导考虑一个概率模型，将所有观测变量记做X，将所有隐变量记做Z，完全变量的联合概率分布$p(X,Z\mid\theta)$由一组参数控制，记做$\the
...
机器学习：基础算法（十）—— GMM
混合模型通过将基本的概率分布进行线性组合所得到的概率模型称为混合模型(mixture distributions)。混合模型可以用观测数据的边缘概率来描述：
p(x)=\sum_{k=1}^{K}p(z_k=1)p(x\mid z_k=1)
$p(z_k=1)$：z为K维的二值随机变量，采用“1-
...
机器学习：基础算法（十一）—— 聚类
无监督学习的目标是通过对无标记训练样本的学习来揭示数据的内在规律，应用最广的是聚类(clustering)。聚类的目标是将数据集划分为若干互不相交的子集，每个子集称为“簇”，每个簇对应于一些潜在的“类别”，这些类别事先未知，需要由使用者把握和命名。
聚类既能作为一个单独的过程，也可以作为其他学校任务
...
python-赋值-浅拷贝-深拷贝图例
发表于
|
更新于:
|
阅读次数:
字数统计:
2.1k
|
阅读时长 ≈
9
1import objgraph
Python的对象模型Python中一切都是对象，而变量则是对对象的引用：
对象：分配的一块内存，有足够空间去表示他们所代表的值；
变量：是命名空间（字典）中的key，指向它所引用的对象；
引用：变量到对象的连接，以指针的形式实现；
关于变量-对象-引用之间的
...
数据结构与算法：动态规划
理论篇动态规划问题满足以下两个条件的问题被称为动态规划问题：
具有最优子结构：问题的（最优）解可以由子问题的（最优）解推导出来，本质仍是递归。为了避免概念复杂化，我仍然使用”递推“概念的代替”最优子结构“或”状态转移方程“的概念；
具有重叠子问题：不同子问题包含了重复的子子问题；
以最简单的0-
...