Hexo实用主题及插件
1. 简介
Hexo 博客框架自开发到现在，已成为广大博主建站的主流。而且随着 Hexo 框架的推广，涌现出一堆实用的博客主题和插件工具。面对如此多纷繁的选择，可能大多数人在一开始就会陷入抉择困境，这里我就结合自身的使用推荐一些比较实用的主题和插件。
2. 实用主题
2.1 Next
官方源码
官方文档
2.2 Butterfly
官方源码
官方文档
2.3 Fluid
官方源码
官方文档
3. 实用插件
markdown-it：这个 MarkDown 渲染插件十分强大，而且支持扩展插件，下面是它的一些非常有用的扩展插件：
@jeff-tian/markdown-it-katex：其对 KaTeX 的适配效果最好。Butterfly 默认给出的 @neilsustc/markdown-it-katex 对非 *ed 的 KaTeX 环境支持不太好，比如 align 等。
markdown-it-footnote：在 MarkDown 页面内添加脚注。
deployer-git：这个插件用于将生成的静态网页推送到指定的远程仓库中，实乃部署博客必备。
雅可比矩阵和黑赛矩阵
1. Jacobian matrix
1.1 定义
如果函数 f:Rn→Rm
\boldsymbol{f}: \mathbb{R}^n \rightarrow \mathbb{R}^m
f:Rn→Rm 在点 x\boldsymbol{x}x 可微，则在点 x\boldsymbol{x}x 的 Jacobian 矩阵（雅可比矩阵）即为该函数在该点的最佳线性逼近，也被称为向量值多变数函数 f\boldsymbol{f}f 在点 x\boldsymbol{x}x 处的微分或导数。
J=[∂f∂x1⋯∂f∂xn]=[∂f1∂x1⋯∂f1∂xn⋮⋱⋮∂fm∂x1⋯∂fm∂xn]\begin{array}{c}
\boldsymbol{J} = \left[
\frac{\partial\boldsymbol{f}}{\partial x_1} \cdots \frac{\partial\boldsymbol{f}}{\partial x_n}
\right] = \left[
\begin{matrix}
\frac{\partial f_1}{\partial ...
均值不等式
1. 简介
均值不等式（inequality of arithmetic and geometric means，简称 AM-GM 不等式）是数学中常用的基本不等式之一。
2. 表述
2.1 算术均值
对于 nnn 个实数 x1,x2,⋯ ,xn∈Rx_1,x_2,\cdots,x_n \in \mathbb{R}x1,x2,⋯,xn∈R，它们的算术均值定义为
x1+x2+⋯+xnn\begin{array}{lll}
\frac{x_1 + x_2 + \cdots + x_n}{n}
\end{array}
nx1+x2+⋯+xn
2.2 几何均值
对于 nnn 个非负的实数 x1,x2,⋯ ,xn≥0x_1,x_2,\cdots,x_n \geq 0x1,x2,⋯,xn≥0，它们的几何均值定义为
x1x2⋯xnn\begin{array}{lll}
\sqrt[n]{x_1 x_2 \cdots x_n}
\end{array}
nx1x2⋯xn
2.3 均值不等式
对于 nnn 个非负的实数 x1,x2,⋯ ,xn≥0x_1,x_2,\cdots ...
霍夫丁引理
1. 简介
在概率论中，霍夫丁引理是一个不等式，它限制了任何有界随机变量的矩生成函数。
2. 定义
设 X\boldsymbol{X}X 是具有期望值 E(X)=ηE(\boldsymbol{X}) = \etaE(X)=η 的任一实值随机变量，使得 a≤X≤ba \leq \boldsymbol{X} \leq ba≤X≤b 依概率 111 成立，则对任意 λ∈R\lambda \in \boldsymbol{R}λ∈R，有如下不等式成立：
E(eλX)≤exp(λη+λ2(b−a)28)\begin{array}{c}
E(e^{\lambda \boldsymbol{X}}) \leq \exp{(\lambda \eta + \frac{\lambda^2(b-a)^2}{8})}
\end{array}
E(eλX)≤exp(λη+8λ2(b−a)2)
证明
不妨假设 η=0\eta = 0η=0（否则可以重新定义 X~≜X−η\tilde{\boldsymbol{X}} \triangleq \boldsymbol{X} - \etaX~≜X−η，则 X~\tild ...
霍夫丁不等式
1. 简介
在概率论中，霍夫丁不等式（Hoeffding’s Inequality）给出了有界独立随机变量之和偏离其均值超过一定数量的概率上界。霍夫不等式是切比雪夫界的推广，同时又是吾妻不等式和McDiarmid不等式（还没给出标准的中文翻译2333）。霍夫丁不等式是机器学习的基础理论。
2. 定义
假设 X1,X2,⋯ ,XN\boldsymbol{X}_1,\boldsymbol{X}_2,\cdots,\boldsymbol{X}_NX1,X2,⋯,XN 是独立随机变量，且 Xi∈[ai,bi]\boldsymbol{X}_i \in [a_i,b_i]Xi∈[ai,bi]，i=1,2,⋯ ,Ni = 1,2,\cdots,Ni=1,2,⋯,N；Xˉ\bar{\boldsymbol{X}}Xˉ 是 X1,X2,⋯ ,XN\boldsymbol{X}_1,\boldsymbol{X}_2,\cdots,\boldsymbol{X}_NX1,X2,⋯,XN 的经验均值，即 Xˉ=1N∑i=1NXi\bar{\boldsymbol{X}} = \frac{1}{N} ...
马尔可夫不等式
1. 简介
在概率论中，马尔可夫不等式（Markov’s Inequality）给出了随机变量大于等于某正数的概率上界。马尔可夫不等式把概率关联到数学期望，给出了随机变量累计分布函数一个宽泛但仍有用的上界。
2. 定义
假设 X\boldsymbol{X}X 是一个非负的随机变量，常数 a>0a \gt 0a>0，则有以下马尔可夫不等式：
P(X≥a)≤E(X)a\begin{array}{c}
P(\boldsymbol{X} \geq a) \leq \frac{E(\boldsymbol{X})}{a}
\end{array}
P(X≥a)≤aE(X)
证明
根据期望函数的定义：
E(X)=∫−∞∞xf(x)dx\begin{array}{c}
E(\boldsymbol{X}) = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x
\end{array}
E(X)=∫−∞∞xf(x)dx
由于 X\boldsymbol{X}X 是非负的随机变量，因此：
E(X)=∫−∞∞xf(x)dx=∫0∞xf(x)dx=∫0axf(x ...
泛化能力
【注】学习笔记参考自《统计学习方法第二版》——李航。
1. 简介
学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。现实中采用最多的办法是通过测试误差来评价学习方法的泛化能力，但这种评价是依赖于测试数据集的。因为测试数据集是有限的，很有可能由此得到的评价结果是不可靠的。
2. 泛化误差
假设学习到的模型为 f^\hat{f}f^，那么用这个模型对未知数据预测的误差即为泛化误差：
Rexp(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x))P(x,y)dxdy\begin{array}{c}
R_{exp}(\hat{f}) = E_P [L(Y,\hat{f}(X))] = \int_{\mathcal{X} \times \mathcal{Y}} L(y,\hat{f}(x)) P(x,y) \mathrm{d}x \mathrm{d}y
\end{array}
Rexp(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x))P(x,y)dxdy
泛化误差反映了学习方法的泛化能力。事实上，泛化误差就 ...
正则化与交叉验证
【注】学习笔记参考自《统计学习方法第二版》——李航。
1. 简介
对于一般的统计模型来说，下图描述了训练误差和测试误差与模型的复杂度之间的关系：
当模型的复杂度增大时，训练误差会逐渐减小并趋向于 000，而测试误差会先减小，达到最小值后增大；当选择的模型复杂度过大时，过拟合现象就会出现。因此，在学习时就要防止过拟合，进行最优的模型选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。常用的两种模型选择方法：正则化与交叉验证。
2. 正则化
正则化是结构风险最小化策略的实现，是在经验风险上加上一个正则化项或惩罚项。正则化项一般时模型复杂度的单调递增函数，模型越复杂，正则化值就越大。
正则化一般就有如下形式：
minf∈F1N∑i=1NL(yi,f(xi))+λJ(f)\begin{array}{c}
\mathrm{min}_{f \in \mathcal{F}} \frac{1}{N} \sum_{i=1}^N L(y_i,f(x_i)) + \lambda J(f)
\end{array}
minf∈FN1∑i=1NL(yi,f(xi))+λJ(f)
其中， ...
统计学习方法
【注】学习笔记参考自《统计学习方法第二版》——李航。
1. 简介
统计学习方法由三要素构成，即：方法=模型+策略+算法。
2. 模型
统计学习首要考虑的问题是学习什么样的模型。在监督学习中，模型就是所有要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。
假设空间用 F\mathcal{F}F 表示，可以定义为决策函数的集合：
F={f∣Y=fθ(X),θ∈Rn}\begin{array}{c}
\mathcal{F} = \{ f | Y = f_{\theta}(X), \theta \in \boldsymbol{R}^n \}
\end{array}
F={f∣Y=fθ(X),θ∈Rn}
其中，XXX 和 YYY 是定义在输入空间 X\mathcal{X}X 和输出空间 Y\mathcal{Y}Y 上的变量，F\mathcal{F}F 是由参数向量 θ\thetaθ 决定的函数族，参数向量 θ\thetaθ 取值于 nnn 维欧氏空间 Rn\boldsymbol{R}^nRn，称为参数空间。
假设空间也可以定义未条件概率的集合：
F= ...
统计学习概述
【注】学习笔记参考自《统计学习方法第二版》——李航。
1. 定义
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习也称为统计机器学习。
赫尔伯特・西蒙曾对「学习」给出以下定义：「如果一个系统能够通过执行某个过程改进它的性能，这就是学习。」
按照这一观点，统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。
2. 特点
统计学习以计算机及网络为平台，是建立在计算机及网络上的。
统计学习以数据为研究对象，是数据驱动的学科。
统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提。
统计学习的目的是对数据进行预测与分析的。
统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析。
统计学习方法从给定的、有限的、用于学习的训练数据集合出发，假定数据是独立同分布产生的，并且假定要学习的模型属于某个函数的集合（称为假设空间，简称为模型），然后应用某个评价准则（简称为策略），从假设空间中选取一个最优模型，使它对已知的训练数据及未知的测试数据在给定的评价准则下有最优的预测，最优模型 ...
Linux下各种安装包打包工具
1. Deb 包
Deb 包是 Debian 系 Linux 发行版的软件包格式。
1.1 Debreate
官网
文档
仓库
KaliLinux下安装deepinwine软件
1. 简介
Deepin 团队开发的一系列基于 deepinwine 的国产软件越来越好用，但多数 Linux 发行版并不支持直接安装，目前已知除了 Deepin 系统本身外，仅有 Arch 系的 Linux 发行版依靠 AUR 源可直接进行安装，Debian 系的其他 Linux 发行版均无法直接安装。目前有几种比较好的解决方案：星火应用商店、deepin-wine.i-m.dev。
2. 星火应用商店
星火应用商店上包含了大多数常用的 wine 版国产软件，而且对 Ubuntu 和 Debian 都有较好的支持。在 KaliLinux 上安装星火应用商店步骤如下：
在官方页面上下载星火应用商店安装包和客户端依赖包。
然后利用 sudo dpkg -i xxx.deb 进行安装即可。
打开星火应用商店，即可图形化安装里面提供的软件。
3. deepin-wine.i-m.dev
deepin-wine.i-m.dev 是 Deepin 软件商店在 Debian 和 Ubuntu 上的移植仓库，其使用方式参见仓库手册。
