机器学习练习笔记(一)

题目1.1 - 分布及期望值

第一问求参数c的值。根据概率论的定义，应该要有，进一步求解：

可以求得，即密度分布函数:

第二问求的均值，根据定义，。

在笔者整理的数学方法技巧整理中提及了如何对复合函数进行积分：

于是有。

这题最后求的方差，根据定义，，对于连续型分布来说，。

上一题已经得出了，现在是求即可。

故。

题目1.2 - 边缘分布

已知, 求边缘密度函数。

随机变量X边缘密度函数：

同理可得Y的边缘密度函数：

第二问两个变量的相关性。

其中：

首先通过定义以及X与Y各自的边缘分布函数求得，。

而：

求得。同时根据题1.1的方差定义式，各自求得 。

故。

题目1.3 - 泰勒展开

第三题是求在的三级泰勒展开。

首先：

故得到：

题目1.4 - 矩阵的行列式及迹

令矩阵。

求三阶矩阵的行列式有公式，加上运算量大，笔者直接用R计算了得到:

迹就简单了，根据定义式 甚至手算一下：

因为太简单了，R甚至不提供这个函数，可以使用：

sum(diag(A))

题目1.5 - 驻点

有如下两个二元函数：

其中c是实数常数，证明是两个函数的驻点。

首先求函数的一阶导数:

令：

都解得，即为两个函数的一个驻点。

接下来是通过Hessian矩阵判断是这两个函数的极值点。

首先求得两个函数的二阶导：

显然是正定矩阵，故是f(x,y)的极小值点。

而顺序主子式，，为不定矩阵，无法判断极值情况。

题目1.6 - 贝叶斯法则

首先先要知道公式。

简要介绍问题：假设有的人口患某种病，表示此人患某病，而表示此人健康，某检测方法测试结果表示阳性，表示阴性。病患被检测出阳性的概率是，健康阴性结果的概率是。

第一问求。

第二问求。

首先提取第一句以及后面两句话的信息：

进而推出：

根据贝叶斯定理有：

同理第二问：