PR曲线、LDA、决策树实例分析

1. 请阐述监督学习，半监督学习，无监督学习和弱监督学习区别

• 监督学习：
  给定数据，预测标签。通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函数，将输入映射到合适的输出，例如分类。
• 半监督学习：
  但是使用的数据，一部分是标记过的，而大部分是没有标记的。综合利用有类标的和没有类标的数据，来生成合适的分类函数。和监督学习相比较，半监督学习的成本较低，但是又能达到较高的准确度。
• 无监督学习：
  只有特征，没有标签。给定输入数据，寻找隐藏的关系。如在只有特征，没有标签的训练数据集中，通过数据之间的内在联系和相似性将他们分成若干类。
• 弱监督学习：
  弱监督学习主要可以分为三类：不完全监督，即只有一部分样本有标签；不确切监督，即训练样本只有粗粒度的标签；不准确监督，即给定的标签不一定总是真值。

2. 请画出以下两个分类器分类 PR 曲线

• 对分类器1按(P(+/X))从大到小排序：

	+	+	+	+	-	+	-	-
P	1/1	2/2	3/3	4/4	4/5	5/6	5/7	5/8
R	1/5	2/5	3/5	4/5	4/5	5/5	5/5	5/5

• 对分类器2按(P(+/X))从大到小排序(r若相等则按原顺序)：

	+	+	-	+	+	-	-	+
P	1/1	2/2	2/3	3/4	4/5	4/6	4/7	5/8
R	1/5	2/5	2/5	3/5	4/5	4/5	4/5	5/5

PR曲线如下：

代码如下：

from fractions import Fraction
from matplotlib import pyplot as plt

tag = ['+', '-', '-', '+', '+', '-', '+', '+']
array1 = [0.4, 0.3, 0.5, 0.8, 0.6, 0.3, 0.9, 0.8]
array2 = [0.8, 0.2, 0.2, 0.6, 0.3, 0.4, 0.1, 0.4]
classer1 = list(zip(tag, array1))
classer2 = list(zip(tag, array2))
classer1.sort(key = lambda x: -x[1])
classer2.sort(key = lambda x: -x[1])
print(classer1)
print(classer2)
total_1 = tag.count('+')
p1 = []
r1 = []
now_1 = 0
for i, item in enumerate(classer1):
	if item[0] == '+':
		now_1 += 1
	p1.append(now_1 / (i+1))
	r1.append(now_1 / total_1)

p2 = []
r2 = []
now_1 = 0
for i, item in enumerate(classer2):
	if item[0] == '+':
		now_1 += 1
	p2.append(now_1 / (i+1))
	r2.append(now_1 / total_1)


plt.title('PR curves')
plt.xlabel('R')
plt.ylabel('P')
plt.plot(r1, p1, color = 'r', label = 'classer1')
plt.plot(r2, p2, color = 'b', label = 'classer2')
plt.legend()
plt.show()

3. 请用表 2 中数据集，计算 LDA 最大化目标

[egin{gathered} X = quad egin{bmatrix} 2 & 0.5 & 1\ -1.5 & -2.5 & -1 end{bmatrix} quad X0 = quad egin{bmatrix} 0.5 & 1 \ -2.5 &-1 end{bmatrix} quad X1 = quad egin{bmatrix} 2 \ -1.5 end{bmatrix} quad end{gathered} ]

[u0 = quad egin{bmatrix} 0.75 \ -1.75 end{bmatrix} quad u1 = quad egin{bmatrix} 2 \ -1.5 end{bmatrix} quad ]

[S_w = sum_{0} + sum_{1} ]

[S_w = sum_{xin X0}(x-u0)(x-u0)^T+ sum_{xin X1}(x-u1)(x-u1)^T ]

[egin{gathered} S_w = quad egin{bmatrix} -0.25 \ -0.75 end{bmatrix} quad quad egin{bmatrix} -0.25 & -0.75 end{bmatrix} quad + quad egin{bmatrix} 0.25 \ 0.75 end{bmatrix} quad quad egin{bmatrix} 0.25 & 0.75 end{bmatrix} quad +0 = quad egin{bmatrix} frac{1}{8} & frac{3}{8} \ frac{3}{8} & frac{9}{8} end{bmatrix} quad end{gathered} ]

[S_b =(u0-u1)(u0-u1)^T ]

[egin{gathered} S_b = quad egin{bmatrix} -1.25 \ -0.25 end{bmatrix} quad quad egin{bmatrix} -1.25 & -0.25 end{bmatrix} quad = quad egin{bmatrix} frac{25}{16} & frac{5}{16} \ frac{5}{16} & frac{1}{16} end{bmatrix} quad end{gathered} ]

[egin{gathered} w = S_w^{-1}(u0-u1)= quad egin{bmatrix} -0.16 \ -0.48 end{bmatrix} quad end{gathered} ]

[J = frac{W^TS_bW}{W^TS_wW} = 0.32 ]

代码：

import numpy as np
from matplotlib import pyplot as plt

x = np.array([[2, 0.5, 1],[-1.5, -2.5, -1]])
y = np.array([1, 0, 0]).reshape(1, 3)
tag0 = y.repeat(repeats = x.shape[0], axis = 0) == 0
x0 = x[tag0].reshape(tag0.shape[0], np.sum(tag0[0]))
tag1 = y.repeat(repeats = x.shape[0], axis = 0) == 1
x1 = x[tag1].reshape(tag1.shape[0], np.sum(tag1[0]))
u0 = np.mean(x0, axis = 1).reshape(x0.shape[0], 1)
u1 = np.mean(x1, axis = 1).reshape(x0.shape[0], 1)
sigma0 = np.zeros((x0.shape[0], x0.shape[0]))
# print(x0, '
', x1, '
', u0, '
', u1, '
', sigma0)
for i in np.arange(x0.shape[1]):
	x_t = x0[:, i].reshape(x0.shape[0], 1) - u0
	print(x_t)
	sigma0 += np.dot(x_t, x_t.T) 
print(sigma0)

sigma1 = np.zeros((x1.shape[0], x1.shape[0]))
for i in np.arange(x1.shape[1]):
	x_t = x1[:, i].reshape(x1.shape[0], 1) - u1
	print(x_t)
	sigma1 += np.dot(x_t, x_t.T)
print(sigma1)

sw = sigma0 + sigma1
sw_inv = np.linalg.pinv(sw)
sb = np.dot(u0-u1, (u0-u1).T)

w = sw_inv.dot(u0-u1)
j = w.T.dot(sb).dot(w) / w.T.dot(sw).dot(w)
print(w, '
', sw, '
', sb, '
', j)
print(w.T.dot(x))

plt.xlabel('X1')
plt.ylabel('X2')
x01 = x0[0, :]
x02 = x0[1, :]
plt.scatter(x01, x02, color = 'r', marker = 'o', label = '+')
#plt.plot(x01, x02, 'or')
x11 = x1[0, :]
x12 = x1[1, :]
plt.scatter(x11, x12, color = 'b', marker = '*', label = '-')
# plt.plot(x11, x12, '+b')
plt.legend()
plt.show()

4. 请用表 3 中数据集，利用信息增益生成决策树，并写出计算过程。假设属性使用年限阈值设置为 5。

(Ent(D)=-frac{5}{8}log_2frac{5}{8}--frac{3}{8}log_2frac{3}{8}=0.9544)
若按发动机状态划分：
(Ent(D^{良好})=-frac{3}{4}log_2frac{3}{4}--frac{1}{4}log_2frac{1}{4}=0.8113)
(Ent(D^{正常})=-frac{2}{4}log_2frac{2}{4}--frac{2}{4}log_2frac{2}{4}=1)
(Gain(D, 发动机) = Ent(D) - Ent(D^{良好})- Ent(D^{正常}) = 0.0488)
若按使用年限划分：
(Ent(D^{geq5})=-frac{3}{3}log_{2}frac{3}{3}--0log_{2}0=0)
(Ent(D^{ geq5})=-frac{3}{5}log_{2}frac{3}{5}--frac{2}{5}log_{2}frac{2}{5}=0.9710)
(Gain(D, 使用年限) = Ent(D) - Ent(D^{geq5})- Ent(D^{ geq5}) = 0.3475)
(Gain(D,使用年限)>Gain(D,发动机))
则首先按使用年限作为划分结点，可得如下决策树：

或