菜鸟笔记
提升您的技术认知

k-ag真人游戏

        在机器学习中,我们训练数据集去训练一个model(模型),通常的做法是定义一个loss function(损失函数),通过这个最小化loss的过程来提高模型的性能。然而我们学习模型的目的是为了解决实际问题(或者说是训练这个数据集领域中的一般化问题),单纯的将训练数据集的loss最小化,并不能保证在解决更一般的问题时模型仍然是最优,甚至不能保证模型是可用的。这个训练数据集的loss与一般化的数据集的loss之间的差异就叫做generalization error=bias variance。注意:bias和variance是针对generalization(一般化,泛化)来说的。

一、bias

       我们先来看个栗子(参考程序员在深圳的博主的博客),假设实验室收集了老鼠的体重和大小的数据,我们可以建立一个模型,通过输入老鼠的大小来预测老鼠的体重,部分数据的散点图如下。在训练之前,我们还是将数据拆分为两部分,红色的点为训练集,绿色的点表示测试集:

       接下来我们用两个模型来拟合数据(可以使用最小二乘法来拟合),第一个模型如下图所示:

模型一

       可以看到线性模型不能很好的拟合描绘真实数据,我们一般使用 mse (mean squared error) 来量化这种拟合能力,即预测值和实际值之间的差值的平方的均值。

       第二个模型如下图 所示 :

模型二

       第二个模型完全与数据贴合 ,即用该模型训练数据时,获得的预测值与真实值相等。至此给出bias的定义就不难理解了:

  bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,即算法本身的拟合能力。

       从上面的例子可以看出,模型一的bias远大于模型二的bias

二、variance       

       训练完模型后,我们还需要使用测试集对模型进行评估,下图是模型一的评估结果,我们用蓝色虚线来表示测试结果中,预测值和实际情况的差异:

模型一

        同样,模型二的评估结果如下:

模型二

        通过模型一和模型二可以看出,模型一的预测效果却远远好于模型二的,这说明模型二的预测能力并不稳定,即模型二的variance大于模型一的variance,下面给出variance的定义:

  variance反映的是模型每一次输出结果与模型输出期望之间的误差,即模型的稳定性。反应预测的波动情况。

三、bias&variance 

       举个简单的例子(开枪问题)来理解bias和variance

  想象你开着一架黑鹰直升机,得到命令攻击地面上一只敌军部队,于是你连打数十梭子,结果有一下几种情况:

 1.子弹基本上都打在队伍经过的一棵树上了,连在那棵树旁边等兔子的人都毫发无损,这就是方差小(子弹打得很集中),偏差大(跟目的相距甚远)。

 2.子弹打在了树上,石头上,树旁边等兔子的人身上,花花草草也都中弹,但是敌军安然无恙,这就是方差大(子弹到处都是),偏差大(同1)。

 3.子弹打死了一部分敌军,但是也打偏了些打到花花草草了,这就是方差大(子弹不集中),偏差小(已经在目标周围了)。 

4.子弹一颗没浪费,每一颗都打死一个敌军,跟抗战剧里的八路军一样,这就是方差小(子弹全部都集中在一个位置),偏差小(子弹集中的位置正是它应该射向的位置)。

        直观解释如下图所示 :

      

        上图可以对照开枪问题来理解,我们可以看到,low variance的这一列数据的集中,稳定性很好,方差很小 ;而high variance这一列的数据比较分散,说明稳定性不好,也就是方差很大。对于low bias这一行,数据大都聚集在中心红点,说明偏差比较小;而对于high bias这一行,数据与中心红点有一定的偏离,说明偏差比较大。图的右上角代表了过拟合。

四、交叉验证的产生

      人们发现用同一数据集,既进行训练,又进行模型误差估计,对误差估计的很不准确,这就是所说的模型误差估计的乐观性。为了克服这个问题,提出了交叉验证。基本思想是将数据分为两部分,一部分数据用来模型的训练,称为训练集;另外一部分用于测试模型的误差,称为验证集。由于两部分数据不同,估计得到的泛化误差更接近真实的模型表现。数据量足够的情况下,可以很好的估计真实的泛化误差。但是实际中,往往只有有限的数据可用,需要对数据进行重用,从而对数据进行多次切分,得到好的估计。(参考听风1996 简书)

五、k-交叉验证的原理 

 k-交叉验证是指将原始数据分成k组(一般是均分),将每个子集数据分别做一次验证集,其余的k-1组子集数据作为训练集,这样会得到k个模型,用这k个模型最终的验证集的分类准确率的平均数作为此k-cv下分类器的性能指标。k一般大于等于2,实际操作时一般从3开始取,只有在原始数据集合数据量小的时候才会尝试取2.。而k-cv 的实验共需要建立 k 个models,并计算 k 次 test sets 的平均辨识率。在实作上,k 要够大才能使各回合中的 训练样本数够多,一般而言 k=10 (作为一个经验参数)算是相当足够了。

举个栗子:假设将数据集d分为k个包(这里k = 6),每次将其中一个包作为验证集,其他k-1个包作为训练集

六、 bias、variance和k-交叉验证关系

   k-交叉验证常用来确定不同类型的模型哪一种更好,为了减少数据划分对模型产生的影响 ,最终选取的模型类型是通过k次建模的误差平均值最小的模型。当k较大时,经过更多次数的平均可以学习得到更符合真实数据分布的模型,bias就小了,但是这样一来模型就更加拟合训练数据集,再去测试集上预测的时候预测误差的期望值就变大了,从而variance就大了;反之,k较小时模型不会过度拟合训练数据,从而bias较大,但是正因为没有过度拟合训练数据,variance也较小。(参考听风1996 简书)

七、k-交叉验证简单代码实现 

       假设有数据 x = ([1,2], [3,4], [1,3], [3,5]),y = ([1, 2, 3, 4]),这里使用的是从sklearn库中引入的kfold

##一个简单的4折交叉验证
from sklearn.model_selection import kfold
import numpy as np
import matplotlib.pyplot as plt
x = np.array([[1,2], [3,4], [1,3], [3,5]])
y = np.array([1, 2, 3, 4])
kf = kfold(n_splits = 4)  #建立4折交叉验证方法 查一下kfold函数的参数
for train_index, test_index in kf.split(x):
    print("train", train_index, "test", test_index)
    x_train, x_test = x[train_index], y[test_index]
    y_train, y_test = y[train_index], y[test_index]
    print("对于数据x训练数据:", x_train)
    print("对于数据x测试数据:", x_test)
    print("对于数据y训练数据:", y_train)
    print("对于数据y测试数据:", y_test)

      输出结果:

train [1 2 3] test [0]
对于数据x训练数据: [[3 4]
 [1 3]
 [3 5]]
对于数据x测试数据: [1]
对于数据y训练数据: [2 3 4]
对于数据y测试数据: [1]
train [0 2 3] test [1]
对于数据x训练数据: [[1 2]
 [1 3]
 [3 5]]
对于数据x测试数据: [2]
对于数据y训练数据: [1 3 4]
对于数据y测试数据: [2]
train [0 1 3] test [2]
对于数据x训练数据: [[1 2]
 [3 4]
 [3 5]]
对于数据x测试数据: [3]
对于数据y训练数据: [1 2 4]
对于数据y测试数据: [3]
train [0 1 2] test [3]
对于数据x训练数据: [[1 2]
 [3 4]
 [1 3]]
对于数据x测试数据: [4]
对于数据y训练数据: [1 2 3]
对于数据y测试数据: [4]

八、代码解释

   1、kfold(n_splits = 4)            2、kf.split(x)

       n_splits:表示划分几等份

       shuffle:在每次划分时,是否进行洗牌,①若为falses时,其效果等同于random_state等于整数,每次划分的结果相同,②若为true时,每次划分的结果都不一样,表示经过洗牌,随机取样的

       random_state:随机种子数

       split():将数据集划分成训练集和测试集,返回索引生成器

from sklearn.model_selection import kfold
 
kf = kfold(n_splits=5, random_state=43, shuffle=true)
a=[[1,2],[3,4],[5,6],[7,8],[9,10]]
b=[1,2,3,4,5]
for i,j in kf.split(a,b):
    print(i,j)
[0 1 2 4] [3]
[0 1 3 4] [2]
[0 2 3 4] [1]
[1 2 3 4] [0]
[0 1 2 3] [4]

  以上是对k-交叉验证的总结,如果有什么理解不到位的地方还请指点改正。

网站地图