这节课我们将使用 numpy 实现
逻辑回归算法
,然后利用我们自己写的算法在乳腺癌数据集上进行癌症诊断!有了上一章线性回归的代码基础,这一章的算法实现也就非常简单了,下面我们先来回顾一下上节课所学的几个关键公式。
原理回顾
预测函数
在上节课中我们推导出了单个样本上逻辑回归的预测函数:
由此我们可以写出批量样本上的预测函数表达式:
有没有似曾相识的感觉呢?其实就是在第三章线性回归的预测函数上套了一个 Sigmoid 函数,我们将其写成如下的矩阵乘法形式:
代价函数
代价函数在这里指的就是经验风险:模型在训练集上的平均损失
。上节课我们说过二项逻辑回归的损失函数是对数损失,它在整个训练集上的对数损失为: