python 实现逻辑回归
(编辑：jimmy 日期: 2024/11/11 浏览：2)
逻辑回归
适用类型：解决二分类问题
逻辑回归的出现：线性回归可以预测连续值，但是不能解决分类问题，我们需要根据预测的结果判定其属于正类还是负类。所以逻辑回归就是将线性回归的结果，通过Sigmoid函数映射到（0，1）之间
线性回归的决策函数：数据与θ的乘法，数据的矩阵格式(样本数×列数)，θ的矩阵格式(列数×1)
将其通过Sigmoid函数，获得逻辑回归的决策函数
使用Sigmoid函数的原因：
可以对(-∞, +∞)的结果，映射到(0, 1)之间作为概率
可以将1/2作为决策边界
数学特性好，求导容易
逻辑回归的损失函数
线性回归的损失函数维平方损失函数，如果将其用于逻辑回归的损失函数，则其数学特性不好，有很多局部极小值，难以用梯度下降法求解最优
这里使用对数损失函数
解释：如果一个样本为正样本，那么我们希望将其预测为正样本的概率p越大越好，也就是决策函数的值越大越好，则logp越大越好，逻辑回归的决策函数值就是样本为正的概率；如果一个样本为负样本，那么我们希望将其预测为负样本的概率越大越好，也就是（1-p）越大越好，即log(1-p)越大越好
为什么使用对数函数：样本集中有很多样本，要求其概率连乘，概率为0-1之间的数，连乘越来越小，利用log变换将其变为连加，不会溢出，不会超出计算精度
损失函数:： y(1->m)表示Sigmoid值(样本数×1)，hθx(1->m)表示决策函数值(样本数×1)，所以中括号的值(1×1)
二分类逻辑回归直线编码实现
import numpy as np
from matplotlib import pyplot as plt
"font.sans-serif"] = ["SimHei"]
# 包含数据和标签的数据集
self.data = np.loadtxt("./data2.txt", delimiter=",")
self.data_mat = self.data[:, 0:2]
self.label_mat = self.data[:, 2]
self.thetas = np.zeros((self.data_mat.shape[1]))
"""
损失函数具体实现
:param theta: 逻辑回归系数
:param data_mat: 带有截距项的数据集
:param label_mat: 标签数据集
:param reg:
:return:
"""
m = self.label_mat.size
label_mat = self.label_mat.reshape(-1, 1)
h = self.sigmoid(self.p_data_mat.dot(theta))
"""
逻辑回归梯度下降收敛函数
:param alpha: 学习率
:param reg:
:param iterations: 最大迭代次数
:return: 逻辑回归系数组
"""
m, n = self.p_data_mat.shape
theta = np.zeros((n, 1))
theta_set = []
"negative", pos_text="positive", thetas=None):
neg = self.label_mat == 0
pos = self.label_mat == 1
fig1 = plt.figure(figsize=(12, 8))
ax1 = fig1.add_subplot(111)
ax1.scatter(self.p_data_mat[neg][:, 1], self.p_data_mat[neg][:, 2], marker="o", s=100, label=neg_text)
ax1.scatter(self.p_data_mat[pos][:, 1], self.p_data_mat[pos][:, 2], marker="+", s=100, label=pos_text)
ax1.set_xlabel(x_label, fontsize=14)
"线性不可分数据集")
"$\\lambda$ = {}".format(0))
"$\\lambda$ = {}".format(0))
二分类问题逻辑回归曲线编码实现
import numpy as np
from matplotlib import pyplot as plt
"font.sans-serif"] = ["SimHei"]
# 包含数据和标签的数据集
self.data = np.loadtxt("./data2.txt", delimiter=",")
self.data_mat = self.data[:, 0:2]
self.label_mat = self.data[:, 2]
self.thetas = np.zeros((self.data_mat.shape[1]))
"""
损失函数具体实现
:param theta: 逻辑回归系数
:param data_mat: 带有截距项的数据集
:param label_mat: 标签数据集
:param reg:
:return:
"""
m = self.label_mat.size
label_mat = self.label_mat.reshape(-1, 1)
h = self.sigmoid(self.p_data_mat.dot(theta))
"""
逻辑回归梯度下降收敛函数
:param alpha: 学习率
:param reg:
:param iterations: 最大迭代次数
:return: 逻辑回归系数组
"""
m, n = self.p_data_mat.shape
theta = np.zeros((n, 1))
theta_set = []
"negative", pos_text="positive", thetas=None):
neg = self.label_mat == 0
pos = self.label_mat == 1
fig1 = plt.figure(figsize=(12, 8))
ax1 = fig1.add_subplot(111)
ax1.scatter(self.p_data_mat[neg][:, 1], self.p_data_mat[neg][:, 2], marker="o", s=100, label=neg_text)
ax1.scatter(self.p_data_mat[pos][:, 1], self.p_data_mat[pos][:, 2], marker="+", s=100, label=pos_text)
ax1.set_xlabel(x_label, fontsize=14)
"线性不可分数据集")
"$\\lambda$ = {}".format(0))
"$\\lambda$ = {}".format(0))
以上就是python 实现逻辑回归的详细内容，更多关于python 实现逻辑回归的资料请关注其它相关文章！