逻辑回归原理怎么理解?

回答与解析

模型与概率

二分类逻辑回归先计算线性分数 z=w^T x+b，再通过sigmoid得到 p(y=1|x)=1/(1+exp(-z))。等价地：

log(p/(1-p)) = w^T x+b

因此线性的是对数几率，不是概率本身。特征增加一个单位时，其他特征不变，log-odds增加对应系数；odds乘以exp(w_j)。概率变化量还取决于当前p，不能解释成固定增加若干百分点。

训练与边界

通常用Bernoulli负对数似然，也就是二元交叉熵估计参数，并可加入L1或L2正则。以0.5为阈值时，决策边界是w^T x+b=0；换阈值只会平移等概率面。逻辑回归不要求训练样本线性可分，它只假设log-odds对特征为线性形式。若样本完全可分且没有正则，有限的最大似然解可能不存在，系数幅值会趋向无穷。

多分类可使用one-vs-rest或softmax回归。评估时除了准确率，还应按业务代价选择阈值并检查校准、PR-AUC及特征共线性。

口语版讲法(约4分钟)

• 从线性分数和sigmoid开始
• 用log-odds解释系数
• 说明交叉熵与正则
• 区分线性边界和线性可分
• 补充阈值与校准

逻辑回归虽然名字里有回归，但它常用于分类。二分类时，模型先对特征做线性组合，得到z等于w转置乘x加b，再把z送进sigmoid，输出零到一之间的概率。概率大于某个阈值时预测正类，但阈值不一定必须是零点五，要根据误报和漏报成本选择。

最容易误解的是线性关系到底在哪里。逻辑回归不是说概率随着特征线性变化，而是说正类概率的对数几率，也就是log p除以一减p，与特征呈线性关系。其他特征不变时，某个特征增加一个单位，对数几率增加对应系数，几率乘以系数指数。至于概率具体增加多少，还取决于当前概率处在sigmoid的哪个位置，因此不能把一个系数解释为概率固定增加几个百分点。

训练通常采用最大似然，等价于最小化二元交叉熵。实际工程会加入L2或L1正则，分别控制系数规模或促进稀疏。特征量纲差异很大时常先标准化，否则正则的含义会受尺度影响；类别极不平衡时，还要结合类别权重、重采样和阈值调整，而不是只看默认准确率。

决策边界来自等概率面。以零点五为阈值时，sigmoid输入为零，所以边界是w转置x加b等于零，是特征空间中的线性超平面。但“边界线性”不等于“训练样本必须线性可分”。数据有重叠时，逻辑回归仍能输出条件概率并找到最大似然参数。相反，如果样本完全可分而且没有正则，继续增大系数就能把似然推向极限，有限的最大似然解可能不存在，这时会看到系数发散或数值不稳定。

多分类可以做one-vs-rest，也可以用softmax回归共同建模各类概率。上线时我会看对数损失、校准曲线、PR-AUC、混淆矩阵和目标阈值下的成本，并检查共线性、数据漂移和缺失值处理。这样既说明了概率模型，也解释了它在什么条件下会失效。

若真实关系明显非线性，可以人工加入交互项、分箱或多项式特征，但此时边界在原始特征空间未必仍是简单直线。系数解释也只描述条件关联，不自动代表因果效应；遗漏变量、选择偏差和强共线性都可能让符号或幅度不稳定。

若输出要作为风险分数，还应在时间外测试集检查校准，并根据新数据定期重估。排序能力好不代表概率可信，阈值也不能在测试集反复调整后再宣称泛化。

关键一句:为什么完全可分的数据反而可能让无正则逻辑回归的系数发散。

核验来源

1. scikit-learn User Guide: Logistic Regression
2. statsmodels Discrete Choice Models Documentation

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你要做一个电商订单的欺诈检测模型，输入是用户的各种特征，比如登录设备、下单时间、历史行为等，输出是这笔订单是欺诈的概率。你打算怎么设计这个模型？从原理上讲，它怎么把特征映射到概率的？

2. 问法 2 · 层层追问

   二分类问题最简单的方法是什么？……线性回归直接输出连续值，但我们需要概率，怎么办？……那sigmoid函数具体是怎么把线性输出变成概率的？……决策边界又是什么，怎么确定？

3. 问法 3 · 直球架构

   请简述逻辑回归的基本原理，包括它的模型结构、如何预测概率，以及决策边界的作用。重点说清楚sigmoid和线性部分的关系。