岭回归（Ridge Regression），也称为Tikhonov正则化，是一种用于处理多重共线性问题的线性回归技术。岭回归通过在损失函数中加入一个L2正则化项来防止过拟合，从而提高模型的泛化能力。

其核心思想是引入一个惩罚项，使得回归系数不至于过大，从而缓解多重共线性带来的不稳定性。

岭回归的目标函数如下：

\[ \min_{w} \left\{ \sum_{i=1}^{n} (y_i - \sum_{j=1}^{p} x_{ij} w_j)^2 + \lambda \sum_{j=1}^{p} w_j^2 \right\} \]

其中：

  • $ n $ 是样本数量。

  • $ p $ 是特征数量。

  • $ y_i $ 是第 $ i $ 个样本的真实值。

  • $ x_{ij} $ 是第 $ i $ 个样本的第 $ j $ 个特征值。

  • $ w_j $ 是第 $ j $ 个特征的回归系数。

  • $ $ 是正则化参数，控制惩罚项的权重。

岭回归的优点：

  1. 处理多重共线性：岭回归通过正则化减少了特征之间的共线性问题，使得回归系数更加稳定。

  2. 防止过拟合：引入的L2正则化项可以避免模型过拟合，提高模型在测试集上的表现。

  3. 数值稳定性：正则化项可以改善矩阵的条件数，从而提高计算的数值稳定性。

岭回归的缺点：

  1. 偏差引入：正则化项会引入一定的偏差，导致模型的准确度有所下降。

  2. 参数选择：需要选择合适的正则化参数 $ $ ，这通常需要交叉验证来确定。

实际应用：

在实际应用中，岭回归广泛用于高维数据集的线性回归问题中，特别是当特征数量多于样本数量或存在多重共线性时，岭回归是一种有效的回归方法。

在Python中，可以使用scikit-learn库中的Ridge类来实现岭回归。

1
2
3
4
from sklearn.linear_model import Ridge
ridge_reg = Ridge(alpha=1.0)  # 其中 alpha 参数就是正则化参数 λ
ridge_reg.fit(X_train, y_train)
y_pred = ridge_reg.predict(X_test)

通过适当调整正则化参数 $ $ ，可以找到一个平衡点，在防止过拟合的同时保证模型的准确性。

选择合适的正则化参数

常用的方法有以下几种：

1. 交叉验证（Cross-Validation）

交叉验证是一种常用的方法，通过在训练集上进行多次训练和验证，选择能够使验证误差最小的 $ $ 值。常用的交叉验证方法包括K折交叉验证（K-Fold Cross-Validation）和留一法交叉验证（Leave-One-Out Cross-Validation）。

K折交叉验证步骤：

  1. 将训练数据集分成K个不重叠的子集（折）。
  2. 依次用K-1个子集进行训练，用剩下的一个子集进行验证，计算验证误差。
  3. 对每个 $ $ 值重复上述过程，计算所有K次验证误差的平均值。
  4. 选择验证误差最小的 $ $ 值作为最佳参数。

在scikit-learn中，可以使用RidgeCV类来自动进行交叉验证：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from sklearn.linear_model import RidgeCV

# 定义候选的λ值列表
alphas = [0.1, 1.0, 10.0, 100.0]

# 使用K折交叉验证选择最优的λ值
ridge_cv = RidgeCV(alphas=alphas, cv=5)  # 这里的cv=5表示使用5折交叉验证
ridge_cv.fit(X_train, y_train)

# 获取最佳的λ值
best_lambda = ridge_cv.alpha_
print("Best λ:", best_lambda)

# 预测
y_pred = ridge_cv.predict(X_test)

网格搜索是一种系统的超参数调优方法，通过遍历所有可能的参数组合，选择最佳的参数。可以与交叉验证结合使用，以确保选择出的参数能在不同的数据集上有良好的表现。

在scikit-learn中，可以使用GridSearchCV来实现网格搜索：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from sklearn.model_selection import GridSearchCV
from sklearn.linear_model import Ridge

# 定义参数网格
param_grid = {'alpha': [0.1, 1.0, 10.0, 100.0]}

# 创建Ridge模型
ridge = Ridge()

# 创建GridSearchCV对象，使用交叉验证
grid_search = GridSearchCV(ridge, param_grid, cv=5)
grid_search.fit(X_train, y_train)

# 获取最佳参数
best_lambda = grid_search.best_params_['alpha']
print("Best λ:", best_lambda)

# 预测
y_pred = grid_search.predict(X_test)

3. 信息准则（Information Criterion）

信息准则（如AIC和BIC）也是选择正则化参数的一种方法，通过最小化信息准则来选择最佳的 $ $ 值。这些方法通常需要计算模型的似然函数，对计算复杂度要求较高。

4. 数据驱动方法

某些情况下，可以基于数据本身的特性来选择 $ $ 。例如，如果知道特征之间的相关性非常高，可以选择较大的 $ $ 以更强地正则化。如果数据量非常大，可以适当减少正则化强度。