汉语宝典

L1/L2 正则项

L1/L2 正则项计算器,输入权重向量求 L1 与 L2 范数及对应惩罚项,用于理解稀疏化与平滑化正则效果。

🔍 L1 / L2 Norm and Penalty Calculator

Compute the L1 and L2 norms of a weight vector together with the matching penalty terms, to build intuition about sparsity and shrinkage.

📐 计算公式 / 原理
L1 范数 = Σ|wᵢ|;L2 范数 = √(Σwᵢ²)
两个范数量化权重矩阵的整体规模:L1 反映绝对值总量,对少量大权重敏感;L2(Frobenius 范数)反映能量,常被直接写进损失作为惩罚项。监控范数随训练的变化能快速判断是否出现权重爆炸。

📐 计算公式与说明

L1 = Σ|w|;L2 = √(Σw²)

L1 倾向稀疏,L2 倾向小权重。

📚 深度解析:L1/L2 正则项

💡 常见使用场景

  • L1 范数 ‖w‖₁=Σ|wᵢ|,L2 范数 ‖w‖₂=√(Σwᵢ²),分别衡量权重大小。
  • 对应惩罚项 λ‖w‖₁(Lasso,促稀疏)与 (λ/2)‖w‖₂²(Ridge,促平滑)。
  • 正则项加入损失函数,限制权重幅度以抑制过拟合。
范数计算
w=[3,−4]:‖w‖₁=|3|+|−4|=7;‖w‖₂=√(9+16)=5,L2 惩罚=(λ/2)·25。L1 对大权重同等惩罚,L2 更压大权重。

❓ 常见问题(FAQ)

L1 为什么能稀疏?
L1 在零点不可导、等高线为菱形,最优解易落在坐标轴上使部分权重恰为 0,实现特征选择;L2 只缩小不置零。
正则系数 λ 怎么选?
用验证集网格/贝叶斯搜索;λ 过小过拟合、过大欠拟合。通常对权重先标准化,再在 10⁻⁴~10 量级扫描。