PyTorch torch.nn.HuberLoss 関数
torch.nn.HuberLossPyTorchのHuber損失関数です。
MSEとMAEの組み合わせで、外れ値に頑健で勾配が安定しています。
関数定義
torch.nn.HuberLoss(delta=1.0, reduction='mean')
パラメータ:
delta: 切替点。この値を超えるとMAEを使用reduction: 集約方法
数学原理
L(y, ŷ) = 0.5 * (y - ŷ)², if |y - ŷ| ≤ δ L(y, ŷ) = δ * |y - ŷ| - 0.5 * δ², if |y - ŷ| > δ
使用例
例1: 基本的な使い方
実例
import torch
import torch.nn as nn
criterion = nn.HuberLoss(delta=1.0)
pred = torch.tensor([1.0, 2.0, 3.0, 10.0])
target = torch.tensor([1.5, 2.5, 3.5, 8.0])
loss = criterion(pred, target)
print("Huber Loss:", loss.item())
# MSEとの比較
mse = nn.MSELoss()(pred, target)
print("MSE Loss:", mse.item())
import torch.nn as nn
criterion = nn.HuberLoss(delta=1.0)
pred = torch.tensor([1.0, 2.0, 3.0, 10.0])
target = torch.tensor([1.5, 2.5, 3.5, 8.0])
loss = criterion(pred, target)
print("Huber Loss:", loss.item())
# MSEとの比較
mse = nn.MSELoss()(pred, target)
print("MSE Loss:", mse.item())
例2: 回帰トレーニング
実例
import torch
import torch.nn as nn
model = nn.Linear(10, 1)
criterion = nn.HuberLoss()
optimizer = torch.optim.Adam(model.parameters())
# トレーニング
X = torch.randn(100, 10)
y = torch.randn(100, 1)
model.train()
optimizer.zero_grad()
output = model(X)
loss = criterion(output, y)
loss.backward()
optimizer.step()
print("トレーニング損失:", loss.item())
import torch.nn as nn
model = nn.Linear(10, 1)
criterion = nn.HuberLoss()
optimizer = torch.optim.Adam(model.parameters())
# トレーニング
X = torch.randn(100, 10)
y = torch.randn(100, 1)
model.train()
optimizer.zero_grad()
output = model(X)
loss = criterion(output, y)
loss.backward()
optimizer.step()
print("トレーニング損失:", loss.item())
使用シーン
- 回帰タスク: 外れ値を持つデータ
- オブジェクト検出: バウンディングボックス回帰
- ロバストトレーニング: ノイズデータ
その他の拡張