PyTorch torch.nn.SiLU 関数
PyTorch torch.nn リファレンスマニュアルtorch.nn.SiLUPyTorchのSigmoid Linear Unit活性化関数であり、Swishとも呼ばれます。
自己ゲーティング特性を持ち、ReLUよりも滑らかで、特定のタスクでより良いパフォーマンスを発揮します。
関数定義
torch.nn.SiLU(inplace=False)
数学的原理
SiLU(x) = x * sigmoid(x)
使用例
例1: 基本的な使い方
例
import torch
import torch.nn as nn
silu = nn.SiLU()
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
output = silu(x)
print("入力:", x.tolist())
print("出力:", output.tolist())
import torch.nn as nn
silu = nn.SiLU()
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
output = silu(x)
print("入力:", x.tolist())
print("出力:", output.tolist())
例2: ReLUとの比較
例
import torch
import torch.nn as nn
import numpy as np
x = np.linspace(-3, 3, 7)
x_tensor = torch.tensor(x)
print("x SiLU ReLU")
print("-" * 30)
for xi in x_tensor:
print(f"{xi.item():5.1f} {nn.SiLU()(xi.unsqueeze(0)).item():9.4f} {nn.ReLU()(xi.unsqueeze(0)).item():9.4f}")
import torch.nn as nn
import numpy as np
x = np.linspace(-3, 3, 7)
x_tensor = torch.tensor(x)
print("x SiLU ReLU")
print("-" * 30)
for xi in x_tensor:
print(f"{xi.item():5.1f} {nn.SiLU()(xi.unsqueeze(0)).item():9.4f} {nn.ReLU()(xi.unsqueeze(0)).item():9.4f}")
例3: MobileNetでの使用
例
import torch
import torch.nn as nn
# MobileNetV3 は SiLU を使用
model = nn.Sequential(
nn.Conv2d(3, 32, 3, stride=2, padding=1),
nn.BatchNorm2d(32),
nn.SiLU(),
nn.Conv2d(32, 64, 3, padding=1),
nn.BatchNorm2d(64),
nn.SiLU()
)
x = torch.randn(1, 3, 224, 224)
output = model(x)
print("入力:", x.shape, "-> 出力:", output.shape)
import torch.nn as nn
# MobileNetV3 は SiLU を使用
model = nn.Sequential(
nn.Conv2d(3, 32, 3, stride=2, padding=1),
nn.BatchNorm2d(32),
nn.SiLU(),
nn.Conv2d(32, 64, 3, padding=1),
nn.BatchNorm2d(64),
nn.SiLU()
)
x = torch.randn(1, 3, 224, 224)
output = model(x)
print("入力:", x.shape, "-> 出力:", output.shape)
使用シーン
- MobileNet: MobileNetV3
- EfficientNet
- 平滑活性化: ゲーティング特性が必要
注意: SiLUの計算はReLUよりも複雑ですが、通常パフォーマンスはより優れています。
その他の拡張