Функция torch.take_along_dim в PyTorch
Справочное руководство Pytorch torch
torch.take_along_dimЭто функция в PyTorch, используемая для получения элементов в позициях индексов вдоль указанного измерения. Она берёт значения изindicesиндексов, указанных вdimвдоль измерения изinput.
Определение функции
torch.take_along_dim(input, indices, dim)
Parameters:
input(Tensor): входной тензор.indices(Tensor): Тензор индексов, задающий позиции извлекаемых элементов. Форма должна быть совместима с input по измерению dim.dim(int): Измерение, вдоль которого выполняется операция.
Возвращаемое значение:
torch.Tensor: Возвращает новый тензор, состоящий из элементов, извлечённых по индексам.
Пример использования
Пример
import torch
# Создать 2D-тензор
x = torch.tensor([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
print("Исходный тензор:")
print(x)
# Извлечь элементы вдоль dim=1
indices = torch.tensor([[0, 1, 2],
[2, 1, 0],
[0, 0, 0]])
y = torch.take_along_dim(x, indices, dim=1)
print("nIndices:")
print(indices)
print("nElements extracted along dim=1:")
print(y)
# Создать 2D-тензор
x = torch.tensor([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
print("Исходный тензор:")
print(x)
# Извлечь элементы вдоль dim=1
indices = torch.tensor([[0, 1, 2],
[2, 1, 0],
[0, 0, 0]])
y = torch.take_along_dim(x, indices, dim=1)
print("nIndices:")
print(indices)
print("nElements extracted along dim=1:")
print(y)
Результат вывода:
原始张量:
tensor([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
索引:
tensor([[0, 1, 2],
[2, 1, 0],
[0, 0, 0]])
沿 dim=1 取出的元素:
tensor([[1, 2, 3],
[6, 5, 4],
[7, 7, 7]])
Пример
import torch
# Извлечь элементы вдоль dim=0
x = torch.tensor([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
# Взять разные строки для каждого столбца
indices = torch.tensor([[0, 1, 2],
[2, 0, 1],
[1, 2, 0]])
y = torch.take_along_dim(x, indices, dim=0)
print("Исходный тензор:")
print(x)
print("nIndices:")
print(indices)
print("nElements, извлеченные вдоль dim=0:")
print(y)
# Извлечь элементы вдоль dim=0
x = torch.tensor([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
# Взять разные строки для каждого столбца
indices = torch.tensor([[0, 1, 2],
[2, 0, 1],
[1, 2, 0]])
y = torch.take_along_dim(x, indices, dim=0)
print("Исходный тензор:")
print(x)
print("nIndices:")
print(indices)
print("nElements, извлеченные вдоль dim=0:")
print(y)
Результат вывода:
原始张量:
tensor([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
索引:
tensor([[0, 1, 2],
[2, 0, 1],
[1, 2, 0]])
沿 dim=0 取出的元素:
tensor([[1, 5, 9],
[7, 2, 6],
[4, 8, 3]])
</p>
<div class="example">
<h2 class="example">实例</h2>
<div class="example_code">
<span style="color: Green;font-weight:bold;">import</span> torch<br />
<br />
<span style="color: #a50"># 在3D张量上使用</span><br />
x <span style="color: Gray;">=</span> torch.<span style="color: #05a;">arange</span><span style="color: Olive;">(</span><span style="color: Maroon;">24</span><span style="color: Olive;">)</span>.<span style="color: #05a;">reshape</span><span style="color: Olive;">(</span><span style="color: Maroon;">2</span><span style="color: Gray;">,</span> <span style="color: Maroon;">3</span><span style="color: Gray;">,</span> <span style="color: Maroon;">4</span><span style="color: Olive;">)</span><br />
<span style="color: Green;font-weight:bold;">print</span><span style="color: Olive;">(</span><span style="color: #a11;">"原始形状:"</span><span style="color: Gray;">,</span> x.<span style="color: #05a;">shape</span><span style="color: Olive;">)</span><br />
<br />
<span style="color: #a50"># 沿 dim=1 取元素</span><br />
indices <span style="color: Gray;">=</span> torch.<span style="color: #05a;">tensor</span><span style="color: Olive;">(</span><span style="color: Olive;">[</span><span style="color: Olive;">[</span><span style="color: Maroon;">0</span><span style="color: Gray;">,</span> <span style="color: Maroon;">1</span><span style="color: Gray;">,</span> <span style="color: Maroon;">2</span><span style="color: Olive;">]</span><span style="color: Gray;">,</span><br />
<span style="color: Olive;">[</span><span style="color: Maroon;">2</span><span style="color: Gray;">,</span> <span style="color: Maroon;">0</span><span style="color: Gray;">,</span> <span style="color: Maroon;">1</span><span style="color: Olive;">]</span><span style="color: Olive;">]</span><span style="color: Olive;">)</span><br />
y <span style="color: Gray;">=</span> torch.<span style="color: #05a;">take_along_dim</span><span style="color: Olive;">(</span>x<span style="color: Gray;">,</span> indices<span style="color: Gray;">,</span> dim<span style="color: Gray;">=</span><span style="color: Maroon;">1</span><span style="color: Olive;">)</span><br />
<br />
<span style="color: Green;font-weight:bold;">print</span><span style="color: Olive;">(</span><span style="color: #a11;">"索引形状:"</span><span style="color: Gray;">,</span> indices.<span style="color: #05a;">shape</span><span style="color: Olive;">)</span><br />
<span style="color: Green;font-weight:bold;">print</span><span style="color: Olive;">(</span><span style="color: #a11;">"结果形状:"</span><span style="color: Gray;">,</span> y.<span style="color: #05a;">shape</span><span style="color: Olive;">)</span><br />
<span style="color: Green;font-weight:bold;">print</span><span style="color: Olive;">(</span><span style="color: #a11;">"n结果:"</span><span style="color: Olive;">)</span><br />
<span style="color: Green;font-weight:bold;">print</span><span style="color: Olive;">(</span>y<span style="color: Olive;">)</span><br />
</div>
</div>
<p>输出结果为：</p>
<pre>
原始形状: torch.Size([2, 3, 4])
索引形状: torch.Size([2, 3])
结果形状: torch.Size([2, 3, 4])
结果:
tensor([[[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]],
[[16, 17, 18, 19],
[12, 13, 14, 15],
[20, 21, 22, 23]]])
Пример
import torch
# Применение: выбор конкретных элементов вдоль размерности batch
# Например, выбор конкретных пар ключ-значение в механизме внимания
batch_size = 2
num_heads = 3
seq_len = 4
head_dim = 5
# Смоделировать веса внимания запроса
attn_weights = torch.randn(batch_size, num_heads, seq_len)
# Взять индексы top-k для каждой головы
k = 2
indices = torch.argsort(attn_weights, dim=-1, descending=True)[..., :k]
print("Форма индексов:", indices.shape)
# Смоделировать тензор значений
value = torch.randn(batch_size, num_heads, seq_len, head_dim)
# Извлечь соответствующие значения вдоль размерности seq_len
selected_value = torch.take_along_dim(value, indices.unsqueeze(-1).expand(-1, -1, -1, head_dim), dim=2)
print("Форма значения:", value.shape)
print("Форма выбранного значения:", selected_value.shape)
# Применение: выбор конкретных элементов вдоль размерности batch
# Например, выбор конкретных пар ключ-значение в механизме внимания
batch_size = 2
num_heads = 3
seq_len = 4
head_dim = 5
# Смоделировать веса внимания запроса
attn_weights = torch.randn(batch_size, num_heads, seq_len)
# Взять индексы top-k для каждой головы
k = 2
indices = torch.argsort(attn_weights, dim=-1, descending=True)[..., :k]
print("Форма индексов:", indices.shape)
# Смоделировать тензор значений
value = torch.randn(batch_size, num_heads, seq_len, head_dim)
# Извлечь соответствующие значения вдоль размерности seq_len
selected_value = torch.take_along_dim(value, indices.unsqueeze(-1).expand(-1, -1, -1, head_dim), dim=2)
print("Форма значения:", value.shape)
print("Форма выбранного значения:", selected_value.shape)
Результат вывода:
索引形状: torch.Size([2, 3, 4]) Value形状: torch.Size([2, 3, 4, 5]) 选择的Value形状: torch.Size([2, 3, 2, 5])
Note:
torch.take_along_dimIt allows indexing by dimension, which is more flexible thantorch.takebecause the latter always treats the tensor as one-dimensional.