循环神经网络

代码功能概述

torch.matmul(torch.cat((X, H), 1), torch.cat((W_xh, W_hh), 0))

这段代码合并了以下两部分的计算：

1. $$\mathbf{X} \mathbf{W}_{xh}：输入项与输入权重的矩阵乘法。$$

1. $$\mathbf{H} \mathbf{W}_{hh}：隐状态与隐状态权重的矩阵乘法。$$

$$通过拼接操作，将 \mathbf{X} 和 \mathbf{H} 作为一个整体处理，以及将 \mathbf{W}_{xh} 和 \mathbf{W}_{hh} 拼接为一个矩阵进行统一的计算。$$

逐步解析

(1) 拼接输入和隐状态

torch.cat((X, H), 1)

• torch.cat：将张量在指定维度上拼接。

• $$参数 (X, H)：$$
  • $$\mathbf{X} \in \mathbb{R}^{3 \times 1}$$
  • $$\mathbf{H} \in \mathbb{R}^{3 \times 4}$$
• $$拼接维度为 `1`（列方向），\text{拼接结果} \in \mathbb{R}^{3 \times (1 + 4)} = \mathbb{R}^{3 \times 5}$$

(2) 拼接权重矩阵

torch.cat((W_xh, W_hh), 0)

• $$参数 (W_xh, W_hh)：$$
  • $$\mathbf{W}_{xh} \in \mathbb{R}^{1 \times 4}$$
  • $$\mathbf{W}_{hh} \in \mathbb{R}^{4 \times 4}$$
• $$拼接维度为 `0`（行方向），\text{拼接结果} \in \mathbb{R}^{(1 + 4) \times 4} = \mathbb{R}^{5 \times 4}$$

(3) 矩阵乘法

torch.matmul(torch.cat((X, H), 1), torch.cat((W_xh, W_hh), 0))

• 拼接后的矩阵：

  • $$输入矩阵拼接结果：\mathbb{R}^{3 \times 5}$$
  • $$权重矩阵拼接结果：\mathbb{R}^{5 \times 4}$$
• $$矩阵乘法： \mathbb{R}^{3 \times 5} \times \mathbb{R}^{5 \times 4} = \mathbb{R}^{3 \times 4}$$

---

对比：原始计算 vs 合并计算

原始计算

torch.matmul(X, W_xh) + torch.matmul(H, W_hh)

• $$计算 \mathbf{X} \mathbf{W}_{xh} 和 \mathbf{H} \mathbf{W}_{hh} 两部分，然后相加。$$
• $$需要两次矩阵乘法操作。$$

合并计算

torch.matmul(torch.cat((X, H), 1), torch.cat((W_xh, W_hh), 0))

• $$拼接 \mathbf{X} 和 \mathbf{H}，拼接 \mathbf{W}_{xh} 和 \mathbf{W}_{hh}，再执行一次矩阵乘法。$$
• $$只需要一次矩阵乘法操作，逻辑上与原始计算完全等价。$$

结果维度

$$最终结果：\text{输出} \in \mathbb{R}^{3 \times 4}$$

• 批量大小 b=3
• 隐状态维度 d_h=4

---

优点

1. 计算效率
   • 合并计算只需要一次矩阵乘法，节省了计算成本。
2. 代码简洁性
   • 用一个矩阵乘法替代了两次独立的操作，简化了代码。