attention机制

[doggie]

• 注意力机制的本质|Self-Attention|Transformer|QKV矩阵_哔哩哔哩_bilibili
• 【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】_哔哩哔哩_bilibili

[doggie]

参考

多头注意力 MultiHeadAttention 是什么_哔哩哔哩_bilibili