1 绝对位置编码
- 训练式: BERT、GPT
- 三角式:
$$ \left{\begin{array}{l} \boldsymbol{p}{k, 2 i}=\sin \left(k / 10000^{2 i / d}\right) \ \boldsymbol{p}=\cos \left(k / 10000^{2 i / d}\right) \end{array}\right. $$
$$ \sin (\alpha+\beta)=\sin \alpha \cos \beta+\cos \alpha \sin \beta $$
- 递归式:RNN
- 相乘式
2 相对位置编码
- 经典式
- XLNET式
- T5式
- DeBERTa式
3 其他位置编码
- CNN式
- 复数式
- 融合式
** 参考：** [1] 苏剑林. (Feb. 03, 2021). 《让研究人员绞尽脑汁的Transformer位置编码 》[Blog post]. Retrieved from https://kexue.fm/archives/8130