1. 背景：为什么需要位置编码？
原始的 Transformer 模型本身是 置换不变 的。也就是说，它对输入序列中单词的顺序不敏感。如果不提供位置信息，模型会将句子 “猫追老鼠” 和 “老鼠...
ALiBi 位置编码
113 views
分类标签归档：机器学习
手撕-线性注意力
80 views
- 核心改进
计算顺序优化：从 (Q·K^T)·V 改为 Q·(K^T·V)，避免显式计算注意力矩阵
复杂度降低：从 O(n²d) 降到 O(nd²)，当序列长度 n > 特征维度 d 时...
text2sql论文16:sql reasoning rewards text reward tailored grpo partial schema reinforcement
129 views
论文通过以下方法解决如何提升大型语言模型（LLMs）在Text-to-SQL任务中的推理能力和准确性问题：
1. 提出Reasoning-SQL框架
- 强化学习（RL）框架：论文提出了一个基于强...
MOE-算法
236 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class MoELayer(nn....手撕PPO
96 views
import torch
import torch.nn as nn
import torch.nn.functional as F
from transformers import GPT2L...手撕Softmax
82 views
# softmax
import torch
# X = torch.tensor([-0.3, 0.2, 0.5, 0.7, 0.1, 0.8])
# X_exp_sum = X.exp(...手撕selfAttention和MHA
484 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class SelfAttenti...DPO、PPO和GRPO的伪代码loss计算
446 views
1.1 PPO 的关键角色
- 策略（LLM）：我们正在训练的 LLM，用于生成更好的文本。
- 奖励模型：根据人类偏好对文本打分的 AI 裁判。
- 价值函数（辅助教练）：另一个 AI 模型，充当“辅助...
手撕flash_attention
60 views
import torch
from einops import rearrange
NEG_INF = -1e10 # -infinity
EPSILON = 1e-10
Q_LEN = ...text2sql论文12-picard: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models
1458 views
背景
文本数据的大型预训练语言模型具有不受约束的输出空间；在每个解码步骤中，它们可以产生数万个token中的任何一个。当对SQL等受约束的形式语言进行Fine-tune时，这些模型通常会生成无效...