1. 背景：为什么需要位置编码？
原始的 Transformer 模型本身是 置换不变 的。也就是说，它对输入序列中单词的顺序不敏感。如果不提供位置信息，模型会将句子 “猫追老鼠” 和 “老鼠...
ALiBi 位置编码
113 views
分类标签归档：自然语言处理
手撕-线性注意力
80 views
- 核心改进
计算顺序优化：从 (Q·K^T)·V 改为 Q·(K^T·V)，避免显式计算注意力矩阵
复杂度降低：从 O(n²d) 降到 O(nd²)，当序列长度 n > 特征维度 d 时...
text2sql论文16:sql reasoning rewards text reward tailored grpo partial schema reinforcement
130 views
论文通过以下方法解决如何提升大型语言模型（LLMs）在Text-to-SQL任务中的推理能力和准确性问题：
1. 提出Reasoning-SQL框架
- 强化学习（RL）框架：论文提出了一个基于强...
MOE-算法
236 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class MoELayer(nn....手撕PPO
96 views
import torch
import torch.nn as nn
import torch.nn.functional as F
from transformers import GPT2L...手撕Softmax
82 views
# softmax
import torch
# X = torch.tensor([-0.3, 0.2, 0.5, 0.7, 0.1, 0.8])
# X_exp_sum = X.exp(...DPO、PPO和GRPO的伪代码loss计算
446 views
1.1 PPO 的关键角色
- 策略（LLM）：我们正在训练的 LLM，用于生成更好的文本。
- 奖励模型：根据人类偏好对文本打分的 AI 裁判。
- 价值函数（辅助教练）：另一个 AI 模型，充当“辅助...
手撕flash_attention
60 views
import torch
from einops import rearrange
NEG_INF = -1e10 # -infinity
EPSILON = 1e-10
Q_LEN = ...text2sql论文14:Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
502 views
Tool-SQL：基于Agent智能体的Text2SQL解决方案，显著提升Text2SQL效果
1.背景与挑战
Text2SQL核心问题：自然语言转SQL在真实场景中面临数据库不匹配（Datab...
text2sql论文13-XiYan-SQL：一种多生成器集成的Text-to-SQL框 架
1005 views
1、XiYan-SQL框架：提出了XiYan-SQL框架，它采用多生成器集成策略来增强生成候选SQL的能力。该框架结合了提示词工程（ICL）的巨大潜力和有监督的微调（SFT）方法的高可控性。
-
...