论文通过以下方法解决如何提升大型语言模型（LLMs）在Text-to-SQL任务中的推理能力和准确性问题：
1. 提出Reasoning-SQL框架
- 强化学习（RL）框架：论文提出了一个基于强...
text2sql论文16:sql reasoning rewards text reward tailored grpo partial schema reinforcement
46 views
Qwen2.5-VL:图片处理成token
117 views
text2sql论文15:You Only Read Once (YORO): Learning to Internalize Database Knowledge for Text-to-SQL
128 views
MOE-算法
148 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class MoELayer(nn....手撕PPO
13 views
import torch
import torch.nn as nn
import torch.nn.functional as F
from transformers import GPT2L...实现 strStr() 函数-KMP
303 views
实现 strStr() 函数。
给定一个 haystack 字符串和一个 needle 字符串，在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在...
手撕Softmax
12 views
# softmax
import torch
# X = torch.tensor([-0.3, 0.2, 0.5, 0.7, 0.1, 0.8])
# X_exp_sum = X.exp(...手撕selfAttention和MHA
367 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class SelfAttenti...DPO、PPO和GRPO的伪代码loss计算
365 views
1.1 PPO 的关键角色
- 策略（LLM）：我们正在训练的 LLM，用于生成更好的文本。
- 奖励模型：根据人类偏好对文本打分的 AI 裁判。
- 价值函数（辅助教练）：另一个 AI 模型，充当“辅助...
手撕flash_attention
12 views
import torch
from einops import rearrange
NEG_INF = -1e10 # -infinity
EPSILON = 1e-10
Q_LEN = ...