- Qwen2.5-VL
def _preprocess(
self,
images: Union[ImageInput, VideoInput],
...Qwen2.5-VL:图片处理成token
38 views
分类标签归档：NLP
MOE-算法
94 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class MoELayer(nn....手撕selfAttention和MHA
269 views
from torch import nn
import torch.nn.functional as F
import torch
import math
class SelfAttenti...DPO、PPO和GRPO的伪代码loss计算
295 views
1.1 PPO 的关键角色
- 策略（LLM）：我们正在训练的 LLM，用于生成更好的文本。
- 奖励模型：根据人类偏好对文本打分的 AI 裁判。
- 价值函数（辅助教练）：另一个 AI 模型，充当“辅助...
text2sql论文14:Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
360 views
Tool-SQL：基于Agent智能体的Text2SQL解决方案，显著提升Text2SQL效果
1.背景与挑战
Text2SQL核心问题：自然语言转SQL在真实场景中面临数据库不匹配（Datab...
text2sql论文13-XiYan-SQL：一种多生成器集成的Text-to-SQL框 架
880 views
1、XiYan-SQL框架：提出了XiYan-SQL框架，它采用多生成器集成策略来增强生成候选SQL的能力。该框架结合了提示词工程（ICL）的巨大潜力和有监督的微调（SFT）方法的高可控性。
-
...
如何选择 ZeRO 策略
961 views
模型训练阶段，每张卡中显存占用可以分为两类：
模型状态
模型参数（fp16）、模型梯度（fp16）和 Adam 优化器状态（fp32 的模型参数备份，fp32 的 momentum 和 fp32...
text2sql论文12-picard: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models
1359 views
背景
文本数据的大型预训练语言模型具有不受约束的输出空间；在每个解码步骤中，它们可以产生数万个token中的任何一个。当对SQL等受约束的形式语言进行Fine-tune时，这些模型通常会生成无效...
text2sql论文11-SC-prompt: Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
1681 views
背景
1、文本到SQL翻译是将自然语言问题翻译为SQL查询的任务，具有广泛的应用前景。然而，在少样本情况下，现有的方法往往无法很好地泛化到新的数据集上。 2、过去方案: 过去的方法主要采用预训练...
text2sql论文10-MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL
1451 views
背景
一种用于文本到sql的多代理协作框架。该框架由三个Agents组成:Selector、Decomposer和Refiner。选择器压缩数据库并为用户查询保留相关的表模式。分解器将复杂的用户...