Loading...
本文提出了AsyncFlow，一种异步流式强化学习（RL）框架，旨在解决大型语言模型（LLM）后训练过程中的效率和可扩展性问题。现有RL后训练框架分为任务合并型（如DeepSpeed-Chat）和任务分离型（如OpenRLHF），但存在资源闲置、负载不平衡、与特定训练/推理引擎耦合等缺陷。分布式数据存储与传输模块（TransferQueue）：实现细粒度数据流调度，支持任务间自动流水线重叠和动态负载均衡，无需预定义数据依赖链。生产者-消费者异步工作流。
Graph Representation-based Model Poisoning on Federated LLMs in CyberEdge Networks
FedLLMs的背景与挑战：FedLLMs通过联邦学习框架实现分布式训练，在保护数据隐私的同时整合边缘设备（如智能医疗设备、自动驾驶车辆、物联网设备）的知识，但易受模型投毒攻击——攻击者通过生成恶意本地更新操纵全局模型，导致性能下降或特定任务失效。现有防御机制的局限性：当前防御手段（如基于距离的异常检测、范数约束、拜占庭resilient聚合器等）依赖“恶意更新与良性更新存在显著统计差异”的假设，在面对针对数十亿参数LLM的自适应攻击者时失效，尤其在非独立同分布（non-IID）文本数据场景下表现不佳。
Attention Is All You Need
#AttentionIsAllYouNeed（arXiv:1706.03762）论文解读>论文链接：[https://arxiv.org/abs/1706.03762](https://arxiv.org/abs/1706.0
The Language Gap in LLM Safety Research (arXiv:2505.24119)
###文章主要内容本文系统分析了2020-2024年ACL系列会议及研讨会中近300篇LLM安全研究论文，揭示了该领域以英语为中心的现状，指出即使是高资源非英语语言也未得到足够关注，且非英语语言研究多作为多语言评估的一部分，缺乏针对性和
Attention Is All You Need
#AttentionIsAllYouNeed（arXiv:1706.03762）论文解读>论文链接：[https://arxiv.org/abs/1706.03762](https://arxiv.org/abs/1706.0
MoDoMoDo: Multi-Domain Data Mixing for Multimodal LLM RL (arXiv:2505.24871)
###文章主要内容本文聚焦于多模态大语言模型（MLLMs）的强化学习优化，提出了MoDoMoDo框架，旨在通过多领域数据混合策略提升模型在多模态任务中的推理能力和泛化性能。具体内容包括：1.**问题背景**：传统的可验证奖励强化学习
Scaling Laws for QAT / W4A4 Quantization (arXiv:2505.14302)
###文章主要内容总结本文围绕大语言模型（LLMs）的量化感知训练（QAT）展开研究，重点探讨4-bit精度（W4A4）下的缩放规律。通过268次QAT实验，分析了模型规模（N）、训练数据量（D）和量化粒度（G）对量化误差的影响，并提出
Paper translation (arXiv:2504.13837)
以下是论文《强化学习是否真的能激励大语言模型超越基础模型的推理能力？》的中文翻译，采用Markdown格式呈现：#强化学习是否真的能激励大语言模型超越基础模型的推理能力？杨悦1∗†，陈志琦1∗，陆睿1，AndrewZhao1，王
LITRANSPROQA (arXiv:2505.05423)
###文章主要内容总结本文聚焦于文学翻译评估领域，针对现有评估指标过度关注机械准确性、忽视艺术性表达及文化真实性的问题，提出了一种基于大语言模型（LLM）的新型评估框架**LITRANSPROQA**。该框架通过整合专业文学译者和研究
Multi-Stage Influence Functions with EK-FAC for LLM Pretraining Attribution (arXiv:2505.05017)
###文章主要内容本文聚焦于大规模语言模型（LLMs）的可扩展多阶段影响函数研究，旨在解决预训练数据对微调后模型预测的归因问题。核心内容包括：1.**多阶段影响函数框架**：提出一种基于“预训练-微调”范式的影响函数，将微调模型的预
Scribble.ai: Theatrical Language Processing for Actor Improvisation (arXiv:2505.04890)
###一、文章主要内容总结本文提出了**戏剧语言处理（TheatricalLanguageProcessing,TLP）**概念，并开发了AI创意支持工具**Scribble.ai**，旨在通过人机交互提升演员的即兴表演创造力。研
GesPrompt: Multimodal XR Interface Combining Speech and Gestures for LLM Assistants (arXiv:2505.0544
###一、文章主要内容总结本文提出了GesPrompt系统，这是一种结合语音和协同手势的多模态XR交互界面，旨在解决用户在虚拟现实（VR）环境中向基于大语言模型（LLM）的协同助手描述3D环境时的挑战。传统的纯文本或语音输入难以准确传达
MINT: Multimodal Knowledge Transfer to Unimodal LLMs via Preference Optimization (arXiv:2505.05736)
###文章主要内容本文提出了一种名为MINT（MultimodalIntegratedkNowledgeTransfer）的框架，旨在通过偏好优化将多模态生物医学数据中的专业知识迁移到单模态大语言模型（LLMs）中，以解决高质量多
Large Language Models Could Be Rote Learners
###主要内容1.**研究背景**：大语言模型（LLMs）发展迅速，基于选择题（MCQ）基准的评估方法广泛应用，但基准污染问题影响评估可靠性。2.**研究方法**-**预调查**：将MMLU基准测试集的MCQ分
Extracting Patient History from Clinical Text: A Comparative Study of Clinical Large Language Models
###主要内容1.**研究背景与目的**：医疗记录的整理和分析耗费医护人员大量时间，自然语言处理（NLP）技术中的命名实体识别（NER）可将非结构化患者信息转换为结构化记录，助力医疗工作。临床大语言模型（cLLMs）在医疗领域应用广
Evaluating Large Language Models Against Human Annotators in Latent Content Analysis: Sentiment, Pol
###主要内容1.**研究背景与目的**：数字化时代产生大量文本数据，潜在内容分析意义重大，大语言模型（LLMs）可实现分析自动化，但缺乏多维度与人类标注者对比评估。本研究旨在对比LLMs与人类标注者在情感、政治倾向、情感强度和
Empowering Large Language Models with 3D Situation Awareness
###主要内容1.**研究背景**：大语言模型（LLMs）在2D图像领域取得成功后，其在3D场景理解中的应用成为新趋势。但3D场景理解面临3D文本数据稀缺、现有方法忽视自我中心视角等问题。2.**相关工作**：介
Question-Aware Knowledge Graph Prompting for Enhancing Large Language Models
###主要内容1.**研究背景**：大语言模型（LLMs）在处理需要外部知识的任务（如知识密集型多选问答任务MCQA）时存在困难。现有将知识图谱（KGs）集成到LLMs的方法，如直接微调、检索相关信息或使用基于KG的软提示
Large Language Models Are Better Logical Fallacy Reasoners with Counterargument, Explanation, and Go
###主要内容1.**研究背景**：逻辑谬误检测在自然语言处理中仍处于早期阶段，大语言模型在检测逻辑谬误方面存在挑战，此前也缺乏通过提示工程或无监督方法解决该问题的尝试。2.**研究方法**：提出一种新颖的两步提示制定过程，利用
SEO: Stochastic Experience Optimization for Large Language Models
###文章主要内容1.**背景与问题**：大语言模型（LLMs）在多种任务中表现出色，但在特定任务上仍有提升空间。微调LLMs成本高昂，且对于闭源或仅通过API访问的模型不可行。虽然利用有用经验可提升LLMs性能，但寻找
