Loading...
实现大型语言模型（LLMs）在有用性、诚实性和无害性（3H优化）方面的平衡对齐，是负责任人工智能的核心支柱。现有数据混合策略等方法存在依赖专家知识和优化信号冲突等局限性。尽管模型融合通过整合专用模型参数提供了参数级冲突解决策略，但其在3H优化中的潜力尚未得到充分探索。本文首次系统对比了模型融合与数据混合方法在构建3H对齐LLM中的效果，揭示了此前被忽视的3H维度间的协作与冲突关系，并探讨了数据混合（数据级）和模型融合（参数级）方法在缓解冲突、实现平衡3H优化方面的优缺点。
2025_NIPS_Activation-Informed Merging of Large Language Models
本文聚焦大语言模型（LLMs）的模型融合问题，提出了一种名为激活感知融合（Activation-InformedMerging,AIM）的技术。模型融合是将多个基于同一预训练基础模型微调的任务专用模型的参数与嵌入结合，以在保持计算效率的同时提升多任务性能，但现有方法多仅关注权重空间，忽略了激活空间的关键信息，且易出现“灾难性遗忘”（即丢失基础模型的通用能力）或受低质量微调模型影响。
2025_NIPS_Praxis-VLM: Vision-Grounded Decision Making via Text-Driven Reinforcement Learning
现有视觉语言模型（VLMs）在多模态任务中表现出色，但缺乏复杂场景下的情境推理能力，难以支撑机器人、交互式助手等领域的决策需求。传统增强VLMs推理能力的方法依赖大规模图文配对数据，这类数据标注成本高、获取难度大，尤其在多样化现实决策场景中存在明显瓶颈。视觉语言模型（VLMs）在各类任务中展现出令人印象深刻的性能，但往往缺乏复杂决策所需的精密情境推理能力。本文研究表明，当视觉场景被文本描述替代时，VLMs能实现出人意料的强决策性能——这意味着基础推理能力可通过语言有效学习。
2025_NIPS_RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness
微调预训练模型以适配自定义数据，已产生大量面向特定任务的专家模型。将这些模型融合为一个具备多任务能力的通用模型，同时避免数据泄露，已成为研究热点。随着数据和模型规模的扩大，参数高效调优已成为高效获取任务特定模型的常规做法。然而，专门针对高效融合的方法极少，且为全量微调设计的现有融合方法在高效融合场景下效果不佳。为解决该问题，本文通过低秩分解分析揭示：融合过程中的方向鲁棒性对高效模块的融合至关重要，且弥补显著奇异值之间的差距有助于提升方向鲁棒性。
2025_NIPS_IR-OptSet: An Optimization-Sensitive Dataset for Advancing LLM-Based IR Optimizer
编译器优化对于提升程序性能至关重要，但现代编译器仍依赖于针对中间表示（IR）的手工编写转换规则。随着编译器复杂度的提升，维护这些基于规则的优化变得日益费力且难以扩展。大型语言模型（LLMs）的最新进展提供了一种极具潜力的替代方案，但其在编译器优化中的效果仍受到限制——主要原因是缺乏面向IR的数据集，无法让模型接触到真实场景中的多样化转换样本（优化敏感样本），阻碍了LLMs学习丰富且可泛化的优化策略。本文提出IR-OptSet，这是首个用于推进基于LLM的IR优化器的公开优化敏感数据集。
2025_NIPS_Classical Planning with LLM-Generated Heuristics: Challenging the State of the Art with
该研究提出一种利用大型语言模型（LLMs）生成领域依赖启发式函数的新方法，用于经典规划问题。通过向LLM输入PDDL领域描述、示例任务、其他领域启发式示例及规划器代码，生成Python格式的候选启发式函数，经训练集评估筛选最优函数后，用于解决未见的分布外测试任务。实验基于Pyperplan规划器，在IPC2023学习赛道的8个领域验证，结果显示LLM生成的启发式函数在求解任务数量、状态扩展效率上优于端到端LLM规划、传统领域无关启发式，甚至能与基于FastDownward的C++实现的最先进启发式竞争。
2025_NIPS_Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
人类反馈强化学习（RLHF）是使大型语言模型（LLMs）与人类偏好和价值观对齐的关键技术。近年来的研究主要集中在算法改进上——例如降低计算开销或强化奖励模型以减轻奖励黑客行为——而提示数据构建及其可扩展性的关键作用却受到相对较少的关注。本文通过系统性探索当前阻碍RLHF性能缩放的数据驱动型瓶颈，重点解决奖励黑客行为和响应多样性下降带来的挑战，填补了这一研究空白。
2025_NIPS_Emergence of Linear Truth Encodings in Language Models
近期的探测研究表明，大型语言模型存在能区分真实与虚假陈述的线性子空间，但其涌现机制尚不明确。本文提出一种透明的单层Transformer玩具模型，可端到端复现此类真值子空间，并揭示其形成的一条具体路径。我们研究了真值编码涌现的一个简单场景：在数据分布中，事实陈述与其他事实陈述共现（虚假陈述同理），这种分布特性促使模型学习区分真假以降低对后续token的语言建模损失。我们通过预训练语言模型的实验验证了这一模式。
2025_NIPS_Scaling Up Active Testing to Large Language Models
该研究聚焦于解决大型语言模型（LLMs）评估中存在的计算成本高、标签效率低的问题，提出了一套可规模化的主动测试（ActiveTesting）方案。背景与问题：现有LLMs评估面临双重挑战——模型复杂度提升导致评估成本激增，且数据泄露风险要求动态获取新评估数据；传统主动测试虽能提高标签效率，但因代理模型训练、预测计算等环节的高成本，难以适配LLMs。核心优化策略代理模型训练：用少量初始测试数据通过上下文学习（in-contextlearning）构建代理模型，固定不变，避免重复梯度训练；
2025_NIPS_CGBENCH: Benchmarking Language Model Scientific Reasoning for Clinical Genetics Research
临床遗传学中，基因和变异注释是个性化医疗的核心，但传统人工方法耗时费力，且现有LLM基准多聚焦窄化任务，与真实科研场景脱节。现有LLM在科学文献解读中存在幻觉、证据强度误判等问题，缺乏针对临床遗传学复杂任务的评估工具。变异和基因解读是个性化医疗和转化生物医学的基础。然而，传统方法依赖人工且耗时费力。生成式语言模型（LMs）可助力这一过程，加速基础研究向临床可行见解的转化。尽管现有基准已尝试量化LMs解读科学数据的能力，但这些研究聚焦于无法迁移到真实科研场景的窄化任务。
2025_NIPS_Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers
随着大型语言模型在实际应用中日益普及，处理远超模型预训练上下文限制的超长文本已成为一项关键挑战。现有高效长上下文处理方法虽展现出潜力，但基于循环压缩的方法难以保证信息完整性，而随机访问方法则需要大量内存资源。本文提出REFORM，一种通过两阶段方法高效处理长上下文的新型推理框架：首先，在维护压缩KV缓存的同时增量处理输入块，构建跨层上下文嵌入，并采用早停策略提升效率；其次，通过相似度匹配识别并收集关键token，选择性地重计算KV缓存。
2025_NIPS_SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution
近期发布的DeepSeek-R1已证明强化学习（RL）在提升大型语言模型（LLMs）通用推理能力方面的巨大潜力。尽管DeepSeek-R1及后续相关研究主要聚焦于将RL应用于竞赛编程和数学问题，本文仍提出了SWE-RL——首个将基于RL的LLM推理能力规模化应用于真实软件工程场景的方法。
2025_NIPS_MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
该研究针对现有多模态大语言模型（MLLMs）评估基准局限于单视频理解、无法满足现实场景中多视频分析需求的问题，提出了首个全面的多视频理解评估基准MVU-Eval。多模态大语言模型（MLLMs）的出现将人工智能能力拓展到了视觉模态，但现有评估基准仍局限于单视频理解，忽视了现实场景（如体育分析、自动驾驶）中对多视频理解的关键需求。为填补这一重要空白，我们提出了MVU-Eval——首个用于评估MLLMs多视频理解能力的综合基准。
2025_NIPS_The Unreasonable Effectiveness of Entropy Minimization in LLM Reasoning
熵最小化（EM）训练模型将概率质量更集中于其最有信心的输出。我们表明，仅这一简单目标，无需任何标注数据，就能大幅提升大语言模型（LLMs）在高难度数学、物理和编程任务上的性能。我们探索了三种方法：（1）EM-FT类似于指令微调，最小化token级熵，但基于模型生成的无标注输出；（2）EM-RL：以负熵作为唯一最大化奖励的强化学习；（3）EM-INF：推理时调整logits以降低熵，无需任何训练数据或参数更新。
LLM Weekly（2026.3.2-2026.3.8）
部分非英语语言能力仍较弱，现已在ChatGPT与API以。
Helios: Real Real-Time Long Video Generation Model
我们提出Helios，这是首个14B参数的视频生成模型，在单张NVIDIAH100GPU上运行速度可达19.5FPS，支持分钟级视频生成，同时质量与强基线模型相当。我们在三个关键维度取得突破：（1）无需自强制、误差库或关键帧采样等常用抗漂移启发式方法，仍能保持长视频生成的稳定性；（2）无需KV缓存、稀疏/线性注意力或量化等标准加速技术，实现实时生成；（3）无需并行或分片框架即可完成训练，支持图像扩散级别的批量大小，且80GBGPU内存可同时容纳4个14B模型。
OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every
随着高质量公开文本逐渐枯竭（即"数据墙"现象，Villalobos等人，2022），预训练正从追求更多令牌转向追求更高质量的令牌。然而，现有方法要么依赖忽略训练动态的启发式静态过滤器，要么使用基于原始梯度的动态但与优化器无关的标准。本文提出OPUS（优化器诱导的投影效用选择），这是一种动态数据选择框架，在优化器诱导的更新空间中定义效用。OPUS通过将现代优化器塑造的有效更新投影到来自稳定、分布内代理的目标方向，对候选样本进行评分。
THE DEVIL BEHIND MOLTBOOK: ANTHROPIC SAFETY IS ALWAYS VANISHING IN SELF-EVOLVING AI SOCIETIES
基于大型语言模型（LLMs）构建的多智能体系统，为可扩展集体智能与自进化提供了极具前景的范式。理想情况下，此类系统应能在完全闭环中实现持续自我提升，同时保持稳健的安全对齐——我们将这种组合称为“自进化三难困境”。然而，本文通过理论与实证双重证明：同时满足持续自进化、完全隔离与安全不变性的智能体社会是不可能存在的。借助信息论框架，我们将安全性形式化为与人类价值分布的偏离程度，从理论上论证了隔离式自进化会引发统计盲点，导致系统安全对齐不可逆退化。
Experiential Reinforcement Learning
带可验证奖励的强化学习（RLVR）已成为将大型语言模型（LLM）适配为交互智能体的主流范式，但该方法在稀疏与延迟反馈场景下存在显著局限。在此类场景中，智能体需从标量奖励中隐式推断行为修正方式，导致学习过程不稳定、样本效率低下。受人类体验式学习机制启发，本文提出体验式强化学习（ERL）这一新训练范式，将显式的“经验—反思—内化”循环嵌入强化学习流程。ERL首先生成初始行为尝试，接收环境反馈后，生成能够识别错误并提出改进方向的结构化反思；
Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs
大语言模型（LLMs）的下游性能高度依赖训练后数据的多样性。现有构建训练后数据的方法多采用文本层面的指标量化多样性，这类指标仅能捕捉语言表层变异，却难以反映决定下游性能的任务相关特征。本文提出特征激活覆盖率（FAC），在可解释的特征空间中量化数据多样性。基于该指标，进一步提出多样性驱动的数据合成框架：首先通过稀疏自编码器（SAE）识别种子数据集中的缺失特征，再生成明确体现这些特征的合成样本。实验表明，该方法在指令跟随、毒性检测、奖励建模和行为引导等多个任务上，持续提升数据多样性和下游性能。
