Loading...
该研究聚焦于解决大型语言模型（LLMs）评估中存在的计算成本高、标签效率低的问题，提出了一套可规模化的主动测试（ActiveTesting）方案。背景与问题：现有LLMs评估面临双重挑战——模型复杂度提升导致评估成本激增，且数据泄露风险要求动态获取新评估数据；传统主动测试虽能提高标签效率，但因代理模型训练、预测计算等环节的高成本，难以适配LLMs。核心优化策略代理模型训练：用少量初始测试数据通过上下文学习（in-contextlearning）构建代理模型，固定不变，避免重复梯度训练；
2025_NIPS_CGBENCH: Benchmarking Language Model Scientific Reasoning for Clinical Genetics Research
临床遗传学中，基因和变异注释是个性化医疗的核心，但传统人工方法耗时费力，且现有LLM基准多聚焦窄化任务，与真实科研场景脱节。现有LLM在科学文献解读中存在幻觉、证据强度误判等问题，缺乏针对临床遗传学复杂任务的评估工具。变异和基因解读是个性化医疗和转化生物医学的基础。然而，传统方法依赖人工且耗时费力。生成式语言模型（LMs）可助力这一过程，加速基础研究向临床可行见解的转化。尽管现有基准已尝试量化LMs解读科学数据的能力，但这些研究聚焦于无法迁移到真实科研场景的窄化任务。
2025_NIPS_Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers
随着大型语言模型在实际应用中日益普及，处理远超模型预训练上下文限制的超长文本已成为一项关键挑战。现有高效长上下文处理方法虽展现出潜力，但基于循环压缩的方法难以保证信息完整性，而随机访问方法则需要大量内存资源。本文提出REFORM，一种通过两阶段方法高效处理长上下文的新型推理框架：首先，在维护压缩KV缓存的同时增量处理输入块，构建跨层上下文嵌入，并采用早停策略提升效率；其次，通过相似度匹配识别并收集关键token，选择性地重计算KV缓存。
2025_NIPS_SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution
近期发布的DeepSeek-R1已证明强化学习（RL）在提升大型语言模型（LLMs）通用推理能力方面的巨大潜力。尽管DeepSeek-R1及后续相关研究主要聚焦于将RL应用于竞赛编程和数学问题，本文仍提出了SWE-RL——首个将基于RL的LLM推理能力规模化应用于真实软件工程场景的方法。
2025_NIPS_MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
该研究针对现有多模态大语言模型（MLLMs）评估基准局限于单视频理解、无法满足现实场景中多视频分析需求的问题，提出了首个全面的多视频理解评估基准MVU-Eval。多模态大语言模型（MLLMs）的出现将人工智能能力拓展到了视觉模态，但现有评估基准仍局限于单视频理解，忽视了现实场景（如体育分析、自动驾驶）中对多视频理解的关键需求。为填补这一重要空白，我们提出了MVU-Eval——首个用于评估MLLMs多视频理解能力的综合基准。
2025_NIPS_The Unreasonable Effectiveness of Entropy Minimization in LLM Reasoning
熵最小化（EM）训练模型将概率质量更集中于其最有信心的输出。我们表明，仅这一简单目标，无需任何标注数据，就能大幅提升大语言模型（LLMs）在高难度数学、物理和编程任务上的性能。我们探索了三种方法：（1）EM-FT类似于指令微调，最小化token级熵，但基于模型生成的无标注输出；（2）EM-RL：以负熵作为唯一最大化奖励的强化学习；（3）EM-INF：推理时调整logits以降低熵，无需任何训练数据或参数更新。
LLM Weekly（2026.3.2-2026.3.8）
部分非英语语言能力仍较弱，现已在ChatGPT与API以。
Helios: Real Real-Time Long Video Generation Model
我们提出Helios，这是首个14B参数的视频生成模型，在单张NVIDIAH100GPU上运行速度可达19.5FPS，支持分钟级视频生成，同时质量与强基线模型相当。我们在三个关键维度取得突破：（1）无需自强制、误差库或关键帧采样等常用抗漂移启发式方法，仍能保持长视频生成的稳定性；（2）无需KV缓存、稀疏/线性注意力或量化等标准加速技术，实现实时生成；（3）无需并行或分片框架即可完成训练，支持图像扩散级别的批量大小，且80GBGPU内存可同时容纳4个14B模型。
OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every
随着高质量公开文本逐渐枯竭（即"数据墙"现象，Villalobos等人，2022），预训练正从追求更多令牌转向追求更高质量的令牌。然而，现有方法要么依赖忽略训练动态的启发式静态过滤器，要么使用基于原始梯度的动态但与优化器无关的标准。本文提出OPUS（优化器诱导的投影效用选择），这是一种动态数据选择框架，在优化器诱导的更新空间中定义效用。OPUS通过将现代优化器塑造的有效更新投影到来自稳定、分布内代理的目标方向，对候选样本进行评分。
THE DEVIL BEHIND MOLTBOOK: ANTHROPIC SAFETY IS ALWAYS VANISHING IN SELF-EVOLVING AI SOCIETIES
基于大型语言模型（LLMs）构建的多智能体系统，为可扩展集体智能与自进化提供了极具前景的范式。理想情况下，此类系统应能在完全闭环中实现持续自我提升，同时保持稳健的安全对齐——我们将这种组合称为“自进化三难困境”。然而，本文通过理论与实证双重证明：同时满足持续自进化、完全隔离与安全不变性的智能体社会是不可能存在的。借助信息论框架，我们将安全性形式化为与人类价值分布的偏离程度，从理论上论证了隔离式自进化会引发统计盲点，导致系统安全对齐不可逆退化。
Experiential Reinforcement Learning
带可验证奖励的强化学习（RLVR）已成为将大型语言模型（LLM）适配为交互智能体的主流范式，但该方法在稀疏与延迟反馈场景下存在显著局限。在此类场景中，智能体需从标量奖励中隐式推断行为修正方式，导致学习过程不稳定、样本效率低下。受人类体验式学习机制启发，本文提出体验式强化学习（ERL）这一新训练范式，将显式的“经验—反思—内化”循环嵌入强化学习流程。ERL首先生成初始行为尝试，接收环境反馈后，生成能够识别错误并提出改进方向的结构化反思；
Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs
大语言模型（LLMs）的下游性能高度依赖训练后数据的多样性。现有构建训练后数据的方法多采用文本层面的指标量化多样性，这类指标仅能捕捉语言表层变异，却难以反映决定下游性能的任务相关特征。本文提出特征激活覆盖率（FAC），在可解释的特征空间中量化数据多样性。基于该指标，进一步提出多样性驱动的数据合成框架：首先通过稀疏自编码器（SAE）识别种子数据集中的缺失特征，再生成明确体现这些特征的合成样本。实验表明，该方法在指令跟随、毒性检测、奖励建模和行为引导等多个任务上，持续提升数据多样性和下游性能。
Discovering Multiagent Learning Algorithms with Large Language Models
多智能体强化学习（MARL）在不完美信息博弈中的大部分进展，历来依赖于对基线算法的人工迭代优化。尽管反事实遗憾最小化（CFR）和策略空间响应预言机（PSRO）等基础算法家族拥有坚实的理论基础，但其最优变体的设计往往需要依赖人类直觉来遍历庞大的算法设计空间。本文提出使用AlphaEvolve——一款由大语言模型驱动的进化编码智能体——来自动发现新型多智能体学习算法。我们通过为两种截然不同的博弈论学习范式进化出新型变体，验证了该框架的通用性。
The Appeal and Reality of Recycling LoRAs with Adaptive Merging
本文聚焦于LoRA（低秩适配）模块的回收与自适应合并技术，核心研究如何利用公开模型仓库中用户贡献的“真实场景”LoRA模块提升下游任务性能。自适应合并的有限优势：自适应合并方法虽能优于基础模型，但与直接在目标任务数据上训练新LoRA相比，未展现出显著且稳定的性能提升。LoRA选择的无关性：当合并池包含目标任务LoRA时，随机选择LoRA与基于参数相似度、任务性能的精细化选择策略效果相当；甚至随机初始化参数的LoRA也能达到类似性能，说明其优势可能源于正则化效应而非跨任务知识迁移。正迁移的条件限制。
A Very Big Video Reasoning Suite
视频模型的快速发展主要集中在视觉质量上，其推理能力尚未得到充分探索。视频推理将智能根植于时空一致的视觉环境中，这种环境超越了文本天然能够捕捉的范畴，支持对连续性、交互性和因果关系等时空结构的直观推理。然而，由于缺乏大规模视频推理训练数据，系统研究视频推理及其缩放行为受到了阻碍。为填补这一空白，我们提出了VBVR（VeryBigVideoReasoning）数据集——一个规模空前的资源库，包含遵循原则性分类法的200个精选推理任务，以及超过100万个视频片段（规模约为现有数据集的三个数量级）。
The Trinity of Consistency as a Defining Principle for General World Models
构建能够学习、模拟和推理客观物理定律的世界模型，是追求人工通用智能（AGI）的核心挑战。以Sora为代表的视频生成模型近期取得的进展，展示了数据驱动的缩放定律在逼近物理动力学方面的潜力，而新兴的统一多模态模型（UMM）则为融合感知、语言和推理提供了极具前景的架构范式。尽管取得了这些进步，该领域仍缺乏一个系统性的理论框架来定义通用世界模型的核心必备属性。本文提出，世界模型必须建立在“一致性三位一体”的基础上：作为语义接口的模态一致性、作为几何基础的空间一致性，以及作为因果引擎的时间一致性。
AI Agents as Universal Task Solvers: It’s All About Time
我们将AI智能体描述为随机动力学系统，并将推理学习问题框架化为转导推理：与经典归纳学习中逼近过往数据分布不同，其目标是捕获数据的算法结构，以减少求解新任务所需的时间。在这一视角下，过往经验中的信息不仅像香农经典理论所述那样用于降低模型不确定性，更用于减少求解未预见任务的计算开销。在存在验证器或奖励函数的可验证场景中，我们建立了三大核心结果：首先，我们证明新任务的最优加速比与该任务和训练数据共享的算法信息严格相关，为推理模型中实证观察到的幂律缩放提供了理论证明；
Does Your Reasoning Model Implicitly Know When to Stop Thinking?
大型推理模型（LRMs）的最新进展通过长思维链（CoT）显著提升了复杂推理任务的性能。然而，这种方法往往导致大量冗余，损害计算效率并在实时应用中造成显著延迟。近期研究表明，更长的推理链通常与正确性无关，甚至可能影响准确率。在对这一现象的深入分析中，我们意外发现并实证验证：LRMs隐含知道合适的思考停止时机，但这一能力被当前的采样范式所掩盖。基于此观察，我们提出SAGE（自我感知引导的高效推理）——一种新型采样范式，用以释放这种高效推理潜力。
2025_NIPS_Solving Inequality Proofs with Large Language Models
不等式证明在多个科学和数学领域至关重要，它考验着发现紧边界、策略性应用定理等高级推理能力。这使其成为大型语言模型（LLMs）一个独特且具有挑战性的前沿方向，能提供超越通用数学问题求解的深刻见解。该领域的进展受限于现有数据集——它们往往数量稀缺、人为合成或形式僵化。为解决这一问题，我们提出一种非正式但可验证的任务构建方式，将不等式证明重构为两个可自动检查的子任务：边界估计和关系预测。
2025_NIPS_SymRTLO: Enhancing RTL Code Optimization with LLMs and Neuron-Inspired Symbolic Reasoning
寄存器传输级（RTL）代码优化对于在综合早期阶段提升数字电路的效率和性能至关重要。基于综合反馈的手动改写虽能产出高质量结果，但耗时且易出错。大多数现有编译器方法难以处理复杂的设计约束。基于大语言模型（LLM）的方法已成为解决这些挑战的潜在方案，但这类方法往往难以确保生成代码与给定提示（prompt）的一致性。本文提出SymRTLO，一种神经符号框架，将LLM与符号推理相结合，实现RTL代码的高效优化。
