Loading...
我们展示了如何将人类可读的程序“编译”为标准的仅解码器Transformer模型。我们的编译器Tracr生成具有已知结构的模型，该结构可用于设计实验——例如，我们用它来研究执行多步算法的Transformer中的“叠加态”（superposition）。此外，Tracr编译模型的已知结构可作为评估可解释性方法的真值依据。通常情况下，由于Transformer所学的“程序”未知，我们无法判断一项解释是否成功。我们通过实现和分析多个程序（包括计算令牌频率、排序和括号检查）展示了该方法的有效性。
2025_NIPS_Pre-RMSNorm and Pre-CRMSNorm Transformers: Equivalent and Efficient Pre-LN Transformers
该研究聚焦Transformer中的归一化技术（LayerNorm与RMSNorm）差异，旨在统一主流Pre-LNTransformer架构并提升效率。背景与问题：LayerNorm（平移+缩放）和RMSNorm（仅缩放）是Transformer中两种关键归一化技术，前者在经典模型（如GPT、ViT）中广泛应用，后者因计算高效在近年大模型（如LLaMA、Chinchilla）中流行，但二者难以直接转换，且RMSNorm的表征能力存疑，学界尚未形成统一偏好。核心发现。
2025_NIPS_Object-Centric Learning for Real-World Videos by Predicting Temporal Feature Similarities
无监督基于视频的目标中心学习是从大规模无标签视频集合中学习结构化表示的重要方向，但现有方法仅能在受限领域的真实世界数据集上实现扩展。近期研究表明，重建预训练的自监督特征可在无约束真实世界图像数据集上获得目标中心表示。基于这一思路，本文提出一种新的方式，以时序特征相似性损失的形式利用此类预训练特征。该损失编码了图像补丁之间的语义和时序相关性，是引入运动偏置以实现目标发现的自然方式。我们证明，该损失在具有挑战性的合成MOVi数据集上实现了当前最优性能。
2025_NIPS_Thrust: Adaptively Propels Large Language Models with External Knowledge
尽管大规模预训练语言模型（PTLMs）被证明在其模型参数中编码了丰富的知识，但PTLMs中的固有知识可能存在晦涩或静态的问题，因此外部知识是必要的。然而，现有的信息检索技术可能成本高昂，甚至可能引入噪声性、有时具有误导性的知识。为解决这些挑战，我们提出了实例级自适应外部知识推进方法（IAPEK），仅在必要时进行检索。为实现这一目标，我们提出了一种新颖的度量指标Thrust，用于衡量PTLM是否具备解决某个实例的足够知识，该指标利用少量已见实例的表征分布。
2025_NIPS_AdaPlanner: Adaptive Planning from Feedback with Language Models
大型语言模型（LLMs）近年来已展现出作为自主智能体执行序贯决策任务的潜力。然而，大多数现有方法要么贪心执行动作而不进行规划，要么依赖无法适应环境反馈的静态计划。因此，随着问题复杂度和计划时间跨度的增加，LLM智能体的序贯决策性能会下降。本文提出一种闭环方法AdaPlanner，允许LLM智能体根据环境反馈自适应优化其生成的计划。在AdaPlanner中，LLM智能体通过计划内和计划外两种优化策略，基于反馈对计划进行自适应调整。
2025_NIPS_QuIP: 2-Bit Quantization of Large Language Models With Guarantees
本文研究大型语言模型（LLMs）的训练后参数量化。我们提出量化相干处理（QuIP），这是一种基于以下洞察的新方法：量化效果得益于非相干的权重矩阵和海森矩阵，即权重幅度均匀，且需要精确舍入的方向与坐标轴不对齐。QuIP包含两个步骤：（1）最小化二次代理目标的自适应舍入过程；（2）通过随机正交矩阵乘积确保权重和海森矩阵非相干的高效预处理与后处理。我们为QuIP补充了首个针对LLM规模量化算法的理论分析，并证明该理论同样适用于现有方法OPTQ。
2025_NIPS_Operation-Level Early Stopping for Robustifying Differentiable NAS
可微分神经架构搜索（DARTS）是一种简单高效的神经架构搜索方法，已被广泛应用于各类机器学习任务。然而，DARTS仍面临若干鲁棒性问题，其中最主要的是跳接连接的主导现象。由此产生的架构充斥着无参数操作，最终导致性能崩溃。现有研究认为，与其他参数化操作相比，跳接连接在优化过程中具有额外优势，并提出通过消除这些额外优势来缓解其主导地位。本文从一个简单直接的视角分析该问题，提出跳接连接的主导源于：参数化操作过度拟合训练数据，而架构参数却在验证数据上训练，这一矛盾导致了不良结果。
2025_NIPS_Quasi-Monte Carlo Graph Random Features
我们提出一种新机制，用于提升近期提出的图随机特征（GRFs）类方法的精度[Choromanski,2023]。该方法通过对偶终止（antithetictermination）诱导算法中随机游走长度间的负相关性——这是一种可采样更多样化随机游走的流程，其本身可能具有独立研究价值。该机制实现简单，可直接嵌入现有框架。我们为这类准蒙特卡洛图随机特征（q-GRFs）的性质提供了强有力的理论保证，证明在温和条件下，它们能给出方差更低的2-正则拉普拉斯核估计量。值得注意的是，我们的结果适用于任意图拓扑结构。
2025_NIPS_Replicable Reinforcement Learning
可复现性定义：参考Impagliazzo等人的框架，若算法在相同分布的不同样本上运行，以高概率输出相同结果，则称其为ρ-可复现（ρ为可复现性参数）。强化学习设定：基于折扣马尔可夫决策过程（MDP），假设状态空间S和动作空间A有限，奖励函数确定且已知，目标是找到最大化累积折扣奖励的策略。研究场景：涵盖两种核心场景——并行采样场景（无需考虑探索挑战，通过生成模型获取样本）和episodic探索场景（需智能体主动探索环境以获取最优策略）。
OpenWorldLib: A Unified Codebase and Definition of Advanced World Models
论文给出世界模型标准化定义：以感知为核心，具备交互、长时记忆能力，用于理解与预测复杂世界的模型/框架，强调感知-交互-记忆-预测闭环，而非单纯生成任务。世界模型作为人工智能领域极具前景的研究方向已受到广泛关注，但目前仍缺乏清晰、统一的定义。本文提出——一套面向高级世界模型的全面、标准化推理框架。结合世界模型的发展历程，我们给出明确界定：世界模型是以感知为核心、具备交互与长时记忆能力、用于理解和预测复杂世界的模型或框架。我们进一步系统梳理世界模型的核心能力范畴。
2025_NIPS_Leveraging Pre-trained Large Language Models to Construct and Utilize World Models for ...
该研究针对大型语言模型（LLMs）直接用于规划任务时存在的正确性不足、依赖在线反馈、人力成本高等问题，提出了一种基于模型的新范式：利用LLMs构建规划领域定义语言（PDDL）格式的显式世界模型，再结合独立于领域的可靠规划器完成任务规划。PDDL模型构建：通过提示工程（含任务说明、示例、领域上下文、动作描述及动态更新的谓词列表），引导LLMs（重点验证GPT-4）生成包含动作参数、前置条件、效果及谓词定义的PDDL模型，支持对少约束或特定领域动作的建模；模型纠错。
2025_NIPS_Revisiting Out-of-distribution Robustness in NLP: Benchmarks, Analysis, and LLMs Evalua...
本文重新审视NLP领域的分布外（OOD）鲁棒性研究，指出传统基准存在分布偏移挑战不足、数据集相似度高等问题。为此提出标准化基准构建协议，打造涵盖5类任务（情感分析、毒性检测、自然语言推理、命名实体识别、抽取式问答）、20个数据集的BOSS基准套件。通过实验分析了ID（分布内）与OOD性能的三类关联模式，评估了5种鲁棒性增强方法和5种大语言模型（LLMs），发现vanilla微调仍是强基线，LLMs的上下文学习在OOD场景更具优势，而领域特定模型微调在ID数据充足时表现更优。
2025_NIPS_For SALE: State-Action Representation Learning for Deep Reinforcement Learning
在强化学习（RL）领域，表征学习已被证实是处理复杂基于图像任务的有效工具，但在物理控制等低维状态环境中却常被忽视。本文提出SALE（State-ActionRepresentationLearning），这是一种新颖的嵌入学习方法，能够建模状态与动作之间的细微交互，从而实现从低维状态中高效学习表征。我们深入研究了这些嵌入的设计空间，并强调了重要的设计考量。将SALE与强化学习中的检查点适配技术整合到TD3中，形成了TD7算法，该算法显著优于现有的连续控制算法。
2025_NIPS_Natural Actor-Critic for Robust Reinforcement Learning with Function Approximation
我们研究鲁棒强化学习（RL），目标是确定一种性能优良的策略，该策略能够抵御训练模拟器与测试环境之间的模型失配。以往基于策略的鲁棒RL算法主要关注在便于鲁棒策略评估的不确定性集合下的表格型设置，但当状态数量增加时，这些算法便不再易于处理。为此，我们提出两种新型不确定性集合表述，一种基于双采样，另一种基于积分概率度量。两种表述均能使大规模鲁棒RL变得易于处理，即便仅能访问模拟器。我们提出一种鲁棒自然演员-评论员（RNAC）方法，该方法融合了新的不确定性集合并采用函数逼近。
2025_NIPS_Understanding and Addressing the Pitfalls of Bisimulation-based Representations in Offl...
该研究聚焦双模拟（bisimulation）方法在离线强化学习（OfflineRL）中的性能瓶颈，通过理论分析和实验验证，揭示了双模拟方法在离线场景下表现不佳的核心原因，并提出针对性改进方案。离线数据集的缺失转移会破坏双模拟原理，导致估计失效；奖励缩放对双模拟测量范围和价值误差有关键影响，处理不当会引发表征崩溃；基于期望分位数算子（expectileoperator）和定制化奖励缩放策略，对现有双模拟算法（MICo、SimSR）进行改进；
TriAttention: Efficient Long Reasoning with Trigonometric KV Compression
大语言模型的长文本推理会产生严重的KV缓存显存瓶颈。主流KV缓存压缩方法利用近期RoPE后查询的注意力分数评估KV重要性，但查询在RoPE中会随位置旋转，导致有效代表性查询极少，进而造成关键Token筛选不佳、推理不稳定。为解决该问题，我们转向RoPE前向量空间，发现Q与K向量在绝大多数注意力头中高度聚集在固定非零中心，且跨位置保持稳定——即Q/K聚集性。我们证明，这种聚集性会使查询优先关注特定相对距离的Key，中心通过三角级数决定偏好的距离区间。
Dive into Claude Code: The Design Space of Today‘s and Future AI Agent Systems
ClaudeCode是一款具备智能体能力的编程工具，可代表用户执行shell命令、编辑文件并调用外部服务。本研究通过分析其公开的TypeScript源码，完整阐述了系统架构，并与独立开源AI智能体系统OpenClaw展开对比——二者面向相同设计问题，却因部署场景不同给出迥异方案。分析提炼出驱动架构的5项人类价值理念，经由13项设计原则落地为具体实现。系统核心是调用模型、运行工具并循环迭代的简单while循环；
RAGEN-2: Reasoning Collapse in Agentic RL
我们发现大语言模型智能体强化学习中存在模板崩塌这一普遍失效模式：智能体生成表面多样、格式规范且奖励稳定的输出，却不依赖输入，转而依赖与任务无关的万能模板。传统监控指标（边际熵、奖励、格式有效性）仅衡量输入内差异，不衡量输入–输出相关性，无法检测该崩塌。我们将根源追溯至策略梯度中的信噪比失衡：任务相关信号与来自KL散度和熵正则化的噪声竞争，低信噪比样本主导参数更新，驱使智能体趋向与输入无关的固定模板。为诊断崩塌，我们引入输入–输出互信息。
AgentSPEX: An Agent SPecification and EXecution Language
基于大语言模型的智能体系统通常采用反应式提示机制，即单一指令引导模型完成开放式推理与工具调用步骤，这使得控制流与中间状态处于隐式状态，智能体行为难以控制。LangGraph、DSPy、CrewAI等编排框架通过显式工作流定义引入更强的结构化约束，但将工作流逻辑与Python深度耦合，导致智能体难以维护与修改。本文提出AgentSPEX——一种面向LLM智能体工作流的智能体规范与执行语言，支持显式控制流与模块化结构，并配套可定制的智能体执行框架。
Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
混合专家模型（MoE）已成为大语言模型扩展的主流架构：前沿模型通过稀疏专家路由，将总参数与单Token计算解耦。扩展定律表明，在固定激活计算量下，模型质量随总参数可预测提升，MoE通过增加专家数实现这一点。但训练大规模MoE成本高昂，内存需求与设备间通信均随总参数增长。本文提出专家升级（ExpertUpcycling）：在持续预训练（CPT）中通过增加专家数渐进扩展MoE容量。给定训练好的E专家模型，升级算子通过专家复制+路由扩展构建mE专家模型，全程固定Top‑K路由，保持单Token推理成本不变。
