Loading...
现实世界中的强化学习要求智能体在无需昂贵重新训练的情况下适应未知环境条件。上下文马尔可夫决策过程（cMDP）为这一挑战提供了建模框架，但现有方法通常需要显式的上下文变量（如摩擦力、重力），这限制了其在上下文隐藏或难以测量场景中的应用。本文提出动态对齐潜在想象（DALI）框架，该框架集成于Dreamer架构，能够从智能体与环境的交互中推断潜在上下文表示。通过训练自监督编码器预测前向动力学，DALI生成可指导决策的表示，为世界模型和策略提供条件，搭建起感知与控制之间的桥梁。
2025_NIPS_CIDD: Collaborative Intelligence for Structure-Based Drug Design Empowered by LLMs
基于结构的分子生成是早期药物发现的关键环节，能够设计出针对特定蛋白质靶点的化合物。然而，尽管3D生成模型近年来取得了进展（尤其是在提升对接分数方面），这些方法往往会产生不常见且本质上不合理的分子结构，偏离类药物化学空间。为量化这一问题，我们提出了一种新的指标——分子合理性比率（MRR），用于衡量结构合理性，并揭示了现有模型与真实世界获批药物之间的关键差距。
2025_NIPS_CALM: Culturally Self-Aware Language Models
文化意识是语言模型理解并适应多元文化语境的核心能力。然而，现有多数方法将文化视为静态背景知识，忽视其动态演化特性，导致在需要真正文化敏感性的下游任务中可靠性不足。本文提出CALM框架，旨在为语言模型赋予文化自我意识。CALM将任务语义与显式文化概念、隐式文化信号分离，通过对比学习将其构建为结构化文化聚类；随后借助跨注意力机制实现聚类间的细粒度交互对齐，并通过混合专家（MoE）机制沿特定文化维度进行自适应整合。
2025_NIPS_Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning
大型语言模型（LLMs）的最新进展凸显了微调（FT）技术在使模型适配特定任务中的关键作用，尤其是在从头重新训练计算成本过高的场景下。微调允许LLMs利用任务或领域特定数据，生成更能满足目标应用需求的模型。然而，传统微调方法常面临灾难性遗忘和数据效率低下的问题，限制了其实际应用价值。为解决这些挑战，本文提出DEAL框架——一种将低秩适配（LoRA）与持续微调策略相结合的新型方案。该框架通过整合知识保留模块和自适应参数更新模块，在保持效率的同时克服了现有微调方法的局限性。
2025_NIPS_Convergence Theorems for Entropy-Regularized and Distributional Reinforcement Learning
在寻求最优策略的过程中，强化学习（RL）方法通常只关注策略的期望回报，而忽略其其他特性。因此，即使方法取得成功，也难以描述所学到的策略具体是什么以及会产生何种行为。本文提出了一个策略优化的理论框架，通过趋近于零的熵正则化和温度解耦策略，保证收敛到特定的最优策略。随着正则化温度趋近于零，我们的方法能实现可解释、保多样性的最优策略，并确保策略衍生对象（价值函数和回报分布）的收敛性。例如，在我们方法的一个具体实例中，最终得到的策略会均匀采样所有最优动作。
2025_NIPS_AgentAuditor: Human-level Safety and Security Evaluation for LLM Agents
尽管基于大语言模型（LLM）的智能体发展迅速，但对其安全性和安保能力的可靠评估仍是一项重大挑战。现有基于规则或LLM的评估器往往会遗漏智能体逐步行动中的风险、忽视微妙含义、无法识别小问题的累积效应，并且会被模糊的安全或安保规则所混淆。为克服这一评估困境，我们提出AgentAuditor——一个通用、无需训练、记忆增强的推理框架，能够让LLM评估器模拟人类专家评估者的能力。AgentAuditor通过让LLM自适应提取结构化语义特征（如场景、风险、行为）并生成相关的思维链推理轨迹，为过往交互构建经验记忆。
2025_NIPS_metaTextGrad: Automatically optimizing language model optimizers
提出元优化概念：首次明确现有LLM优化器需通过元优化实现任务对齐与有效组合，突破人工设计优化器的局限性。双组件协同优化：创新性地将提示词优化与结构优化结合，既解决单个优化器的任务适配问题，又发挥多优化器的协同优势。理论支撑：通过定理证明（基于Hoeffding不等式），验证了元优化后优化器在测试集上的性能逼近最优值，为框架提供理论依据。实用性与扩展性：支持黑盒LLM调用（无需访问模型内部状态和梯度），仅需少量训练数据和评估指标即可适配新任务；跨模型/跨数据集迁移能力强，且成本可控。摘要。
2025_NIPS_How do Transformers Learn Implicit Reasoning?
近期研究表明，大型语言模型（LLMs）能够进行隐式多跳推理——无需显式表述中间步骤即可生成正确答案，但这一能力背后的机制仍未被充分理解。本文通过在受控符号环境中从零训练Transformer模型，探究此类隐式推理能力的形成过程。分析结果揭示了一个三阶段发展轨迹：初始阶段为记忆阶段，随后是分布内泛化阶段，最终达到跨分布泛化阶段。研究发现，原子三元组的训练并非必需，但能加速学习进程；而第二跳泛化能力的形成依赖于训练中对特定组合结构的查询级暴露。
2025_NIPS_Stackelberg Self-Annotation: A Robust Approach to Data-Efficient LLM Alignment
该研究针对大语言模型（LLM）对齐中依赖海量人工标注数据、易受标注噪声影响的问题，提出了Stackelberg博弈偏好优化（SGPO）框架及其实例化算法SSAPO。核心是将对齐建模为政策（领导者）与最坏情况偏好分布（追随者）的双人Stackelberg博弈，在ϵ-Wasserstein球内保证O(ϵ)有界遗憾，实现对标注噪声的鲁棒性。
2025_NIPS_Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty ...
尽管语言模型（LMs）在代码生成能力上取得了显著进步，但它们在生成平衡括号等简单句法任务中仍存在困难。本研究调查了不同规模（124M-7B参数）语言模型中这些错误持续存在的潜在机制，旨在理解并缓解此类错误。研究发现，语言模型依赖多个组件（注意力头和前馈神经网络神经元）独立进行预测：部分组件能在广泛的输入范围内可靠地预测正确结果（即实现“合理机制”），而其他组件可靠性较低，会通过推广错误标记引入噪声（即实现“缺陷机制”）。当缺陷机制盖过合理机制并主导预测时，错误就会发生。
2025_NIPS_PARALLELPROMPT: Extracting Parallelism from Large Language Model Queries
大语言模型（LLM）服务系统通常将用户提示视为整体输入，通过解码优化或查询间批处理来提升推理效率。然而，许多真实场景的提示包含潜在语义并行性——即可分解结构，其中子任务可独立执行以降低延迟，同时保留原始语义。本文提出PARALLELPROMPT，这是首个用于衡量自然用户提示中查询内并行性的基准测试集。该数据集包含3.7万+来自公开LLM聊天日志的真实提示，每个提示均标注结构化schema，涵盖任务模板、共享上下文和迭代输入。这些schema通过LLM辅助提示结合规则化多语言验证提取。
2025_NIPS_ForgerySleuth: Empowering Multimodal Large Language Models for Image Manipulation Detectio
多模态大语言模型为各类多模态任务开辟了新可能，但它们在图像篡改检测中的潜力尚未得到挖掘。当直接应用于图像篡改检测（IMD）任务时，多模态大语言模型生成的推理文本常存在幻觉现象和过度思考问题。为解决这一问题，我们提出ForgerySleuth框架，利用多模态大语言模型进行全面的线索融合，并生成指示具体篡改区域的分割结果。此外，我们通过Chain-of-Clues提示词构建了ForgeryAnalysis数据集，该数据集包含分析与推理文本，实现了图像篡改检测任务的升级。
2025_NIPS_Learning Human-Like RL Agents through Trajectory Optimization with Action Quantization
该研究聚焦深度强化学习（DRL）中智能体行为非自然化的问题，提出将“类人化”转化为轨迹优化问题，通过宏动作量化（MAQ）框架，从人类演示数据中提取类人宏动作，约束智能体在类人行为空间内决策。实验基于D4RLAdroit基准任务（开门、锤钉子等），将MAQ与IQL、SAC、RLPD等主流RL算法结合，通过轨迹相似度metrics（DTW、Wasserstein距离）和类图灵测试的人类评估，验证了MAQ在不显著牺牲任务成功率的前提下，大幅提升智能体行为类人度。
2025_NIPS_Diffusion Transformers for Imputation: Statistical Efficiency and Uncertainty Quantific...
该研究聚焦时间序列数据缺失值插补问题，针对扩散模型在插补任务中缺乏理论支撑、性能受缺失模式影响等痛点，以扩散Transformer（DiT）为核心展开研究。通过高斯过程数据建模，推导了DiT学习缺失值条件分布的样本复杂度边界，提出基于算法展开的分数函数近似理论，构建了可靠的缺失值置信区间，并设计混合掩码训练策略提升模型对不同缺失模式的适应性。实验在高斯过程、潜在高斯过程及真实数据集上验证了理论的有效性，DiT在插补精度和不确定性量化上均优于CSDI、GP-VAE等基准模型。
2025_NIPS_Reinforcement Learning for Out-of-Distribution Reasoning in LLMs: An Empirical Study on...
研究背景：DRG编码是医院报销和运营的关键，但人工分配耗时耗力；LLMs因预训练语料缺乏私密临床/计费数据，在该OOD任务中表现不佳，且现有方法可解释性不足。模型构建：基于Qwen2.5-7B模型，采用组相对策略优化（GRPO）强化学习框架，结合规则化奖励函数，设计了动态重采样、认知行为干预、KL散度衰减等一系列算法增强策略。核心发现DRG-SAPPHIRE在MIMIC-IV基准数据集上实现54.8%的准确率，超越DRG-LLaMA等现有模型，且能生成经医生验证的编码推理过程，提升可解释性；
2025_NIPS_Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible ...
我们研究了现代霍普菲尔德模型及核化霍普菲尔德模型（KHMs）的最优记忆容量，这类模型是与Transformer兼容的稠密联想记忆模型。通过建立KHMs的记忆配置与信息论中球面码的关联，我们进行了严格分析。具体而言，我们将存储的记忆集视为一种特殊的球面码，这使得KHMs的记忆问题可转化为超球面上的点排列问题。我们发现，当特征空间允许记忆形成最优球面码时，KHMs达到最优容量。
2025_NIPS_FlexOLMo: Open Language Models for Flexible Data Use
我们提出FLEXOLMO，一类新型语言模型（LM），其支持：（1）无需数据共享的分布式训练——不同模型参数独立训练于封闭数据集；（2）数据灵活推理——这些参数及其关联数据可在推理时灵活包含或排除，无需额外训练。FLEXOLMO采用混合专家（MoE）架构，每个专家独立训练于封闭数据集，之后通过一种新的领域感知路由整合，无需任何联合训练。FLEXOLMO在FLEXMIX语料库上训练，该语料库由我们构建，包含公开可用数据集与7个领域专属数据集，模拟真实封闭数据集场景。
2025_NIPS_TensorRL-QAS: Reinforcement learning with tensor networks for improved quantum architec...
该文提出TensorRL-QAS框架，将张量网络（TN）与强化学习（RL）结合用于量子架构搜索（QAS），解决传统RL-basedQAS的可扩展性问题。核心流程为：用DMRG获取目标基态的矩阵乘积态（MPS）近似、通过黎曼优化将MPS映射为量子电路、基于RL-QAS进一步优化电路。
2025_NIPS_DiffuserLite: Towards Real-time Diffusion Planning
该研究针对现有扩散规划（DiffusionPlanning）方法决策频率低、难以满足实时应用需求的问题，提出了轻量级框架。核心思路是通过规划细化过程（PRP）实现“粗到细”的轨迹生成，减少冗余信息建模，在保证性能的同时大幅提升决策速度。扩散规划已被公认为多个领域中有效的决策范式。其生成高质量长时域轨迹的能力使其成为极具前景的研究方向。然而，现有扩散规划方法因高昂的迭代采样成本，存在决策频率低的问题。为缓解这一现状，我们提出DiffuserLite——一种超快速、轻量级的扩散规划框架。
2025_NIPS_Matching Markets Meet LLMs: Algorithmic Reasoning with Ranked Preferences
大型语言模型（LLMs）的兴起推动了推理任务的进步，从程序合成到科学假设生成均有涉猎，但它们在组合领域处理排序偏好和结构化算法的能力仍未得到充分探索。本文研究匹配市场这一核心框架——其广泛应用于资源分配、拼车等场景，需要协调个体排序偏好以确保稳定结果。我们在一系列基于偏好的推理任务（从稳定匹配生成、不稳定性检测、不稳定性解决到细粒度偏好查询）上评估了7个最先进的模型，系统揭示它们在处理排序输入时的逻辑和算法局限。
