Loading...
OpenAI推出了ChatGPTHealth，这是一个专属加密空间，可将用户的医疗记录和健康类应用程序与ChatGPT相连接，从而提供个性化的非诊断性健康指导。该服务采用数据隔离机制，健康相关对话内容不会用于模型训练，同时支持多重身份验证（MFA）。OpenAI联合260余名医生参与了该功能的研发与评估工作，目前已开放候补申请通道，初期服务范围暂不包含欧洲经济区、瑞士以及英国。
2025_NIPS_LLM-Driven Treatment Effect Estimation Under Inference Time Text Confounding
估计治疗效果对于医疗领域的个性化决策至关重要，但该任务在临床实践中面临独特挑战。训练阶段，治疗效果估计模型通常基于包含详细患者信息的结构化医疗数据集进行训练。然而，在推理阶段，预测往往只能通过文本描述（例如患者自我报告症状的描述）完成，而这些文本描述是原始患者信息的不完整表征。本研究做出三项贡献：（1）我们证实，训练阶段与推理阶段可用数据的差异会导致治疗效果估计产生偏差，并将该问题形式化为“推理时文本混淆”问题——即混淆变量在训练阶段完全可观测，但在推理阶段仅能通过文本部分获取；
2025_NIPS_Empirical Study on Robustness and Resilience in Cooperative Multi-Agent Reinforcement Lear
本文通过82620次大规模实验，系统研究了协作多智能体强化学习（MARL）的鲁棒性（抵御不确定性）和韧性（扰动后恢复能力），核心发现包括：轻度不确定性下优化协作可提升鲁棒性与韧性，但扰动加剧后该关联弱化；鲁棒性和韧性无法跨不确定性模态（观测/动作/环境）或智能体范围（单个/全体）泛化；超参数调优对可信MARL至关重要，部分常用策略（如参数共享、GAE）会损害性能，而早停、高评论家学习率等策略持续有效。
2025_NIPS_From Self-Check to Consensus: Bayesian Strategic Decoding in Large Language Models
大型语言模型在多轮推理过程中存在逻辑不一致问题，这削弱了其在复杂推理任务中的正确性。确保输出既符合事实准确性又契合人类意图的挑战日益凸显。单智能体反思和多智能体辩论等方法往往优先考虑一致性，却以牺牲准确性为代价。为解决这一问题，我们提出了一种新颖的博弈论共识机制，使LLM能够在输出生成的解码阶段进行自我校验。我们的方法将解码过程建模为多阶段贝叶斯解码游戏（BayesianDecodingGame），其中战略互动通过动态收敛达成对最可靠输出的共识，无需人类反馈或额外训练。
2025_NIPS_Can MLLMs Absorb Math Reasoning Abilities from LLMs as Free Lunch?
该研究聚焦于提升多模态大语言模型（MLLMs）的数学推理能力，核心痛点是现有MLLMs在视觉数学推理任务中表现滞后，而传统方法（如高质量数据标注、复杂训练）成本高昂。研究提出一个关键问题：能否让MLLMs无需调优，直接从现成的数学专用LLMs（MathLLMs）中吸收数学推理能力？研究发现，直接使用现有模型融合方法（如TaskArithmetic、TiesMerging）效果不佳，核心原因是MLLMs与MathLLMs的参数空间存在显著差距。
2025_NIPS_MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs
部署在现实世界系统中的语言模型通常需要事后更新，以整合新的或修正后的知识。然而，高效且可靠地编辑此类模型——无需重新训练或遗忘先前信息——仍然是一项重大挑战。现有终身模型编辑方法要么牺牲泛化能力、干扰过往编辑效果，要么无法扩展到长编辑序列。本文提出MEMOIR，一种新颖的可扩展框架，通过残差记忆（即专用参数模块）注入知识，同时保留预训练模型的核心能力。MEMOIR通过样本依赖掩码对输入激活进行稀疏化处理，将每个编辑限制在记忆参数的特定子集内，最大限度减少编辑间的干扰。
2025_NIPS_Optimizing Chain-of-Thought Reasoners via Gradient Variance Minimization in Rejection Sam
思维链（CoT）推理在大语言模型（LLMs）中可形式化为潜变量问题，模型需生成中间推理步骤。尽管此前的方法（如迭代奖励排序微调RAFT）依赖此类形式化，但它们通常对所有提示词采用统一的推理预算，未能考虑难度差异和收敛行为的变异性。本文指出，CoT训练的主要瓶颈是静态采样策略导致的低效随机梯度估计。我们提出GVM-RAFT，这是一种特定于提示词的动态样本分配策略，旨在计算预算约束下最小化随机梯度方差。该方法通过监控提示词接受率和随机梯度范数动态分配计算资源，确保梯度方差最小化。
2025_NIPS_Truthful Aggregation of LLMs with an Application to Online Advertising
大型语言模型（LLMs）生成内容的revenue变现是在线广告的下一个前沿领域。我们考虑这样一种场景：广告商旨在影响LLM的回复，而平台则寻求最大化广告商价值并确保用户满意度。核心挑战在于，广告商的偏好通常与用户偏好存在冲突，且广告商可能误报其偏好。为解决这一问题，我们提出MOSAIC——一种拍卖机制，它确保真实申报是广告商的占优策略，并使每个广告商的效用与其对社会福利的贡献保持一致。重要的是，该机制无需LLM微调或访问模型权重，且随着计算资源的增加，可证明收敛到最优微调LLM的输出。
2025_NIPS_Delving into RL for Image Generation with CoT: A Study on DPO vs. GRPO
该研究聚焦于强化学习（RL）在自回归图像生成中的应用，以链式思维（CoT）推理为核心，系统对比了两种主流RL算法——直接偏好优化（DPO）和组相对策略优化（GRPO）的性能表现、适用场景及影响因素，同时探索了有效的性能缩放策略。核心研究背景：自回归图像生成可视为一种序列式CoT推理过程，但相比大语言模型（LLMs）的文本CoT推理，面临文本-图像一致性、图像美学质量优化、复杂奖励模型设计等独特挑战。现有研究虽已尝试将DPO和GRPO应用于该领域，但缺乏对领域特定挑战、算法特性及影响因素的深入分析。
2025_NIPS_Pixel-Perfect Depth with Semantics-Prompted Diffusion Transformers
本文提出了Pixel-PerfectDepth，一种基于像素空间扩散生成的单目深度估计模型，能够从估计的深度图中生成高质量、无飞点的点云。当前的生成式深度估计模型通过微调StableDiffusion取得了令人瞩目的性能，但它们需要依赖变分自编码器（VAE）将深度图压缩到潜空间，这不可避免地会在边缘和细节处引入飞点。我们的模型通过直接在像素空间进行扩散生成来应对这一挑战，避免了VAE导致的伪影。
2025_NIPS_From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction
尽管驾驶世界模型已取得显著进展，但其在自动驾驶系统中的潜力仍未充分释放：现有世界模型主要用于环境模拟，与轨迹规划相互分离。尽管近期研究尝试将世界建模与规划统一在单一框架中，但两者的协同促进机制仍需深入探索。本文提出一种名为PolicyWorldModel（PWM）的新驾驶范式，该范式不仅将世界建模与轨迹规划集成在统一架构中，还通过所提出的无动作未来状态预测方案，利用所学世界知识优化规划性能。通过协同的状态-动作预测，PWM能够模拟人类的预见性感知，实现更可靠的规划效果。
2025_NIPS_Robust SuperAlignment: Weak-to-Strong Robustness Generalization for Vision-Language Models
众多成熟研究已证明现代视觉语言模型（VLMs）在各类任务中具备超人能力。然而，人们对人类标注者能否持续提供可靠的高质量标签（监督信息）的质疑日益加剧，这导致模型性能陷入停滞。为应对这一挑战，“超对齐”采用了所谓的弱到强泛化范式——弱模型提供的监督可为准强模型赋予泛化能力。尽管标准弱到强方法能有效对齐强弱模型在干净样本上的知识，但通常无法捕捉对抗鲁棒性，使强VLMs易受对抗攻击。这种鲁棒性传递失效的根源在于超对齐阶段普遍缺少对抗样本。
2025_NIPS_Auditing Meta-Cognitive Hallucinations in Reasoning Large Language Models
推理大型语言模型（RLLMs）的发展显著提升了多步推理能力，但也使得幻觉问题更频繁且难以消除。现有方法通过外部知识整合、模型参数分析或自我验证机制应对幻觉，却未能全面揭示幻觉在整个推理链中的产生与演化过程。本研究通过审计思维链（CoT）轨迹并评估模型对潜在错误或有偏差主张的认知置信度，在受限知识域内探究幻觉的因果关系。分析表明，在长CoT场景下，RLLMs可能通过有缺陷的反思过程迭代强化偏差和错误，最终产生幻觉推理路径。
2025_NIPS_ContextAgent: Context-Aware Proactive LLM Agents with Open-World Sensory Perceptions
大型语言模型（LLM）的最新进展已推动智能体从被动响应向主动支持演进。尽管前景广阔，但现有主动智能体要么完全依赖封闭环境（如桌面用户界面）的观测结果进行直接LLM推理，要么采用基于规则的主动通知机制，导致用户意图理解效果不佳，且主动服务功能受限。本文提出ContextAgent，这是首个融合人类周边丰富感官上下文的上下文感知主动智能体，旨在提升LLM智能体的主动性。ContextAgent首先从可穿戴设备的海量感官感知数据（如视频、音频）中提取多维度上下文，以理解用户意图；
2025_NIPS_Interpreting Arithmetic Reasoning in Large Language Models using Game-Theoretic Interactio
该研究聚焦大型语言模型（LLMs）算术推理的内部机制，提出用博弈论交互（game-theoreticinteractions）解释LLMs的算术推理过程，核心是将LLM的输出分数拆解为输入词之间的多种交互作用，通过量化前向传播中编码的不同类型交互，揭示模型解决算术问题的内在逻辑。近年来，大型语言模型（LLMs）在算术推理方面取得了显著进步，但LLMs解决算术问题的内部机制仍不明确。本文提出利用博弈论交互来解释LLMs中的算术推理过程。
2025_NIPS_SAEMARK: Steering Personalized Multilingual LLM Watermarks with Sparse Autoencoders
大语言模型（LLMs）生成的文本在各领域广泛应用，但也带来虚假信息传播、版权侵权等问题，亟需可靠的内容溯源技术。现有水印方法存在诸多局限：需白盒模型访问权限、依赖logit操纵或模型训练，无法适配API调用场景；文本质量受损；难以支持多语言、多领域场景及多比特信息嵌入（如用户标识等个性化归因）。大语言模型（LLM）生成文本的水印技术对于内容归因和虚假信息防范至关重要，但现有方法会损害文本质量，且需要白盒模型访问权限以进行logit操纵或模型训练，这使其无法适用于基于API的模型和多语言场景。
2025_NIPS_AgentNet: Decentralized Evolutionary Coordination for LLM-based Multi-Agent Systems
大语言模型（LLMs）的快速发展推动了多智能体系统的进步，多个基于LLM的智能体可协作完成复杂任务。然而，现有系统通常依赖集中式协调，导致扩展性瓶颈、适应性下降和单点故障问题。隐私与专有知识顾虑进一步阻碍了跨组织协作，形成知识孤岛。本文提出AgentNet，一种去中心化、基于检索增强生成（RAG）的框架，支持基于LLM的智能体在动态结构化的有向无环图（DAG）中实现专业化、进化与自主协作。与之前采用静态角色或集中式控制的方法不同，AgentNet允许智能体根据本地专业知识和上下文调整连接关系并路由任务。
2025_NIPS_Compress to Impress: Efficient LLM Adaptation Using a Single Gradient Step on 100 Samples
本文提出一种高效的LLM适配算法，无需微调，仅通过100个样本的单次梯度步和目标层低秩压缩，就能实现下游任务适配，相比现有方法（如LASER）最高提速52倍，准确率提升达24.6个百分点。近期，Sharma等人提出了一种名为LAyer-SElective-Rankreduction（LASER）的方法，该方法表明，修剪精心选择的大型语言模型（LLM）权重矩阵的高阶分量，无需任何基于梯度的微调即可提升下游任务准确率。然而，LASER的穷举式逐矩阵搜索（每个矩阵都需要全数据集前向传播）使其难以快速部署。
2025_NIPS_Provably Efficient RL under Episode-Wise Safety in Constrained MDPs with Linear Function A
本文聚焦线性约束马尔可夫决策过程（线性CMDP）中的安全强化学习问题，目标是在每一轮episode中满足期望总效用约束的前提下，最大化智能体的累积奖励。针对现有算法要么存在约束违反、要么计算成本指数级增长的缺陷，提出了OPSE-LCMDP算法，实现了次线性遗憾（OKOK）和episode-wise零约束违反，且计算效率与状态空间大小无关。
2025_NIPS_Hogwild! Inference: Parallel LLM Generation via Concurrent Attention
大型语言模型（LLMs）已展现出通过高级推理、长文本生成和工具使用来处理日益复杂任务的能力。解决这些任务通常需要长时间的推理计算。在人类问题解决中，加速工作的常见策略是协作：将问题分解为子任务、同时探索不同策略等。近期研究表明，LLMs也可通过实现显式协作框架（如投票机制或显式创建可并行执行的独立子任务）进行并行运算。然而，这些框架并非适用于所有类型的任务，这会限制它们的适用性。
