Loading...
我们提出MMaDA，一类新型多模态扩散基础模型，旨在在文本推理、多模态理解和文本到图像生成等多样化领域实现卓越性能。该方法具有三大核心创新：（i）MMaDA采用统一扩散架构，具备共享概率公式和模态无关设计，无需模态专用组件，确保不同数据类型的无缝集成与处理；（ii）我们实现混合长链思维（CoT）微调策略，构建跨模态统一CoT格式，通过对齐文本与视觉领域的推理过程，为最终强化学习（RL）阶段提供冷启动训练，从一开始就增强模型处理复杂任务的能力；
2025_NIPS_Who Speaks for the Trigger? Dynamic Expert Routing in Backdoored Mixture-of-Experts Transf
该研究聚焦混合专家（MoE）架构大语言模型的安全漏洞，提出首个针对MoE动态专家路由机制的后门攻击框架BadSwitch。通过结合任务耦合的触发词优化与敏感度引导的Top-S专家追踪，BadSwitch在预训练阶段识别对后门触发敏感的专家集群，在微调阶段将触发词嵌入目标专家路由路径，实现精准且隐蔽的模型操控。
2025_NIPS_LayerNavigator: Finding Promising Intervention Layers for Efficient Activation Steering in
该研究聚焦大语言模型（LLMs）激活导向（ActivationSteering）技术中的核心挑战——干预层选择，提出了高效、可扩展的层选择方法LayerNavigator。激活导向是一种高效的大语言模型（LLMs）行为对齐技术，通过在推理过程中直接向模型残差流注入导向向量实现目标行为引导。该方法的核心挑战在于选择合适的干预层：选择不当不仅会削弱行为对齐效果，还可能损害模型的语言流畅性等核心能力。单层导向虽可通过验证集数据直接评估以筛选“最优”层，但对齐提升效果有限；
2025_NIPS_Many LLMs Are More Utilitarian Than One
该研究聚焦多智能体大语言模型（LLM-MAS）的集体道德推理，通过对比6种主流LLM在“单独推理”和“小组讨论”两种场景下对道德困境的判断，发现LLM小组讨论时会出现“功利主义提升”现象——更倾向于认可为多数人利益而伤害少数人的行为，且这一现象在直接伤害他人的“个人困境”中尤为显著。研究还揭示了LLM与人类产生该现象的机制差异（人类因更关注结果，LLM则因降低规范敏感度或增强公正性等），并验证了模型多样性、提示词设计等因素可调节这一效应。道德判断是大型语言模型（LLM）社会推理的核心组成部分。
2025_NIPS_Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective
数据集构建：提出多领域RL推理数据集GURU，包含9.2万条样本，覆盖数学、代码、科学、逻辑、模拟、表格6大推理领域，通过数据来源筛选、去重、奖励设计、启发式过滤、难度过滤5个阶段的严格流程确保数据质量。跨领域迁移分析：基于GURU数据集开展受控实验，揭示影响跨领域迁移的关键因素：数学、代码、科学领域从跨领域RL训练中获益显著；混合领域训练效果优于或持平单领域训练；训练数据难度会影响域内与跨领域性能平衡（高难度数据提升域内性能但可能损害简单跨领域任务表现）；
2025_NIPS_Risk-Averse Constrained Reinforcement Learning with Optimized Certainty Equivalents
约束优化为强化学习（RL）中处理冲突目标提供了通用框架。在大多数此类场景中，目标（和约束）通过期望累积奖励表达。然而，这种表述忽略了奖励分布尾部的风险事件甚至潜在灾难性事件，在对异常值风险至关重要的高风险应用中往往不够充分。本文提出一种风险感知约束RL框架，利用优化确定性等价物（OCEs），在奖励值和时间维度上共同展现逐阶段鲁棒性。该框架在适当的约束条件下，通过参数化强拉格朗日对偶性框架，确保与原始约束问题的精确等价，并生成可封装标准RL求解器（如PPO）的简洁算法方案。
2025_NIPS_Recognition through Reasoning: Reinforcing Image Geo-localization with Large Vision-Langua
问题背景：传统图像地理定位方法（分类、检索式）依赖海量数据训练，缺乏推理过程的可解释性；基于大型视觉语言模型（LVLMs）的方法虽具备推理潜力，但受限于场景单一的数据集和效果有限的有监督微调（SFT），泛化能力不足。核心方案构建了推理导向的地理定位数据集：基于MP-16数据集扩展，整合多样化社交媒体图像，通过多模型知识蒸馏生成定位可行性评估、推理轨迹和预测位置，并经多维度验证（视觉-语义一致性、跨模型一致性）过滤噪声。提出模型GLOBE。
2025_NIPS_Exploring the limits of strong membership inference attacks on large language models
最先进的成员推理攻击（MIAs）通常需要训练大量参考模型，这使得这类攻击难以扩展到大型预训练语言模型（LLMs）。因此，以往的研究要么依赖无需训练参考模型的弱攻击（例如微调攻击），要么将强攻击应用于小型模型和数据集。然而，弱攻击已被证明具有脆弱性，且简化场景下强攻击的见解无法迁移到如今的LLMs。这些挑战引发了一个重要问题：以往研究中观察到的局限性是源于攻击设计选择，还是成员推理攻击本身在LLMs上根本无效？
2025_NIPS_Evaluating the Inductive Abilities of Large Language Models: Why Chain-of-Thought Reasonin
该研究聚焦大型语言模型（LLMs）的归纳推理能力，核心探究思维链（CoT）提示对归纳推理的影响。研究通过设计国际象棋、德州扑克、骰子游戏、二十一点四类含隐藏规则的诊断性游戏任务，对比8个主流LLM（含4个非推理模型和4个推理增强模型（LRMs））的表现，发现CoT推理反而会降低归纳性能，LRMs常不如非推理模型。研究提出理论框架，指出推理失败源于三种模式：子任务分解错误、子任务求解错误、最终答案总结错误。
2025_NIPS_SWE-SQL: Illuminating LLM Pathways to Solve User SQL Issues in Real-World Applications
该研究聚焦真实场景中SQL问题调试的痛点，提出了首个SQL调试基准BIRD-CRITIC、自动化训练环境SIX-GYM，以及开源SQL调试代理BIRD-FIXER。核心成果是BIRD-FIXER基于14B参数模型，在多SQL方言调试任务上超越多款主流闭源模型，推动SQL调试能力的普及。复杂SQL问题的解决仍是现实世界数据库应用中的重要瓶颈。当前大型语言模型（LLMs）虽擅长文本到SQL的转换，但在更具挑战性的SQL问题调试任务上尚未经过严格评估。
2025_NIPS_DECEPTIONBENCH: A Comprehensive Benchmark for AI Deception Behaviors in Real-world Scenari
尽管大型语言模型（LLMs）在各类认知任务中取得了显著进展，但这些能力的快速提升也催生了新的欺骗行为，可能在高风险应用场景中引发严重风险。更关键的是，真实世界场景中欺骗行为的特征仍未得到充分探索。为填补这一空白，我们构建了DeceptionBench——首个系统评估欺骗倾向在不同社会领域如何表现、其内在行为模式是什么以及外在因素如何影响这些倾向的基准测试集。
2025_NIPS_ViSpec: Accelerating Vision-Language Models with Vision-Aware Speculative Decoding
该研究聚焦于视觉语言模型（VLMs）推理加速问题，针对现有推测解码技术在VLMs中仅能实现有限加速（
2025_NIPS_Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Ro
强化学习（如PPO和GRPO）推动了近期大语言模型（LLM）推理任务的突破性进展。扩大rollout规模以采样更多提示词，能让模型选择性地使用更高质量的数据进行训练，从而稳定强化学习训练过程并提升模型性能，但这会带来巨大的计算开销。本文首先证明，通过在rollout前跳过无信息提示词，可避免很大一部分此类开销。我们对奖励动态的分析揭示了提示词价值具有强时间一致性：在某一训练轮次中无信息的提示词，在未来近期轮次中可能仍保持无信息状态。
2025_NIPS_DIFFSSR: Stereo Image Super-resolution Using Differential Transformer
在计算机视觉领域，立体图像超分辨率（StereoSR）任务因其在增强现实、虚拟现实和自动驾驶中的潜在应用而受到广泛关注。传统基于Transformer的模型虽功能强大，但常受注意力噪声影响，导致超分辨率图像的重建效果欠佳。本文提出一种名为DIFFSSR的新型神经网络架构，旨在解决这些挑战。我们引入差分交叉注意力块（DCAB）和滑动立体交叉注意力模块（SSCAM），以增强特征融合并减轻注意力噪声的影响。DCAB能够区分相关与无关上下文，放大对重要特征的注意力并抵消噪声；
2025_NIPS_DNA-DetectLLM: Unveiling AI-Generated Text via a DNA-Inspired Mutation-Repair Paradigm
随着大型语言模型（LLMs）的快速发展，AI生成文本与人类撰写文本的界限日益模糊，引发了虚假信息传播、著作权归属模糊、知识产权纠纷等社会风险，亟需可靠的AI生成文本检测方法。然而，现有生成模型的输出质量不断提升，导致两类文本的特征分布大量重叠，传统检测方法（基于训练或无训练）因依赖固定特征边界，检测准确性和鲁棒性面临严峻挑战。随着大型语言模型（LLMs）的快速发展，AI生成文本与人类撰写文本的界限已变得模糊。
2025_NIPS_Conformal Information Pursuit for Interactively Guiding Large Language Models
指令微调的大型语言模型（LLMs）的一个重要应用场景是交互式解决问答任务。在该场景中，LLM智能体需要通过向用户依次查询相关信息来进行预测，而非单轮对话。本文探索了旨在最小化预期查询次数的序列查询策略。信息追踪（IP）便是其中一种策略，它是一种贪心算法，在每次迭代中选择能最大化信息增益（或等价地最小化不确定性）的查询。然而，由于LLM的概率输出往往存在过度自信或自信不足的问题，实际中很难准确估计其互信息或条件熵，这导致查询选择和预测性能欠佳。
2025_NIPS_PARROT: A Benchmark for Evaluating LLMs in Cross-System SQL Translation
大语言模型（LLMs）在文本到SQL（Text-to-SQL）任务中已展现出日益显著的有效性。然而，另一项密切相关的任务——跨系统SQL翻译（又称SQL到SQL翻译），即将为一个数据库系统（如MySQL）编写的查询转换为适用于另一个系统（如ClickHouse）的等效查询，具有极高的实际意义，但尚未得到充分探索。现有SQL基准测试并不适合用于SQL到SQL翻译的评估，原因在于：（1）它们仅聚焦于有限的数据库系统（通常仅为SQLite）；
LLM Weekly（2025.12.29-2026.1.4）
深度求索提出全新训练方法，助力中国人工智能能效提升深度求索发布一篇关于流形约束超连接（Manifold-ConstrainedHyper-Connections）的论文，该训练框架可提升大型人工智能模型的可扩展性，同时降低算力与能耗需求。研究团队基于字节跳动2024年的技术成果，对参数量从30亿到270亿不等的模型展开测试。此项研究先于深度求索备受期待的R2模型问世，分析人士指出，即便面临美国的芯片限制，该模型仍有望再度颠覆全球人工智能领域格局。谷歌在NotebookLM平台测试30分钟音频课程功能
2025_NIPS_Nonlinearly Preconditioned Gradient Methods: Momentum and Stochastic Analysis
本文聚焦光滑非凸优化问题，研究非线性预处理梯度方法，重点分析类Sigmoid预处理子（自带梯度裁剪特性），提出带动量的改进算法和随机变体，并通过理论推导与实验验证其有效性。我们研究适用于光滑非凸优化问题的非线性预处理梯度方法，重点关注类Sigmoid预处理子——这类预处理子本质上实现了一种梯度裁剪，与广泛使用的梯度裁剪技术类似。基于这一思路，我们提出一种新型重球型（heavyball-type）算法，并在广义光滑性条件下提供收敛保证。
2025_NIPS_Efficient Prompt Compression with Evaluator Heads for Long-Context Transformer Inference
尽管涉及长文本输入的应用对于有效利用大语言模型（LLMs）至关重要，但这些应用也会导致计算成本增加和性能下降。为解决这一挑战，我们提出了一种高效、无需训练的提示压缩方法，该方法能在压缩后的提示中保留关键信息。我们在基于Transformer的LLMs中识别出特定的注意力头（我们将其命名为评估头），这些注意力头能够筛选出长输入中对推理最为重要的tokens。基于这一发现，我们开发了EHPC——一种基于评估头的提示压缩方法。
