Loading...
虽然大型语言模型（LLMs）在众多应用中展现出令人印象深刻的能力，但其鲁棒性仍是一个关键问题。本文受一个特定漏洞的启发：LLMs的顺序敏感性。这种漏洞表现为LLMs在多个可能选项中做决策时观察到的顺序偏差（例如，对第一个选项的偏好），以及当选项重新排序时LLMs提供不同答案的倾向。这种场景的应用案例不仅包括经典的多项选择题解答，还涵盖LLMs在多文档任务中的使用以及作为AI流水线中的自动评估器。我们提出Set-LLM，这是一种针对预训练LLMs的新型架构适配方案，能够处理混合集合-文本输入并保证置换不变性。
2025_NIPS_A Closer Look at Graph Transformers: Cross-Aggregation and Beyond
图转换器（GTs）能够同时有效捕捉长程依赖和结构偏差，近年来已成为传统图神经网络（GNNs）的有力替代方案。GTs利用拓扑信息的先进方法包括集成GNN模块或使用位置编码调节节点属性。然而，驱动其有效性的底层机制仍未得到充分理解。本文重新审视这些策略，发现了一种共有的底层机制——跨聚合（Cross-Aggregation），该机制能有效捕捉图拓扑结构与节点属性之间的交互作用。基于这一洞察，我们提出通用图交叉注意力转换器（UGCFormer），这是一种具有线性计算复杂度的通用GT框架。
2025_NIPS_CoreGuard: Safeguarding Foundational Capabilities of LLMs Against Model Stealing in Edg...
专有大语言模型（LLMs）在各类任务中展现出强大的泛化能力，且出于效率和隐私考虑，正日益多地部署在边缘设备上。然而，在边缘设备上部署专有LLMs时若缺乏充分保护，将引入严重的安全威胁。攻击者可提取模型权重和架构，实现未授权复制与滥用。即便防护措施阻止了模型权重的完整提取，攻击者仍可能实施微调等高级攻击以进一步利用模型。现有针对这些威胁的防护方案通常会产生显著的计算和通信开销，使其难以适用于边缘部署场景。为保护边缘部署的LLMs，本文提出CoreGuard——一种计算与通信高效的防护方法。
2025_NIPS_Janus-Pro-R1: Advancing Collaborative Visual Comprehension and Generation via Reinforce...
近年来，多模态大语言模型（MLLMs）致力于在大语言模型（LLMs）的下一个token预测范式中统一跨模态的理解与生成能力。然而，这两种能力在很大程度上仍然相互独立，仿佛是封装在同一模型中的两个独立功能。因此，视觉理解无法增强视觉生成，且LLMs的推理机制也未被充分整合以革新图像生成。在本文中，我们提出实现视觉理解与生成的协同共进化，将图像生成升级为迭代内省过程。我们引入两阶段训练方法：有监督微调赋予MLLM构建用于视觉生成的真实思维链（CoT）的基础能力，而强化学习通过探索-利用权衡激活其全部潜力。
2025_NIPS_RLGF: Reinforcement Learning with Geometric Feedback for Autonomous Driving Video Gener...
合成数据对推进自动驾驶（AD）系统至关重要，但当前最先进的视频生成模型尽管具备视觉真实性，却存在细微的几何失真，这限制了其在下游感知任务中的实用性。本文识别并量化了这一关键问题，证实了使用合成数据与真实数据进行3D目标检测时存在显著的性能差距。为解决该问题，我们提出了强化学习几何反馈框架（RLGF）。RLGF通过整合专用latent空间自动驾驶感知模型的奖励，独特地优化视频扩散模型。
2025_NIPS_From Programs to Poses: Factored Real-World Scene Generation via Learned Program Libraries
现实世界中的场景（如ScanNet数据集所包含的场景）难以捕获，可用数据极为有限。生成具有多样物体姿态的逼真场景仍是一项开放且具挑战性的任务。在本研究中，我们提出FactoredScenes框架，该框架通过利用房间的潜在结构，同时从真实使用场景中学习物体姿态的变化规律，来合成逼真的3D场景。我们引入一种分解表示方法，将场景拆解为层次化组织的房间程序和物体姿态概念。为了编码结构信息，FactoredScenes学习一个函数库，该库捕获可复用的布局模式，场景生成即基于这些模式；
2025_NIPS_Unleashing the Potential of Multimodal LLMs for Zero-Shot Spatio-Temporal Video Grounding
时空视频定位（STVG）旨在根据输入文本查询定位视频中的时空管（spatio-temporaltube）。本文利用多模态大语言模型（MLLMs）探索STVG的零样本解决方案，并揭示了关于MLLMs的两个关键洞察：（1）MLLMs会动态分配特殊令牌（称为接地令牌）以对接文本查询；（2）由于无法充分整合文本查询中的线索（如属性、动作）进行推理，MLLMs的定位性能往往不够理想。
2025_NIPS_Unleashing the Potential of Multimodal LLMs for Zero-Shot Spatio-Temporal Video Grounding
时空视频定位（STVG）旨在根据输入文本查询定位视频中的时空管（spatio-temporaltube）。本文利用多模态大语言模型（MLLMs）探索STVG的零样本解决方案，并揭示了关于MLLMs的两个关键洞察：（1）MLLMs会动态分配特殊令牌（称为接地令牌）以对接文本查询；（2）由于无法充分整合文本查询中的线索（如属性、动作）进行推理，MLLMs的定位性能往往不够理想。
2025_NIPS_Robust Policy Expansion for Offline-to-Online RL under Diverse Data Corruption
离线到在线强化学习（O2ORL）通过在离线数据上预训练策略，再通过在线交互进行微调，已成为现实世界强化学习部署的一种极具潜力的范式。然而，实际环境中的离线数据集和在线交互往往存在噪声甚至恶意损坏，这严重降低了O2ORL的性能。现有研究主要通过在线探索来缓解离线策略的保守性，而O2ORL在状态、动作、奖励和动力学等数据损坏情况下的鲁棒性仍未得到探索。在本研究中，我们观察到数据损坏会导致策略呈现重尾分布特性，从而显著降低在线探索的效率。
2025_NIPS_Improved Algorithms for Overlapping and Robust Clustering of Edge-Colored Hypergraphs: ...
该研究聚焦边着色超图的重叠与鲁棒聚类问题，针对传统边着色聚类（ECC）非重叠、需覆盖所有顶点的局限性，提出三类扩展问题（LOCALECC、GLOBALECC、ROBUSTECC）的新型算法。核心是结合线性规划（LP）的高精度优势与组合算法的高效性，基于原始对偶方法设计解决方案，在理论上证明了算法的近似比和复杂性边界，通过实验验证了算法在计算速度和解决方案质量上的优势，同时解答了该领域两个开放性问题。聚类是机器学习和数据挖掘中的基础任务。在各类方法中，边着色聚类（ECC）已成为处理分类数据的有效手段。
2025_NIPS_ELDET: Early-Learning Distillation with Noisy Labels for Object Detection
基于学习的目标检测算法需同时实现图像中目标的分类与定位，其性能很大程度上取决于训练所用标注数据集的质量。两类标注错误尤为常见：目标分类错误（分类噪声）和边界框位置不准确（定位噪声），且这两类错误在大规模数据集中通常同时存在。本文提出一种基于蒸馏的目标检测器训练方法，能够同时考虑分类噪声与定位噪声的影响。该方法的核心洞察是：早期学习现象（即使用含干净标签与噪声标签混合的噪声数据训练模型时，模型会先拟合干净标签，后期才记忆噪声标签）在定位噪声上的显现早于分类噪声。
2025_NIPS_Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reaso
大型语言模型（LLMs）通过强化学习（RL）优化，在推理任务上取得了显著进步，在各类挑战性基准测试中展现出令人瞩目的能力。然而，我们的实证分析揭示了一个关键缺陷：面向推理的RL微调会显著增加幻觉的发生率。我们从理论上分析了RL训练动态，发现高方差梯度、熵诱导随机性和对虚假局部最优的敏感性是导致幻觉的主要因素。为解决这一问题，我们提出事实感知的分步策略优化（FSPO）——一种创新的RL微调算法，在每个推理步骤中融入显式事实验证。
2025_NIPS_Doubly Robust Alignment for Large Language Models
本文研究了基于人类反馈的强化学习（RLHF），旨在使大语言模型与人类偏好对齐。尽管RLHF已展现出良好前景，但许多算法对潜在偏好模型（如布拉德利-特里模型）、参考策略或奖励函数的误设高度敏感，导致微调效果不佳。为解决模型误设问题，我们提出一种双稳健偏好优化算法，该算法在偏好模型或参考策略任一正确设定时（无需两者同时正确）仍能保持一致性。理论和实证结果表明，我们的方法相较于最先进算法，性能更优且稳健性更强。代码已开源至。
2025_NIPS_SE-GUI: Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Lear
图形用户界面（GUI）智能体在理解和执行跨平台用户指令方面取得了显著进展。然而，将这些指令关联到精确的界面元素仍然具有挑战性——尤其是在复杂、高分辨率的专业环境中。传统的监督微调（SFT）方法通常需要大量多样化数据，且泛化能力较弱。为克服这些局限性，我们提出一种基于强化学习（RL）的框架，包含三大核心策略：（1）种子数据筛选，确保高质量训练样本；（2）密集策略梯度，基于预测准确性提供连续反馈；（3）自进化强化微调机制，利用注意力图迭代优化模型。
2025_NIPS_Finite-Sample Analysis of Policy Evaluation for Robust Average Reward Reinforcement Lea...
该研究首次为鲁棒平均奖励马尔可夫决策过程（MDPs）的策略评估提供了有限样本分析，填补了此前仅存在渐近收敛保证的研究空白。核心成果是证明鲁棒贝尔曼算子在构造的半范数下具有压缩性，并提出基于截断多层蒙特卡洛（MLMC）的随机近似框架，实现了Oϵ−2Oϵ−2的最优样本复杂度，适用于污染、总变差（TV）和瓦瑟斯坦距离三类不确定性集合，为鲁棒强化学习在长期决策场景（如排队系统、网络控制）的实际应用提供了理论支撑。我们首次对鲁棒平均奖励马尔可夫决策过程（MDPs）中的策略评估进行了有限样本分析。
2025_NIPS_STAR: Efficient Preference-based Reinforcement Learning via Dual Regularization
基于偏好的强化学习（PbRL）通过从人类反馈中学习，绕过了复杂的奖励工程。然而，由于获取反馈的成本高昂，PbRL通常依赖有限的带偏好标签样本。这种数据稀缺性带来了两个关键效率问题：（1）奖励模型会过拟合于有限的反馈，导致对未见过样本的泛化能力不佳；（2）智能体会利用学到的奖励模型，加剧时序差分（TD）学习中动作价值的高估。为解决这些问题，我们提出STAR，一种高效的PbRL方法，它整合了偏好边际正则化和策略正则化。偏好边际正则化通过在奖励优化中引入有界边际来缓解过拟合，防止对特定反馈的过度偏向。
2025_NIPS_Efficient semantic uncertainty quantification in language models via diversity-steered sam
该研究聚焦于大型语言模型（LLMs）在自由形式问答（QA）任务中的语义不确定性量化问题，核心目标是解决传统方法需大量昂贵生成样本才能获得稳定估计的痛点。问题背景：LLMs生成文本流畅但存在固有的随机不确定性（aleatoricuncertainty）和认知不确定性（epistemicuncertainty），后者可能导致幻觉；而自由形式QA中，词汇不同的响应可能语义等价，传统采样方法易产生语义冗余样本，浪费计算资源。核心方法。
2025_NIPS_MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation
推理分割旨在基于人类意图和空间推理分割复杂场景中的目标物体。尽管近年来多模态大语言模型（MLLMs）在2D图像推理分割中展现出令人瞩目的性能，但将这些能力迁移至3D场景的研究仍有待深入。本文提出MLLM-For3D，一种简洁且高效的框架，用于将2DMLLMs的知识迁移至3D场景理解。具体而言，我们利用MLLMs生成多视图伪分割掩码及对应的文本嵌入，随后将2D掩码反投影至3D空间并与文本嵌入对齐。
2025_NIPS_CATransformers: Carbon Aware Transformers Through Joint Model-Hardware Optimization
机器学习解决方案正被快速采用以支持各类关键应用场景，从对话式AI助手到科学发现。这种日益广泛的应用预计将增加相关的全生命周期碳足迹，包括训练和推理过程中的运营碳，以及AI硬件制造产生的隐含碳。本文提出CATransformers——首个面向Transformer模型与硬件加速器的碳感知联合优化框架。通过在早期设计空间探索中整合运营碳与隐含碳，CATransformers支持以可持续性为导向的模型架构与硬件加速器协同设计，展现出与延迟或能耗为中心的优化方法截然不同的权衡关系。
2025_NIPS_Bits Leaked per Query: Information-Theoretic Bounds for Adversarial Attacks on LLMs
问题定位：LLM为提升透明度会暴露答案令牌、思维过程（如链式推理）、logits等可观测信号，但这些信号可能被攻击者利用，用于系统提示泄露、越狱攻击、重学习攻击（恢复模型本应遗忘的信息）等场景。目前缺乏量化信号泄露风险与攻击成本的理论依据，导致开发者难以平衡透明度与安全性。核心框架：将攻击过程建模为信息通道，定义观测信号Z与目标属性T（如攻击成功标志、隐藏系统提示）的互信息IZ;TI(Z;T)IZ;T为“每查询泄露比特数”，并证明攻击达到误差ε所需的最小查询数满足Nminε∝。
