Loading...
这篇论文聚焦推荐系统领域，针对现有图对比学习（GCL）在推荐任务中存在的数据增强质量低、正负样本构建不合理、泛化能力弱等问题，提出一种自博弈增强的图对比学习框架（SP-GCL）。用用户-物品交互图作为基础结构，通过图神经网络学习节点表示设计自博弈（Self-Play）增强策略，让模型在训练中动态生成高质量对比视图构建自适应正负样本对，缓解传统对比学习中样本噪声与分布偏移问题在多个公开推荐数据集（MovieLens、Amazon、Yelp等）上验证，效果优于主流GCL推荐方法。
2025_NIPS_Unified Off-Policy Learning to Rank: a Reinforcement Learning Perspective
旨在利用部署日志策略收集的数据优化排序模型。然而，现有无偏排序学习方法通常对用户点击数据的生成方式（即点击模型）做出强假设，因此需要针对不同点击模型定制专属方法。本文将通用随机点击模型下的排序过程统一建模为马尔可夫决策过程（MDP），并可通过离线强化学习（RL）直接学习最优排序策略。基于此，我们利用离线强化学习技术解决无偏排序学习问题，提出点击模型无关的统一无偏排序学习方法（CUOLR），该方法可轻松应用于多种点击模型。
2025_NIPS_StateMask: Explaining Deep Reinforcement Learning through State Mask
尽管深度强化学习（DRL）智能体在众多挑战性场景中表现出良好性能，但其“黑箱”特性极大限制了其在关键领域的应用。现有研究已提出多种解释技术来理解RL中基于深度学习的策略，但大多数方法仅解释智能体为何采取单个动作，而非定位对最终奖励至关重要的关键步骤。为填补这一空白，我们提出StateMask——一种识别对智能体最终奖励最关键状态的新型方法。StateMask的核心思路是训练一个掩码网络，在部分时间步“屏蔽”目标智能体并迫使其执行随机动作，同时不损害智能体的性能。
2025_NIPS_SPQR: Controlling Q-ensemble Independence with Spiked Random Model for Reinforcement Le...
缓解高估偏差是深度强化学习在更复杂任务或含分布外数据的离线数据集上取得良好性能的关键挑战。为克服高估偏差，集成Q学习方法已被广泛研究，以利用多个Q函数的多样性。由于网络初始化是促进Q函数多样性的主要方式，文献中已提出多种启发式设计的多样性注入方法。然而，现有研究尚未从理论角度尝试实现集成的确定性独立性保障。通过引入基于随机矩阵理论的新型Q集成独立性正则化损失，我们提出用于强化学习的尖峰维格纳Q集成独立性正则化（SPQR）。
2025_NIPS_Wasserstein Quantum Monte Carlo: A Novel Approach for Solving the Quantum Many-Body Sch...
求解量子多体薛定谔方程是量子物理、量子化学和材料科学领域中一个基础性且极具挑战性的问题。量子变分蒙特卡洛（QVMC）是解决该问题的常用计算方法之一，其通过在受限的参数化波函数族中最小化系统能量来获取基态解。深度学习方法通过用神经网络表示丰富的波函数族，在一定程度上解决了传统QVMC的局限性。然而，QVMC中的优化目标向来难以最小化，需要采用自然梯度等二阶优化方法。在本文中，我们首先将能量泛函最小化问题重构到与粒子置换（反）对称波函数对应的玻恩分布空间中，而非直接在波函数空间中进行。
2025_NIPS_Recurrent Hypernetworks are Surprisingly Strong in Meta-RL
该研究聚焦元强化学习（Meta-RL）中样本效率低的核心问题，通过实证研究探索循环网络与超网络结合在元强化学习中的性能表现。研究背景：深度强化学习（RL）因样本效率低难以实际部署，元强化学习通过在相关任务分布上进行元训练，实现少样本学习以解决该问题。现有方法分为两类：一类是基于循环网络（RNN）的端到端“黑盒”方法，另一类是更复杂的任务推理（Task-Inference）方法。此前有研究称循环网络是有竞争力的基线，但存在实验证据有限、计算资源分配不均等争议。核心研究。
2025_NIPS_VOCE: Variational Optimization with Conservative Estimation for Offline Safe Reinforcem...
离线安全强化学习（RL）算法有望在不与环境交互的情况下，直接从离线数据集中学习满足安全约束的策略。这种特性在自动驾驶、机器人等采样成本高且存在潜在危险的场景中尤为重要。然而，安全约束与分布外（OOD）动作的影响，使得现有方法难以在保证安全性的同时实现高回报。本文提出一种基于保守估计的变分优化算法（VOCE），用于解决离线数据集中的安全策略优化问题。具体而言，我们利用概率推理重构离线安全RL问题，引入变分分布提升策略优化的灵活性；随后采用悲观估计方法对成本和奖励的Q值进行估计，缓解OOD动作引发的外推误差。
2025_NIPS_Parsel Algorithmic Reasoning with Language Models by Composing Decompositions
尽管大型语言模型（LLM）在推理任务中取得了近期成功，但它们在生成复杂程序等分层多步推理任务中仍面临挑战。对于这类任务，人类通常会从高层算法设计入手，逐步实现每个部分。我们提出了Parsel，一个支持通过代码LLM自动实现和验证复杂算法的框架。借助Parsel，我们能将算法任务自动分解为分层的自然语言函数描述，然后通过测试搜索可能的函数实现组合。我们证明Parsel可应用于需要分层推理的多个领域，包括程序合成和机器人规划。
2025_NIPS_Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM Animator
文本到视频是一个快速发展的研究领域，其目标是生成语义连贯、内容一致且时间连贯的帧序列，以准确匹配输入文本提示。本研究关注零样本文本到视频生成，兼顾数据高效性与成本高效性。为了生成语义连贯的视频——即充分呈现时间语义（如花朵绽放的完整过程），而非一系列“移动的图像”——我们提出了一种新颖的Free-Bloom框架：利用大型语言模型（LLM）作为“导演”生成语义连贯的提示序列，同时以预训练的潜在扩散模型（LDM）作为“动画师”生成高保真帧。
2025_NIPS_Reinforcement Learning with Simple Sequence Priors
在强化学习（RL）中，简洁性通常是基于单个动作进行量化的——但这一时间尺度忽略了序列策略中常见的时间规律性（如重复性）。因此，我们提出一种RL算法，其学习目标是通过可压缩的动作序列解决任务。我们探索了两种简单动作序列的来源：可通过自回归模型学习的序列，以及可利用现成数据压缩算法压缩的序列。将这些偏好提炼为序列先验后，我们推导出一种新颖的信息论目标函数，该函数激励智能体学习既能最大化奖励又能符合这些先验的策略。
Nowcasting Temporal Trends Using Indirect Surveys
间接调查要求受访者提供其认识之人的相关信息，该方法已被提出用于估算（即时预测）隐私敏感或难以接触的隐藏人群规模。例如，估算地震伤亡人数、女性性工作者的生存状况、毒品使用及传染病的患病率等。网络规模扩展法（NSUM）是通过间接调查获取估算结果的经典方法，但它专为一次性调查设计，且需要满足特定假设，还需询问或估算每位受访者的个人网络人数。近年来，调查越来越多地通过在线方式开展，能够持续收集数据（例如，疫情期间Facebook上的COVID-19调查）。
2025_NIPS_Guiding Large Language Models via Directional Stimulus Prompting
这篇ICLR2025会议论文聚焦大语言模型（LLM）的高效推理与上下文扩展，针对现有长上下文LLM在推理速度慢、显存占用高、长文本建模能力受限的问题，提出一套轻量化、即插即用的优化框架，兼顾长上下文理解与低资源推理。研究对象：Transformer架构LLM的注意力机制与推理pipeline核心问题：长文本（≥8ktokens）下注意力计算复杂度O(n²)、KV缓存爆炸、推理延迟飙升解决思路：重构注意力计算逻辑，结合稀疏注意力+动态KV缓存压缩+层级上下文聚合。
2025_NIPS_MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks
人类对物理世界和社会世界的常识性理解是围绕直觉理论构建的。这些理论支撑着人们做出因果判断和道德判断。当不好的事情发生时，我们会自然地追问：谁做了什么，以及为什么这么做？认知科学领域的大量文献已经研究了人类的因果直觉和道德直觉。这项研究揭示了许多会系统性影响人类判断的因素，例如规范的违反，以及伤害是可避免的还是不可避免的。我们从24篇认知科学论文中收集了场景故事数据集，并开发了一个系统，为每个故事标注其所研究的影响因素。
2025_NIPS_UP-DP: Unsupervised Prompt Learning for Data Pre-Selection with Vision-Language Models
在本研究中，我们探讨了数据预选择任务。该任务旨在通过单次筛选从无标签数据集中挑选出待标注样本，从而在标注预算有限的情况下，为未知的下游任务优化模型性能。以往的数据预选择方法仅依赖于从基础模型（如CLIP和BLIP-2）中提取的视觉特征，却在很大程度上忽略了文本特征的强大潜力。在本文中，我们认为，通过合理设计，视觉和文本的联合特征空间能够为数据预选择提供更优的表示。为此，我们提出了UP-DP——一种简单而有效的无监督提示学习方法，该方法可适配BLIP-2等视觉语言模型以实现数据预选择。
2025_NIPS_OpenAssistant Conversations - Democratizing Large Language Model Alignment
该研究聚焦于大型语言模型（LLMs）的对齐问题，核心是解决现有高质量人类反馈数据稀缺、研究被少数机构垄断的现状，通过众包方式构建并发布了OpenAssistantConversations数据集，以推动LLM对齐研究的民主化。背景与问题：LLM的人类偏好对齐（如SFT、RLHF技术）能显著提升模型可用性，但依赖高质量人类反馈数据，这类数据成本高且多为专有；现有开源数据集多为合成数据或依赖模型生成响应，存在复杂度、质量不足等问题，限制了普惠性研究。数据集构建。
2025_NIPS_Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets
该研究聚焦时序差分（TD）强化学习的学习动态，针对线性函数近似场景，引入统计物理概念（高斯等价假设、路径积分方法等），建立了高维渐近极限下的学习曲线理论。核心发现包括：随机半梯度噪声会导致价值误差出现显著平台期，且平台期受特征结构、学习率、折扣因子、奖励函数等参数影响；通过学习率退火和奖励塑形策略可优化学习动态；任务-特征对齐度、批量大小等因素会调控收敛速度。
2025_NIPS_Context Shift Reduction for Offline Meta-Reinforcement Learning
该研究聚焦离线元强化学习（OMRL）中的上下文偏移问题——元训练阶段基于行为策略收集的上下文与元测试阶段基于探索策略收集的上下文存在分布差异，导致任务推理错误，降低元策略的泛化能力。为解决该问题，作者提出一种仅依赖离线数据集的新方法元训练阶段：设计最大-最小互信息表示学习机制，通过最大化任务表示与任务信息的互信息、最小化任务表示与行为策略的互信息，减少行为策略对任务表示的干扰；元测试阶段：提出非先验上下文收集策略。
2023_NIPS_Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model
随着模型规模的快速增长，大型预训练语言模型的微调因巨大的内存开销变得日益困难。现有研究通常聚焦于减少网络中的可训练参数数量，然而，尽管模型参数确实会占用部分内存，训练过程中的主要内存瓶颈实则来自特征图（即激活值）的存储——这对梯度计算至关重要。值得注意的是，机器学习模型通常采用随机梯度下降进行训练。我们认为，在随机优化中，只要梯度估计器是无偏的且方差合理，模型就能处理带噪声的梯度。
2025_NIPS_IMP-MARL: a Suite of Environments for Large-scale Infrastructure Management Planning vi...
我们引入IMP-MARL，这是一个用于大规模基础设施管理规划（IMP）的开源多智能体强化学习（MARL）环境套件，为基准测试协作式MARL方法在实际工程应用中的可扩展性提供平台。在IMP中，多组件工程系统会因组件损伤状态而面临故障风险。具体而言，每个智能体负责特定系统组件的检测与维修规划，目标是在最小化维护成本的同时，通过协作降低系统故障风险。IMP-MARL包含多个环境（含海上风电结构系统相关环境），旨在满足当前改善管理策略、支持可持续且可靠能源系统的需求。
2025_NIPS_Doubly Robust Augmented Transfer for Meta-Reinforcement Learning
元强化学习（Meta-RL）通过利用不同任务间共享的潜在公共结构，能够快速适应新任务并学习新技能，但在稀疏奖励场景下会面临性能退化问题。现有基于事后经验的样本迁移方法，通过将其他任务中重新标记的轨迹迁移到新任务，可为目标奖励函数提供含有效信息的经验，从而缓解这一问题，但这些方法均依赖一个不切实际的假设——任务间仅奖励函数存在差异。本文提出一种双重鲁棒增强迁移（DRaT）方法，旨在解决更通用的稀疏奖励元强化学习场景，该场景中任务间同时存在动力学不匹配和奖励函数变化的情况。
