Loading...
大型语言模型（LLMs）在应用于大规模图数据时面临显著限制，难以应对上下文约束和僵化推理问题。本文提出GraphChain框架，通过动态的专业化工具序列赋能LLMs分析复杂图数据，模拟人类探索式智能。该方法包含两项关键创新：（1）渐进式图蒸馏——一种强化学习机制，用于生成平衡任务相关性与信息压缩的优化工具序列；（2）结构感知测试时适配——利用谱特性和轻量级适配器，高效调整工具选择策略以适配多样化图拓扑结构，无需进行昂贵的重训练。
2025_NIPS_Interpreting vision transformers via residual replacement model
视觉Transformer（ViT）如何表示和处理世界？本文通过对稀疏自编码器提取的所有层中的6.6K个特征进行首次系统性分析，并引入残差替换模型（该模型用残差流中的可解释特征替代ViT计算），解决了这一长期存在的问题。我们的分析不仅揭示了特征从低层模式到高层语义的演化过程，还阐明了ViT如何通过专用特征类型编码曲线和空间位置。残差替换模型通过显著简化原始计算，可扩展地生成用于人类尺度可解释性的忠实且简洁的电路。最终，该框架使ViT机制的直观理解成为可能。
2025_NIPS_Real-World Reinforcement Learning of Active Perception Behaviors
机器人的瞬时感官观测并不总能揭示与任务相关的状态信息。在这种部分可观测场景下，最优行为通常需要明确采取行动以获取缺失信息。如今的标准机器人学习技术难以生成此类主动感知行为。本文提出一种简单的真实世界机器人学习方案，用于高效训练主动感知策略。我们的方法——非对称优势加权回归（AAWR）——在训练时利用“特权”额外传感器。这些特权传感器能够训练出高质量的特权价值函数，帮助估计目标策略的优势值。基于少量可能非最优的演示数据和易于获取的粗略策略初始化，AAWR能快速习得主动感知行为并提升任务性能。
2025_NIPS_MoBA: Mixture of Block Attention for Long-Context LLMs
缩放有效上下文长度对于推动大型语言模型（LLMs）向人工通用智能（AGI）发展至关重要。然而，传统注意力机制固有的二次计算复杂度增长带来了难以承受的开销。现有方法要么施加强偏差结构（如适用于特定任务的sink注意力或窗口注意力），要么将注意力机制彻底修改为线性近似，但这些方法在复杂推理任务中的性能尚未得到充分探索。本文提出一种遵循“少结构”原则的解决方案，让模型自主决定关注对象，而非引入预定义偏差。我们引入混合块注意力（MoBA），这是一种将混合专家（MoE）原理应用于注意力机制的创新方法。
2025_NIPS_Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence
本文提出，一种仅基于2D视频输入就能增强多模态大语言模型（MLLMs）视觉空间智能的框架。现有MLLMs在2D任务上表现出色，但3D空间推理能力有限，且多数3DMLLMs依赖额外3D/2.5D数据（如点云、深度图），限制了实际应用场景。Spatial-MLLM通过双编码器架构、空间感知帧采样策略和专属训练流程，在纯2D输入下实现了先进的空间理解与推理性能，在VSI-Bench、ScanQA等多个基准测试中表现突出。
2025_NIPS_ELM: Hyperbolic Large Language Models via Mixture-of-Curvature Experts
前沿大语言模型（LLMs）在跨领域文本建模和生成任务中取得了显著成功。然而，自然语言具有内在的语义层级和精细的几何结构，当前LLMs由于依赖点积和范数等欧氏运算，无法完全捕捉这些特征。此外，近期研究表明，不尊重令牌嵌入的底层几何结构会导致训练不稳定性和生成能力下降。这些发现表明，转向非欧几何可以使语言模型更好地与文本的底层几何结构对齐。因此，我们提出完全在双曲空间中运行模型——双曲空间以其扩张性、无标度和低失真特性而闻名。
2025_NIPS_Practical and Effective Code Watermarking for Large Language Models
大语言模型（LLMs）在代码生成领域的快速发展引发了严重的归属权认证与知识产权问题。代码水印为该问题提供了潜在解决方案，但受限于编程语言严格的语法约束和语义要求，面临独特挑战。为应对这些挑战，我们提出ACW（AST引导的代码水印）——一种新颖的自适应框架，其在训练过程中利用抽象语法树（AST）分析学习水印嵌入策略。该框架能够识别可替换的代码组件，并通过策略性地偏向token选择来嵌入水印。我们还提出了一种新的采样方案，该方案根据语义上下文将token分配到红绿列表中，在保证统计区分度的同时保留代码功能。
2025_NIPS_Analogy-based Multi-Turn Jailbreak against Large Language Models
大型语言模型（LLMs）本质上支持多轮交互，这为越狱攻击开辟了新可能——此类攻击可逐步展开，相比单轮攻击更有可能有效绕过安全机制。然而，当前多轮越狱方法仍处于初级阶段，存在两大关键局限：其一，这些方法均需在上下文中插入敏感短语，导致对话显得可疑，增加被拒绝的概率，从而削弱攻击效果；其二，即使生成了有害内容，由于语义漂移（对话逐渐偏离预期目标），响应往往无法与恶意提示对齐。为解决这些挑战，我们提出一种基于类比的黑盒多轮越狱框架，通过构建完全良性的上下文来提高攻击成功率，同时确保与恶意意图的语义对齐。
2025_NIPS_Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-
大语言模型（LLMs）在各类任务中表现出色，但标准的一阶（FO）微调需要大量内存，严重限制了实际部署。近年来，零阶（ZO）优化作为一种极具潜力的内存高效训练范式脱颖而出，它无需反向传播，仅依靠正向传播进行梯度估计，在资源受限场景中极具吸引力。然而，ZO方法在收敛速度和精度上均远落后于FO方法。为填补这一差距，我们提出了一种新颖的层间分歧分析方法，揭示了FO和ZO优化的独特更新模式。基于分析结果，我们旨在逼近FO方法的学习能力，提出了分歧驱动零阶优化（DiZO）。
2025_NIPS-Breaking the Performance Ceiling in Reinforcement Learning requires Inference Strategies
该研究聚焦强化学习（RL）在复杂多智能体任务中的性能瓶颈，提出通过推理阶段策略突破零样本（zero-shot）性能上限。研究在17个复杂RL任务（涵盖星际争霸、仓库调度、电路板布线等）中验证，仅增加数秒推理时间，就能使性能平均提升45%，最高达126%。核心是将推理阶段从“单一零样本输出”扩展为“基于时间/算力预算的多轮搜索与适配”，并系统对比了随机采样、树搜索、在线微调、COMPASS（潜空间多样性搜索）四种策略，最终证实SABLE（最优基础模型）+COMPASS组合效果最佳且扩展性最强。
2025_NIPS_Activated LoRA: Fine-tuned LLMs for Intrinsics
低秩适配（LoRA）已成为微调大型基础模型权重的高效框架，并已成为基于数据定制大语言模型（LLMs）的首选方法。尽管LoRA有望实现高度定制化的行为和能力，但在多轮对话场景中切换相关LoRA时效率低下——因为在生成开始前，必须使用LoRA权重重新计算整个对话历史的键值（KV）缓存。为解决这一问题，我们提出了激活式LoRA（aLoRA），这是一种适配器架构，对LoRA框架进行修改，仅对aLoRA激活后的序列中的令牌适配权重。
2025_NIPS_Self-Refining Language Model Anonymizers via Adversarial Distillation
大型语言模型（LLMs）在敏感领域的应用日益广泛，其从看似无害的文本中推断个人数据的能力引发了新的隐私风险。尽管近期基于LLM的匿名化方法有助于缓解此类风险，但这些方法往往依赖专有模型（如GPT-4），引发了关于成本以及敏感数据向不可信外部系统暴露的担忧。为解决这一问题，我们提出了语言模型自优化匿名化框架（SEAL），这是一种新颖的蒸馏框架，用于训练小型语言模型（SLMs），使其在推理阶段无需依赖外部模型即可实现高效匿名化。
2025_NIPS_Curl Descent: Non-Gradient Learning Dynamics with Sign-Diverse Plasticity
该研究聚焦生物神经网络中突触可塑性的多样性，提出“卷曲下降（CurlDescent）”学习机制——通过引入非梯度的“卷曲项”，解释异质可塑性规则（如Hebbian/anti-Hebbian规则、兴奋-抑制神经元特性）如何支持有效学习。研究通过学生-教师框架和随机矩阵理论分析，发现卷曲项的影响依赖网络架构：小幅度卷曲项不破坏解流形稳定性，与梯度下降效果相近；超临界值时，隐藏层卷曲项引发混沌动力学，而读出层卷曲项仍能维持低误差；非线性架构中，卷曲项可通过暂时上升损失函数逃离鞍点，加速收敛。
2025_NIPS_Emergent Temporal Correspondences from Video Diffusion Transformers
该研究聚焦视频扩散Transformer（DiTs）的内部时间对应机制，提出量化分析框架DiffTrack，揭示模型如何在视频生成中建立帧间时间关联。通过构建带伪真值标注的评估数据集和三类核心指标（匹配精度、置信度、注意力分数），DiffTrack系统分析了3D注意力机制中表征、层和去噪时间步的作用，并验证了其在零样本点跟踪和运动增强视频生成中的实用价值。基于扩散Transformer（DiTs）的视频扩散模型近年来取得了显著进展，能够生成具有时间连贯性的高质量视频。
2025_NIPS_URB - Urban Routing Benchmark for RL-equipped Connected Autonomous Vehicles
本文针对联网自动驾驶汽车（CAVs）集体路径规划缺乏标准化、真实场景基准的问题，提出了URB（UrbanRoutingBenchmark）基准框架。该框架整合29个真实交通网络、realistic需求模式、多智能体强化学习（MARL）算法实现、3种基线方法及领域特定性能指标，支持混合交通环境（CAVs与人类驾驶车辆共存）下的路径规划算法评估。
2025_NIPS-STEAD: Robust Provably Secure Linguistic Steganography with Diffusion Language Model
近年来，可证明安全语言隐写术（PSLS）方法依赖主流自回归语言模型（ARMs）解决具有历史挑战性的任务，即把隐蔽通信伪装成“无害”的自然语言通信。然而，由于ARMs的序列生成特性，基于ARM的PSLS方法生成的隐写文本一旦被篡改就会产生严重的误差传播，导致现有方法在主动篡改攻击下失效。为解决这一问题，我们提出了一种基于扩散语言模型（DLMs）的鲁棒可证明安全语言隐写术。与ARMs不同，DLMs能够以部分并行的方式生成文本，使我们能够找到用于隐写嵌入的鲁棒位置，并结合纠错码进行优化。
2025_NIPS_PLMTrajRec: A Scalable and Generalizable Trajectory Recovery Method with Pre-trained Langu
该研究针对时空轨迹数据因设备故障、网络不稳定导致的稀疏化问题，提出了基于预训练语言模型（PLM）的轨迹恢复模型PLMTrajRec。模型聚焦三类核心挑战：大规模密集轨迹数据集稀缺、不同采样间隔下的泛化困难、缺失点道路条件提取复杂，通过双轨迹提示、间隔感知轨迹嵌入器和PLM基轨迹编码器三大组件，实现高效、可扩展且泛化能力强的地图匹配式轨迹恢复。在成都和波尔图的四个公开数据集上，通过三种采样间隔的实验验证，模型在准确性、MAE、RMSE等指标上显著优于12种基线方法，且仅需20%训练数据即可达到优异性能。
2025_NIPS_OpenAD: Open-World Autonomous Driving Benchmark for 3D Object Detection
开放世界感知旨在开发一种能够适配新领域和多种传感器配置，并能理解罕见目标与极端案例的模型。然而，当前研究缺乏足够全面的开放世界3D感知基准和鲁棒的泛化方法。本文提出OpenAD，首个面向3D目标检测的真实开放世界自动驾驶基准。OpenAD基于整合了多模态大语言模型（MLLM）的极端案例发现与标注流水线构建，该流水线以统一格式为5个自动驾驶感知数据集的2000个场景标注极端案例目标。此外，我们设计了评估方法，并对各类开放世界模型及专用2D/3D模型进行了评估。
2025_NIPS_Probing Knowledge Holes in Unlearned LLMs
该研究聚焦大语言模型（LLMs）的机器遗忘（machineunlearning）技术，核心发现现有遗忘方法在移除有害知识时，会意外导致良性知识丢失（即“知识漏洞”），而传统静态基准测试无法捕捉这类隐藏损失。核心问题：现有机器遗忘技术虽能在TruthfulQA、MMLU等标准基准上维持性能，却存在未被发现的“知识漏洞”——对与有害知识相关的“邻近知识”和语义无关的“潜在知识”，遗忘后的模型会生成无关、不完整甚至无意义的响应。
2025_NIPS_LTD-Bench: Evaluating Large Language Models by Letting Them Draw
本文针对当前大型语言模型（LLMs）评估范式的核心缺陷——依赖模糊的数值指标，无法直观反映模型空间推理能力，且与实际物理世界应用需求脱节——提出了LTD-Bench（LetThemDrawBenchmark）评估框架。该框架通过让模型生成可视化输出（点阵图或可执行绘图代码），将抽象的模型能力转化为直接可观察的视觉结果，填补了统计性能与直观评估之间的鸿沟。双路径评估：涵盖生成任务（空间想象力，将文本描述转化为视觉表征）和识别任务（空间感知力，将视觉模式解读为语言），全面测试语言-空间双向映射能力；
