Loading...
基于可穿戴传感器的人体活动识别（HAR）面临着可解释性有限的挑战，这严重影响了跨数据集泛化能力。为解决这一问题，我们提出了运动基元Transformer（MoPFormer），这是一种新颖的自监督框架，通过将惯性测量单元信号编码为具有语义意义的运动基元来增强可解释性，并利用Transformer架构学习丰富的时序表示。MoPFormer包含两个阶段：第一阶段将多通道传感器流分割为短片段，并将其量化为离散的“运动基元”代码；
2025_NIPS_Towards Building Model/Prompt-Transferable Attackers against Large Vision-Language Models
尽管大型视觉语言模型（LVLMs）展现出令人印象深刻的多模态能力，但它们对对抗样本的脆弱性引发了严重的安全担忧。现有LVLM攻击方法仅优化易过拟合特定模型/提示的对抗图像，导致其在迁移攻击不同模型/提示时失效。受这一研究缺口的启发，本文旨在开发一种更强大的攻击方法，能够迁移至不同结构的黑盒LVLM模型和不同语义的任务感知提示。具体而言，我们引入信息论的新视角，通过探索LVLM模型输出与输入对抗样本之间的相对依赖关系，研究LVLMs的迁移特性。
2025_NIPS_Order-Level Attention Similarity Across Language Models: A Latent Commonality
本文聚焦语言模型（LMs）上下文聚合模式的共性，提出阶数级注意力（OLA）概念，揭示不同LMs间同阶OLA的显著相似性（OLAS现象），且OLA天然编码句法知识。基于此，设计可迁移OLA适配器（TOA），实现无需训练的跨模型适配器迁移，在关系抽取、命名实体识别等4类任务中，显著提升未见过目标模型的性能（如LLaMA3-3B训练的TOA迁移到Qwen2-1.5B，关系预测准确率从7.69%提升至34.90%）。本文探讨了一个重要但此前被忽视的问题：不同语言模型（LMs）的上下文聚合模式是否存在共性？
2025_NIPS_LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
近期有报告称，大型语言模型（LLMs）在竞技编程中已超越精英人类。基于一组国际算法竞赛奖牌得主的专业知识，我们重新审视这一说法，探究LLMs与人类专家的差异及仍存在的局限性。我们推出LiveCodeBenchPro基准测试集，该数据集由Codeforces、ICPC和IOI的题目组成，且持续更新以降低数据污染风险。一支由竞赛奖牌得主组成的团队为每道题目标注算法类别，并对模型生成的失败提交进行逐行分析。
2025_NIPS_Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large La
实现大型语言模型（LLMs）在有用性、诚实性和无害性（3H优化）方面的平衡对齐，是负责任人工智能的核心支柱。现有数据混合策略等方法存在依赖专家知识和优化信号冲突等局限性。尽管模型融合通过整合专用模型参数提供了参数级冲突解决策略，但其在3H优化中的潜力尚未得到充分探索。本文首次系统对比了模型融合与数据混合方法在构建3H对齐LLM中的效果，揭示了此前被忽视的3H维度间的协作与冲突关系，并探讨了数据混合（数据级）和模型融合（参数级）方法在缓解冲突、实现平衡3H优化方面的优缺点。
2025_NIPS_Activation-Informed Merging of Large Language Models
本文聚焦大语言模型（LLMs）的模型融合问题，提出了一种名为激活感知融合（Activation-InformedMerging,AIM）的技术。模型融合是将多个基于同一预训练基础模型微调的任务专用模型的参数与嵌入结合，以在保持计算效率的同时提升多任务性能，但现有方法多仅关注权重空间，忽略了激活空间的关键信息，且易出现“灾难性遗忘”（即丢失基础模型的通用能力）或受低质量微调模型影响。
2025_NIPS_Praxis-VLM: Vision-Grounded Decision Making via Text-Driven Reinforcement Learning
现有视觉语言模型（VLMs）在多模态任务中表现出色，但缺乏复杂场景下的情境推理能力，难以支撑机器人、交互式助手等领域的决策需求。传统增强VLMs推理能力的方法依赖大规模图文配对数据，这类数据标注成本高、获取难度大，尤其在多样化现实决策场景中存在明显瓶颈。视觉语言模型（VLMs）在各类任务中展现出令人印象深刻的性能，但往往缺乏复杂决策所需的精密情境推理能力。本文研究表明，当视觉场景被文本描述替代时，VLMs能实现出人意料的强决策性能——这意味着基础推理能力可通过语言有效学习。
2025_NIPS_RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness
微调预训练模型以适配自定义数据，已产生大量面向特定任务的专家模型。将这些模型融合为一个具备多任务能力的通用模型，同时避免数据泄露，已成为研究热点。随着数据和模型规模的扩大，参数高效调优已成为高效获取任务特定模型的常规做法。然而，专门针对高效融合的方法极少，且为全量微调设计的现有融合方法在高效融合场景下效果不佳。为解决该问题，本文通过低秩分解分析揭示：融合过程中的方向鲁棒性对高效模块的融合至关重要，且弥补显著奇异值之间的差距有助于提升方向鲁棒性。
2025_NIPS_IR-OptSet: An Optimization-Sensitive Dataset for Advancing LLM-Based IR Optimizer
编译器优化对于提升程序性能至关重要，但现代编译器仍依赖于针对中间表示（IR）的手工编写转换规则。随着编译器复杂度的提升，维护这些基于规则的优化变得日益费力且难以扩展。大型语言模型（LLMs）的最新进展提供了一种极具潜力的替代方案，但其在编译器优化中的效果仍受到限制——主要原因是缺乏面向IR的数据集，无法让模型接触到真实场景中的多样化转换样本（优化敏感样本），阻碍了LLMs学习丰富且可泛化的优化策略。本文提出IR-OptSet，这是首个用于推进基于LLM的IR优化器的公开优化敏感数据集。
2025_NIPS_Classical Planning with LLM-Generated Heuristics: Challenging the State of the Art with
该研究提出一种利用大型语言模型（LLMs）生成领域依赖启发式函数的新方法，用于经典规划问题。通过向LLM输入PDDL领域描述、示例任务、其他领域启发式示例及规划器代码，生成Python格式的候选启发式函数，经训练集评估筛选最优函数后，用于解决未见的分布外测试任务。实验基于Pyperplan规划器，在IPC2023学习赛道的8个领域验证，结果显示LLM生成的启发式函数在求解任务数量、状态扩展效率上优于端到端LLM规划、传统领域无关启发式，甚至能与基于FastDownward的C++实现的最先进启发式竞争。
2025_NIPS_Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
人类反馈强化学习（RLHF）是使大型语言模型（LLMs）与人类偏好和价值观对齐的关键技术。近年来的研究主要集中在算法改进上——例如降低计算开销或强化奖励模型以减轻奖励黑客行为——而提示数据构建及其可扩展性的关键作用却受到相对较少的关注。本文通过系统性探索当前阻碍RLHF性能缩放的数据驱动型瓶颈，重点解决奖励黑客行为和响应多样性下降带来的挑战，填补了这一研究空白。
2025_NIPS_Emergence of Linear Truth Encodings in Language Models
近期的探测研究表明，大型语言模型存在能区分真实与虚假陈述的线性子空间，但其涌现机制尚不明确。本文提出一种透明的单层Transformer玩具模型，可端到端复现此类真值子空间，并揭示其形成的一条具体路径。我们研究了真值编码涌现的一个简单场景：在数据分布中，事实陈述与其他事实陈述共现（虚假陈述同理），这种分布特性促使模型学习区分真假以降低对后续token的语言建模损失。我们通过预训练语言模型的实验验证了这一模式。
2025_NIPS_Scaling Up Active Testing to Large Language Models
该研究聚焦于解决大型语言模型（LLMs）评估中存在的计算成本高、标签效率低的问题，提出了一套可规模化的主动测试（ActiveTesting）方案。背景与问题：现有LLMs评估面临双重挑战——模型复杂度提升导致评估成本激增，且数据泄露风险要求动态获取新评估数据；传统主动测试虽能提高标签效率，但因代理模型训练、预测计算等环节的高成本，难以适配LLMs。核心优化策略代理模型训练：用少量初始测试数据通过上下文学习（in-contextlearning）构建代理模型，固定不变，避免重复梯度训练；
2025_NIPS_CGBENCH: Benchmarking Language Model Scientific Reasoning for Clinical Genetics Research
临床遗传学中，基因和变异注释是个性化医疗的核心，但传统人工方法耗时费力，且现有LLM基准多聚焦窄化任务，与真实科研场景脱节。现有LLM在科学文献解读中存在幻觉、证据强度误判等问题，缺乏针对临床遗传学复杂任务的评估工具。变异和基因解读是个性化医疗和转化生物医学的基础。然而，传统方法依赖人工且耗时费力。生成式语言模型（LMs）可助力这一过程，加速基础研究向临床可行见解的转化。尽管现有基准已尝试量化LMs解读科学数据的能力，但这些研究聚焦于无法迁移到真实科研场景的窄化任务。
2025_NIPS_Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers
随着大型语言模型在实际应用中日益普及，处理远超模型预训练上下文限制的超长文本已成为一项关键挑战。现有高效长上下文处理方法虽展现出潜力，但基于循环压缩的方法难以保证信息完整性，而随机访问方法则需要大量内存资源。本文提出REFORM，一种通过两阶段方法高效处理长上下文的新型推理框架：首先，在维护压缩KV缓存的同时增量处理输入块，构建跨层上下文嵌入，并采用早停策略提升效率；其次，通过相似度匹配识别并收集关键token，选择性地重计算KV缓存。
2025_NIPS_SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution
近期发布的DeepSeek-R1已证明强化学习（RL）在提升大型语言模型（LLMs）通用推理能力方面的巨大潜力。尽管DeepSeek-R1及后续相关研究主要聚焦于将RL应用于竞赛编程和数学问题，本文仍提出了SWE-RL——首个将基于RL的LLM推理能力规模化应用于真实软件工程场景的方法。
2025_NIPS_MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs
该研究针对现有多模态大语言模型（MLLMs）评估基准局限于单视频理解、无法满足现实场景中多视频分析需求的问题，提出了首个全面的多视频理解评估基准MVU-Eval。多模态大语言模型（MLLMs）的出现将人工智能能力拓展到了视觉模态，但现有评估基准仍局限于单视频理解，忽视了现实场景（如体育分析、自动驾驶）中对多视频理解的关键需求。为填补这一重要空白，我们提出了MVU-Eval——首个用于评估MLLMs多视频理解能力的综合基准。
2025_NIPS_The Unreasonable Effectiveness of Entropy Minimization in LLM Reasoning
熵最小化（EM）训练模型将概率质量更集中于其最有信心的输出。我们表明，仅这一简单目标，无需任何标注数据，就能大幅提升大语言模型（LLMs）在高难度数学、物理和编程任务上的性能。我们探索了三种方法：（1）EM-FT类似于指令微调，最小化token级熵，但基于模型生成的无标注输出；（2）EM-RL：以负熵作为唯一最大化奖励的强化学习；（3）EM-INF：推理时调整logits以降低熵，无需任何训练数据或参数更新。
LLM Weekly（2026.3.2-2026.3.8）
部分非英语语言能力仍较弱，现已在ChatGPT与API以。
Helios: Real Real-Time Long Video Generation Model
我们提出Helios，这是首个14B参数的视频生成模型，在单张NVIDIAH100GPU上运行速度可达19.5FPS，支持分钟级视频生成，同时质量与强基线模型相当。我们在三个关键维度取得突破：（1）无需自强制、误差库或关键帧采样等常用抗漂移启发式方法，仍能保持长视频生成的稳定性；（2）无需KV缓存、稀疏/线性注意力或量化等标准加速技术，实现实时生成；（3）无需并行或分片框架即可完成训练，支持图像扩散级别的批量大小，且80GBGPU内存可同时容纳4个14B模型。
