Loading...
控制大型语言模型（LLMs）的生成仍是确保其安全可靠部署的核心挑战。尽管提示工程和微调是常见方法，但近期研究探索了潜在引导——一种通过改变LLM内部激活来引导生成的轻量级技术。然而，后续研究表明，潜在引导的效果有限，其性能往往不如简单的指令提示。为解决这一局限，我们首先建立了一个跨多种行为的基准，用于标准化评估引导技术。基于该基准的洞见，我们提出了指令注意力增强（INSTABOOST），这是一种潜在引导方法，通过在生成过程中调整模型的注意力来增强指令提示的效果。
LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation
本文针对序列推荐任务（通过建模用户历史行为中的协同过滤（CF）信号预测未来交互）的局限性，提出了一种基于大型语言模型（LLM）的嵌入模型LLM2Rec。传统序列推荐方法依赖基于ID的嵌入，虽能捕捉CF信号但缺乏跨域泛化能力；而现有基于文本的推荐方法虽利用LLM的语义表示提升泛化，却忽略了CF信号。协作监督微调（CollaborativeSupervisedFine-Tuning,CSFT）：在多领域推荐数据集上微调LLM，使其能根据用户历史交互序列预测下一个物品，从而学习CF信号（如物品共现模式）
ROSAQ: Rotation-based Saliency-Aware Weight Quantization for Efficiently Compressing Large Language
本文提出了一种基于旋转的显著性感知权重量化方法（ROSAQ），旨在高效压缩大型语言模型（LLMs），同时减少内存需求并提升推理速度。基于PCA的投影：对校准集执行主成分分析（PCA），通过PCA投影转换特征空间；针对多头自注意力（MHSA）层，进一步提出头级PCA（head-wisePCA），为每个头的注意力表示单独应用PCA。显著通道识别：选择对应最大K个特征值的维度作为显著通道，其余为非显著通道。混合精度的显著性感知量化。
Stream-Omni: Simultaneous Multimodal Interactions with Large Language-Vision-Speech Model
本文提出了一种名为的大型语言-视觉-语音模型，旨在实现高效、灵活的多模态对齐，支持文本、视觉、语音多种模态组合的交互。针对视觉与文本的语义互补性，采用序列维度拼接（sequence-dimensionconcatenation）实现视觉-文本对齐；针对语音与文本的语义一致性，引入基于CTC（ConnectionistTemporalClassification）的层维度映射（layer-dimensionmapping）实现语音-文本对齐。
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
本文聚焦于多语言对话式自动语音识别（ASR）任务，提出了一种融合语言特定双向上下文的语音大语言模型（SLLM），以提升多语言连续对话语音识别性能。模型架构：采用后对齐设计，结合Whisper-large-v3语音编码器、线性投影器（作为模态适配器）和Gemma-2-2B大语言模型（LLM）作为骨干，训练时冻结语音编码器，微调线性投影器和LLM。训练策略：引入字符级上下文掩码策略，随机移除部分上下文，模拟推理时可能出现的错误转录，增强模型鲁棒性。推理流程。
Decompositional Reasoning for Graph Retrieval with Large Language Models
本文聚焦于大语言模型（LLMs）在多跳推理和知识密集型任务（如复杂问答）中的局限性，提出了一种结合文本知识图谱（textualknowledgegraphs）与分解推理（decompositionalreasoning）的检索增强方法。将复杂问题分解为逻辑有序的子问题；基于子问题和原始复杂问题的加权相似性函数，检索相关文本子图；合并子图形成问题特定的知识图谱，指导LLM生成答案。
Empirical Evaluation of Large Language Models in Automated Program Repair
本文对四种具有代表性的开源大型语言模型（LLMs）在自动程序修复（APR）中的能力进行了全面实证评估，旨在填补现有研究在多语言泛化性、成本效益权衡及影响因素分析上的空白。研究选取了CodeLlama、LLaMA、StarCoder和DeepSeek-Coder四种模型（涵盖7B至33B参数规模，包括通用模型和代码专用模型），在两种bug场景（企业级项目bug和算法作业bug）、三种编程语言（Java、C/C++、Python）及四种提示工程策略下，对六个基准数据集生成并分析了超过600,000个补丁。
2025_NIPS_Adversarial Attacks against Closed-Source MLLMs via Feature Optimal Alignment
多模态大语言模型（MLLMs）仍然容易受到可迁移对抗样本的攻击。现有方法通常通过对齐对抗样本与目标样本之间的全局特征（如CLIP的[CLS]令牌）来实现靶向攻击，但往往忽略了补丁令牌中编码的丰富局部信息。这导致对齐效果欠佳且迁移性有限，尤其对于闭源模型而言。为解决这一局限，我们提出一种基于特征最优对齐的靶向迁移对抗攻击方法，名为FOA-Attack，以提升对抗迁移能力。具体而言，在全局层面，我们引入基于余弦相似度的全局特征损失，使对抗样本的粗粒度特征与目标样本对齐；
2025_NIPS_Planning without Search: Refining Frontier LLMs with Offline Goal-Conditioned RL
大型语言模型（LLMs）在问答和对话等任务中表现出色，但谈判、说服等需要交互的复杂任务，要求模型具备额外的长期推理和规划能力。原则上，强化学习（RL）微调可赋予模型此类规划能力，但存在扩展性不足的缺陷：多轮RL训练会产生高昂的内存和计算成本，在训练LLM作为策略模型时该问题尤为突出；此外，最大规模的LLM并未提供此类训练所需的API。因此，当前提升LLM推理能力的主流方法依赖复杂的提示工程而非RL微调。
2025_NIPS_Table as a Modality for Large Language Models
为迁移大型语言模型（LLMs）的卓越成果，研究界已做出大量努力将其推广至表格推理任务，以适配广泛部署的表格数据。尽管如此，本研究通过在我们提出的StructQA基准数据集上进行探测实验发现，即使是最先进的LLMs（如GPT系列）仍难以妥善处理表格数据。具体而言，现有方案通常仅将表格数据及其元信息序列化后输入LLMs，我们认为结构信息的丢失是这一缺陷的根源。为此，我们提出TAMO框架，其核心思想是将表格视为与文本标记相融合的独立模态。
2025_NIPS_FP4 All the Way: Fully Quantized Training of LLMs
我们首次展示了大型语言模型（LLMs）的全量化训练（FQT），在高达1万亿token的数据集上，权重、激活值和梯度主要采用4位浮点数（FP4）精度。我们深入研究了FP4的关键设计选择，包括块大小、缩放格式和舍入方式。分析表明，NVFP4格式（每个包含16个FP4值的块（E2M1）共享一个以E4M3格式表示的缩放因子）能提供最优结果。我们在反向传播和更新过程中使用随机舍入，在前向传播中使用就近舍入，以提升训练稳定性。
2025_NIPS_Physics of Language Models: Part 4.1, Architecture Design and the Magic of Canon Layers
理解语言模型的架构差异具有挑战性，尤其是在学术规模的预训练中（例如1.3B参数、100Btokens），其结果往往受噪声和随机性主导。为解决这一问题，我们引入了受控的合成预训练任务，用于隔离和评估模型的核心能力。在该框架下，我们发现了Canon层：一种轻量级架构组件——命名灵感源自音乐术语“卡农”（canon）——能够促进相邻token间的水平信息流。Canon层计算相邻token表示的加权和，并可无缝集成到Transformer、线性注意力模型、状态空间模型或任何序列架构中。
2025_NIPS_Explainably Safe Reinforcement Learning
信任决策系统既需要安全保证，也需要解释和理解其行为的能力——这对于学习型系统尤为重要，因为这类系统的决策过程通常高度不透明。屏蔽（Shielding）是强化学习中保障安全性的主流模型驱动技术，但由于屏蔽器通过严格的形式化方法自动合成，其决策对人类而言同样难以解释。近年来，决策树已成为表示控制器和策略的常用工具，但由于屏蔽器本质上具有非确定性，其决策树表示往往过于庞大，无法实际用于解释。为应对这一挑战，我们提出一种新型可解释安全强化学习方法，通过提供人类可理解的屏蔽器决策解释来增强信任。
2025_NIPS_Q-Palette: Fractional-Bit Quantizers Toward Optimal Bit Allocation for Efficient LLM Deplo
本文聚焦大语言模型（LLM）的权重量化技术，提出Q-Palette（一套支持分数位宽的量化器套件）和融合感知混合方案量化（fusion-awareMSQ）框架，解决LLM权重分布不规则、量化误差与推理效率难以平衡的问题，实现无需重训练的高效部署（尤其适用于边缘设备等内存受限场景）。我们研究了仅权重训练后量化（PTQ）技术，该技术无需重训练即可量化大语言模型（LLM）的权重，且仅需少量或无需校准数据。
2025_NIPS_Steering When Necessary: Flexible Steering Large Language Models with Backtracking
该研究针对大型语言模型（LLMs）生成内容可能存在的误导性、不真实等问题，提出了一种带回溯的灵活激活引导（FASB）框架，核心目标是在推理阶段动态控制LLMs输出，使其符合真实、可靠等期望行为，同时避免微调带来的高昂成本。大型语言模型（LLMs）在众多生成任务中已取得显著性能，但有效使其与期望行为对齐仍是一项重大挑战。激活引导是一种高效且经济的方法，它在推理阶段直接修改LLMs的激活状态，使模型响应与期望行为对齐，同时避免了微调的高昂成本。
2025_NIPS_FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models
大型语言模型（LLMs）已在多个领域取得最先进成果，但其发展仍依赖海量公开数据，引发了数据稀缺以及难以获取领域特定敏感信息的担忧。联邦学习（FL）通过在不共享原始数据的前提下对预训练LLMs进行去中心化微调，为解决这些挑战提供了极具吸引力的框架。然而，预训练LLMs在联邦学习环境中的兼容性和性能仍未得到充分探索。
2025_NIPS_ı˙Finder: Structured Zero-Shot Vision-Based LLM Grounding for Dash-Cam Video Reasoning
将大型语言模型（LLM）应用于行车记录仪视频事后分析等特定领域任务面临挑战，这源于其通用目的训练特性以及缺乏结构化归纳偏置。由于此类分析通常仅能依赖视觉模态（即无激光雷达、全球定位系统等辅助传感器），现有基于视频的视觉语言模型（V-VLM）在输入视频的空间推理、因果推断和事件可解释性方面存在不足。为此，我们提出˙ıFinder，一种结构化语义接地框架，通过将行车记录仪视频转换为层级化、可解释的数据结构供LLM使用，实现感知与推理的解耦。
Monitoring Decomposition Attacks in LLMs with Lightweight Sequential Monitors
主要内容研究背景与问题现有大语言模型（LLM）的安全防御在“分解攻击”下失效——攻击者将恶意目标分解为多个看似良性的子任务，绕过模型的拒绝机制。传统防御仅检测即时提示中的显式危害，无法推理长程恶意意图。核心方法数据集构建：创建了首个涵盖问答（QA）、文本到图像（Text-to-Image）和智能体任务（Agent）的多场景分解攻击数据集，验证了分解攻击的普遍性（如GPT-4o平均攻击成功率87%）。轻量级顺序监测框架：通过累积评估对话历史中的子任务，检测隐藏的恶意意图。
Code Execution as Grounded Supervision for LLM Reasoning
本文聚焦于提升大语言模型（LLMs）的推理能力，针对现有思维链（CoT）监督数据获取成本高、可靠性不足的问题，提出了一种借助代码执行确定性来生成高质量CoT监督数据的可扩展方法。该方法先从开源Python程序中提取包含中间变量值、执行顺序等信息的代码执行轨迹，再利用LLM将这些原始轨迹翻译成自然语言形式的CoT推理过程。在多个推理基准（如MATH500、BBH、AGIEval等）上的实验表明，此方法能有效赋予LLMs跨任务的迁移推理能力。
GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models
LLM遗忘的重要性：随着LLM的广泛应用，隐私保护、法规合规和版权问题日益凸显，选择性删除敏感信息的“遗忘”技术成为关键。现有方法的局限性：传统LLM遗忘方法（如梯度上升）存在“意外遗忘”问题，即删除目标数据时会损害模型对保留数据的性能，且计算效率低、缺乏理论保证。在大型语言模型（LLMs）中，遗忘技术因法规合规、版权保护和隐私问题而变得愈发重要。然而，LLM遗忘的关键挑战在于“意外遗忘”，即删除特定数据时会无意损害模型效用及其对有价值信息的保留能力。
