Loading...
本文聚焦于设备端大型语言模型（LLMs）的高效组合多任务处理问题。现有基于适配器（如LoRA）的模型合并方法仅能处理单个测试样本对应单一任务的场景，而实际应用中常需同时执行多个任务（如生成翻译后的摘要需同时完成翻译和摘要任务）。为此，本文提出：1）一个包含4个实用组合任务的基准测试集（如“摘要+翻译”“回复+语气调整”等），每个任务结合一个主任务（如摘要生成）和一个辅助任务（如翻译）；
Gaze-supported Large Language Model Framework for Bi-directional Human-Robot Interaction
大型语言模型（LLMs）的快速发展为辅助机器人的灵活、通用知识驱动人机交互（HRI）系统创造了令人兴奋的潜力。现有HRI系统在解读和遵循用户指令、生成动作及解决机器人任务方面已取得显著进展。然而，在协作任务中对用户的双向、多模态、上下文感知支持仍是一个未解决的挑战。本文提出了一种基于注视和语音的辅助机器人交互界面，该界面能够通过多视觉输入感知工作环境，并为动态中的用户提供任务支持。我们的系统采用模块化设计，可迁移至不同任务和机器人；由于基于语言的交互状态表示和快速机载感知模块，其具备实时处理能力。
Chinchunmei at SemEval-2025 Task 11: Boosting the Large Language Model‘s Capability of Emotion Pe...
本文是针对SemEval-2025Task11（“基于文本的情感检测鸿沟填补”）的研究成果，该任务涉及28种语言的情感识别，包含两个赛道：多标签分类（TrackA）和情感强度预测（TrackB），涵盖愤怒、恐惧、喜悦、悲伤、惊讶、厌恶六种情感。基于样本的对比学习（ContrastiveReasoningCalibration,CRC）：通过比较两个样本生成更可靠的预测；基于生成的对比学习（DPO、SimPO）：训练模型区分正确与错误的生成结果，优化预测。
MUR: Momentum Uncertainty guided Reasoning for Large Language Models
大型语言模型（LLMs）在推理密集型任务上已取得令人瞩目的性能，但优化其推理效率仍是一个亟待解决的挑战。尽管测试时缩放（TTS）方法提高了推理质量，但往往会导致“过度思考”——在冗余计算上浪费token。本文研究如何在无需额外训练的情况下，高效且自适应地引导LLM的测试时缩放。受物理学中“动量”概念的启发，我们提出了动量不确定性引导推理（MUR），通过跟踪和聚合随时间变化的逐步不确定性，为关键推理步骤动态分配思考预算。为支持灵活的推理时控制，我们引入了γ-control机制，通过单一超参数调整推理预算。
The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for...
本文系统评估了大型语言模型（LLMs）中社会人口统计学角色提示（sociodemographicpersonaprompting）的效果，重点探究不同提示策略对模型模拟15个交叉人口群体（如种族、性别交叉）的影响。角色采用格式：直接式（如“Youarea…”）、第三人称式（如“Thinkofa…”）、采访式（如问答对话）；人口统计学启动策略。
Compositional Coordination for Multi-Robot Teams with Large Language Models
本文提出了一种名为的新型框架，旨在利用大语言模型（LLMs）简化和泛化多机器人协调流程。传统的多机器人协调依赖专家手动将自然语言任务描述转化为数学模型、算法和可执行代码，存在耗时、非专家难以使用、对任务需求变化适应性差等问题。任务分析（MissionAnalysis）：将自然语言任务描述解析为行为树（behaviortrees），明确任务分解、依赖关系、机器人分配、约束条件等；代码生成（CodeGeneration）
MD-LLM-1: A Large Language Model for Molecular Dynamics
分子动力学（MD）是建模分子系统的强大方法，但在许多具有生物学意义的大分子系统的空间和时间尺度上，其计算成本仍然很高。为了探索深度学习在解决这一问题上的潜力，我们引入了分子动力学大型语言模型（MD-LLM）框架，以说明如何利用大型语言模型（LLMs）学习蛋白质动态并发现训练中未见过的状态。通过将这一方法的首个实现（MD-LLM-1，通过微调Mistral7B获得）应用于T4溶菌酶和Mad2蛋白系统，我们发现，在单一构象状态上训练能够实现对其他构象状态的预测。
Measuring and Analyzing Intelligence via Contextual Uncertainty in Large Language Models using In...
本文聚焦大型语言模型（LLMs）的内在信息处理机制，提出了一种基于信息论的任务无关方法，通过量化“认知轮廓”（CognitiveProfile）分析模型的智能特征。核心思路是利用“熵衰减曲线”（EntropyDecayCurve）追踪模型的归一化预测不确定性随上下文长度的变化，并引入“信息增益跨度”（IGS）指数总结曲线特征。模型规模显著影响认知轮廓：大模型（如Llama3.3）的熵衰减曲线下降更剧烈，能从“发散思考”快速过渡到“精确推理”；小模型的曲线更平缓，长上下文下不确定性仍较高。
Understanding Large Language Models‘ Ability on Interdisciplinary Research
近年来，大型语言模型（LLMs）的进展揭示了它们在复杂领域中执行多步骤、逻辑驱动推理的惊人能力，使它们成为科学发现中的强大工具和合作者，同时挑战了“灵感驱动的构思是人类独有的”这一长期观点。然而，缺乏一个专门的基准来评估LLMs在跨学科研究（IDR）场景中提出思想的能力，这严重阻碍了对其优势和局限性的充分理解。为填补这一空白，我们引入了IDRBench——一个开创性的基准，包含专家标注的数据集和一套专门设计的任务，用于评估LLMs从不同科学领域中为跨学科研究提出有价值研究思想的能力。
Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are A...
大型语言模型（LLMs）已通过多种问题类型进行评估，例如选择题、判断题和长短简答题。本研究探讨了一个尚未被研究的问题：不同问题类型对LLM在推理任务上的准确性有何影响？我们通过定量推理和演绎推理任务，研究了5个LLM在三种不同问题类型上的表现。评估指标包括推理步骤的准确性和最终答案的选择准确性。主要发现：（1）不同问题类型下，LLM的表现存在显著差异；（2）推理准确性与最终答案选择准确性不一定相关；（3）选项数量和用词选择会影响LLM的表现。
Extracting Visual Facts from Intermediate Layers for Mitigating Hallucinations in Multimodal Larg...
本文聚焦多模态大型语言模型（MLLMs）中的“物体幻觉”问题（即模型生成图像中不存在的物体等事实错误输出），深入探究了模型先验知识在中间层对视觉信息的抑制机制。研究发现，中间层的视觉事实知识与原始输入和纯文本输入的概率分布差异（通过JS散度量化）具有相似的演化趋势。动态目标层选择：通过计算中间层原始输入与纯文本输入的JS散度，选择散度最大的中间层作为目标层（该层含最丰富的视觉事实知识）；视觉事实知识解码。
Applying the Chinese Wall Reverse Engineering Technique to Large Language Model Code Editing
本文聚焦代码大语言模型（CodeLLM）的版权争议与性能提升问题。核心背景是：主流商业代码大语言模型（如GPT-4、Gemini2.5Pro等）的训练数据不公开，可能包含受版权保护的开源代码，存在侵权风险；而部分注重数据合规性的模型（如Comma、Starcoder2）因训练数据有限，性能较弱，缺乏竞争力。
Metaphor and Large Language Models: When Surface Features Matter More than Deep Understanding
本文全面评估了大型语言模型（LLMs）在多个数据集、任务和提示配置下的隐喻理解能力。尽管隐喻处理在自然语言处理（NLP）领域已受到广泛关注，但以往研究局限于单一数据集评估和特定任务设置，且常通过词汇替换构建人工数据。为解决这些局限，我们利用多样化的公开数据集（含推理和隐喻标注）开展了大量实验，重点关注自然语言推理（NLI）和问答（QA）任务。结果表明，LLMs的表现更多受词汇重叠、句子长度等特征影响，而非隐喻内容。
StackTrans: From Large Language Model to Large Pushdown Automata Model
本文针对Transformer架构在捕获乔姆斯基层级（如正则表达式、确定性上下文无关文法）方面的固有局限，提出了一种名为STACKTRANS的新型模型。该模型受下推自动机（使用栈高效处理确定性上下文无关文法）启发，在Transformer层间引入隐藏状态栈，通过可微分的栈操作（推入、弹出、无操作）实现端到端训练，同时保持与现有框架（如flash-attention）的兼容性。
A Novel Self-Evolution Framework for Large Language Models
大型语言模型（LLMs）的能力在一定程度上受限于预训练，因此一些研究者通过后训练对其进行优化。现有的后训练策略（如基于记忆的检索或偏好优化）虽能提升用户对齐，但无法增强模型的领域认知。为填补这一空白，我们提出了一种新颖的双阶段自进化（DPSE）框架，可联合优化用户偏好适应和特定领域能力。DPSE引入了审查模块，用于提取多维交互信号并估计满意度分数，通过主题感知和偏好驱动策略指导结构化数据扩展。这些扩展后的数据集支持两阶段微调流程：先进行监督领域接地，再进行频率感知的偏好优化。
ChiMed 2.0: Advancing Chinese Medical Dataset in Facilitating Large Language Modeling
本文介绍了一个大规模中文医疗数据集ChiMed2.0，旨在推动中文医疗领域大语言模型（LLM）的研究与应用。该数据集扩展了此前的ChiMed工作，整合了来自中文医疗在线平台的真实数据和LLM生成的数据，涵盖传统中医经典文献和现代通用医疗数据，总规模达2.044亿汉字。具体而言，ChiMed2.0包含三部分核心数据：16.48万篇预训练文档、35.16万对有监督微调（SFT）问答对、4.17万条人类反馈强化学习（RLHF）偏好数据元组。
SimdBench: Benchmarking Large Language Models for SIMD-Intrinsic Code Generation
本文提出了SimdBench，这是首个专门用于评估大型语言模型（LLMs）生成SIMDintrinsic代码能力的基准测试。SIMD（单指令多数据）指令通过并行处理多个数据项加速性能关键任务，而SIMDintrinsic是编译器提供的内置函数，允许程序员在高级语言中显式调用SIMD指令，平衡编码效率与高性能。现有代码生成基准主要关注标量代码，缺乏对SIMDintrinsic代码的评估。
The Generative Energy Arena (GEA): Incorporating Energy Awareness in Large Language Model (LLM) H...
本文针对大型语言模型（LLMs）评估中能源消耗因素被忽视的问题，提出了生成能源竞技场（GenerativeEnergyArena,GEA）这一评估平台。背景：现有LLM评估方法存在局限——自动化基准测试与人类偏好相关性低，传统人类评估可扩展性差，公开竞技场（如LMArena）未考虑能源消耗；而LLM的能源消耗（训练和推理阶段）日益成为重要议题。
Inverse Reinforcement Learning Meets Large Language Model Post-Training: Basics, Advances, and Op...
研究背景与动机LLMs在自然语言处理、多模态生成等领域取得巨大成功，但存在自我修正能力不足等问题；强化学习（RL）在游戏、决策控制等领域展现超人类性能，但透明度有限。结合两者优势的LLM后训练（对齐）成为趋势，核心挑战包括缺乏明确奖励信号、计算成本高昂、算法适配性等。理论基础基于马尔可夫决策过程（MDP）框架，将LLM生成过程建模为“无奖励MDP（MDP\R）”，其中状态为当前文本、动作为生成的token、转移为token拼接，但奖励函数需从数据中学习。
SE-VLN: A Self-Evolving Vision-Language Navigation Framework Based on Multimodal Large Language M...
近年来，视觉-语言导航（VLN）的进展主要归功于新兴的大型语言模型（LLMs）。这些方法在指令理解和任务推理方面展现出优异的泛化能力。然而，它们受限于LLMs的固定知识库和推理能力，无法充分整合经验知识，导致缺乏高效的进化能力。为解决这一问题，我们从自然智能体的进化能力中汲取灵感，提出了一种自进化VLN框架（SE-VLN），使VLN智能体能够在测试过程中实现持续进化。据我们所知，这是首次提出基于多模态大型语言模型的自进化VLN框架。
