Loading...
本文提出了一种名为的多模态大型语言模型（MLLM），旨在解决计算病理学中现有模型推理能力有限、任务适应性单一的问题。该模型能够同时处理区域感兴趣（ROI）级别和全切片图像（WSI）级别的任务，包括分类、检测、分割和视觉问答（VQA）等，并在72项任务中表现出优于现有模型的性能。尺度依赖的监督微调（Scale-DependentSupervisedFine-Tuning）：根据任务尺度（ROI或WSI）动态调整图像分辨率和token数量，优化视觉-语言对齐。
A Comprehensive Evaluation on Quantization Techniques for Large Language Models
本文聚焦大语言模型（LLMs）的后训练量化（PTQ）技术，旨在解决现有量化方法因组件复杂、实验配置不一致导致的难以公平比较的问题，并深入分析量化方法的理论关联。核心框架：将现有量化方法分解为两个关键步骤——量化前转换（通过移位、缩放、旋转等预处理减少异常值影响，使数据分布更适合量化）和量化误差缓解（通过自补偿、低秩分支补偿等技术抵消量化引入的误差）。实验评估：在统一配置下（如W4A4精度、相同模型和任务），评估了不同量化组件的组合效果，包括优化的旋转与缩放、GPTQ与低秩补偿的结合等。
RetroDFM-R: Reasoning-Driven Retrosynthesis Prediction with Large Language Models via Reinforceme...
本文提出了一种名为RETRODFM-R的推理驱动型大型语言模型（LLM），专门用于化学逆合成预测。逆合成规划是有机合成和药物发现的核心环节，但现有方法在适用性和可解释性上存在局限。RETRODFM-R通过三阶段训练范式（持续预训练、冷启动推理蒸馏、大规模强化学习）整合化学领域知识与先进推理能力，结合可验证的化学奖励机制，显著提升了预测准确性和可解释性。实验结果显示，RETRODFM-R在USPTO-50K基准数据集上的top-1准确率达到65.0%，超过现有最先进方法；
An Uncertainty-Driven Adaptive Self-Alignment Framework for Large Language Models
大型语言模型（LLMs）在指令遵循和通用推理方面已取得显著进展。然而，在没有人类标注的情况下，实现与人类意图和安全规范的高质量对齐仍是一项根本性挑战。本文提出了一种不确定性驱动的自适应自对齐（UDASA）框架，旨在以全自动方式改进LLM的对齐效果。UDASA首先为每个输入生成多个响应，并从语义、事实性和价值对齐三个维度量化输出不确定性。基于这些不确定性分数，该框架构建偏好对，并根据不确定性差异将训练样本分为保守、中等和探索三个阶段，随后分阶段对模型进行优化。
SLoW: Select Low-frequency Words! Automatic Dictionary Selection for Translation on Large Languag...
世界上有7000多种语言，而当前的大型语言模型（LLMs）仅支持数百种语言。基于字典的提示方法能够增强这些模型的翻译能力，但大多数方法会使用所有可用的字典，这可能成本很高。相反，在token消耗和翻译性能之间进行权衡会更具灵活性。本文提出了一项名为“自动字典选择（ADS）”的新任务。该任务的目标是自动选择使用哪些字典来增强翻译效果。我们提出了一种新颖且有效的方法，称为“选择低频词！（SLoW）”，该方法会选择那些包含更低频率词汇的字典。
DIFFA: Large Language Diffusion Models Can Listen and Understand
本文介绍了DIFFA，这是首个基于扩散模型的大型音频-语言模型（LargeAudio-LanguageModel,LALM），旨在实现语音语言理解。DIFFA的核心设计是将冻结的扩散语言模型与轻量级双适配器架构结合，以连接语音理解和自然语言推理能力。第一阶段通过语音识别（ASR）目标，利用LibriSpeech数据集（960小时）对齐语义表示；第二阶段通过大语言模型自动生成的合成音频-字幕对（127小时），学习指令遵循能力。
Hybrid and Unitary Fine-Tuning of Large Language Models: Methods and Benchmarking under Resource ...
大型语言模型（LLMs）的微调因其规模和内存需求，仍是一个计算瓶颈。本文全面评估了参数高效微调（PEFT）技术，包括LoRA、BOFT、LoRA-GA和uRNN，并提出了一种新颖的混合策略，该策略动态融合BOFT的正交稳定性与LoRA-GA的梯度对齐快速收敛特性。通过基于梯度范数计算每层自适应更新，该混合方法在多种任务上实现了更优的收敛效率和泛化能力。此外，本文首次探索了将酉循环神经网络（uRNN）原理适配于基于Transformer的LLMs，通过结构化酉约束增强梯度稳定性。
A3D-MoE: Acceleration of Large Language Models with Mixture of Experts via 3D Heterogeneous Integ...
本文针对细粒度混合专家（MoE）架构的大型语言模型（LLMs）推理效率问题，提出了一种名为A3D-MoE的3D异构集成系统，旨在解决MoE架构面临的三大挑战：runtime工作负载变化导致的GEMV-GEMM比率不稳定（降低硬件利用率）、注意力操作与MoE操作无法融合（增加延迟和降低利用率）、DRAM访问能耗高且带宽需求大。A3D-MoE通过四项核心技术实现优化：1）3D异构集成系统，利用先进垂直集成技术提升内存带宽，减少片上网络（NoC）开销和能耗；
iPLAN: Redefining Indoor Wireless Network Planning Through Large Language Models
高效的室内无线网络（IWN）规划对于提供高质量的5G室内服务至关重要。然而，由于室内环境（IEs）与IWN需求之间的复杂相互作用，传统的元启发式和基于人工智能的规划方法面临重大挑战。在本文中，我们提出了一种基于大语言模型的室内无线网络规划框架（iPLAN），该框架将多模态室内环境表示整合到由大语言模型（LLM）驱动的优化器中，以改进IWN规划。首先，我们确立了LLMs作为优化器的角色，概述了室内环境的嵌入技术，并介绍了iPLAN的两个核心应用：（i）基于既有室内环境的IWN规划；
OpenNav: Open-World Navigation with Multimodal Large Language Models
预训练大型语言模型（LLMs）已展现出强大的常识推理能力，在机器人导航和规划任务中具有广阔前景。然而，尽管近年来取得了一定进展，如何弥合语言描述与开放世界中实际机器人动作之间的差距（而非仅调用有限的预定义运动原语）仍是一个亟待解决的挑战。本研究旨在使机器人能够解析和分解复杂的语言指令，最终生成一系列轨迹点，以完成涉及开放集指令和开放集物体的多样化导航任务。我们观察到，多模态大型语言模型（MLLMs）在处理自由形式语言指令时表现出强大的跨模态理解能力，具备稳健的场景感知能力。
Large language models provide unsafe answers to patient-posed medical questions
本文是一项由医师主导的红队研究，旨在评估大型语言模型（LLMs）对患者提出的医疗问题的回答安全性。研究选取了四个公开可用的聊天机器人（Anthropic的Claude、Google的Gemini、OpenAI的GPT-4o、Meta的Llama3-70B），基于新构建的HealthAdvice数据集（包含222个涉及内科、女性健康、儿科的初级保健领域患者咨询类医疗问题），对888条聊天机器人回复进行了定量和定性分析。
Debating Truth: Debate-driven Claim Verification with Multiple Large Language Model Agents
本文针对复杂声明的事实核查问题，提出了一种基于多智能体辩论的框架DebateCV。该框架受现实世界事实核查实践（如PolitiFact的“星室会议”）启发，通过两个持对立立场的辩论者（支持与反驳声明）进行多轮论证，由仲裁者评估论证并最终给出带依据的裁决。为解决真实辩论驱动的事实核查数据稀缺问题，研究提出了一种基于合成数据的后训练策略：利用零样本DebateCV生成合成辩论数据，引入“校正者”修正仲裁者的错误裁决及依据，再通过辩论驱动的监督微调（D-SFT）和直接偏好优化（D-DPO）对仲裁者进行训练。
The Moral Gap of Large Language Models
本文聚焦大型语言模型（LLMs）在道德基础检测任务中的表现，通过系统对比最先进的LLMs（如ClaudeSonnet4、GPT-o1-mini等）与微调的Transformer模型（如DeBERTa、RoBERTa），评估两者在Twitter（MFTC）和Reddit（MFRC）数据集上的性能。研究采用ROC、PR、DET曲线等多维度评估指标，发现LLMs存在显著性能差距：即使经过提示工程优化，仍表现出高假阴性率，对道德内容（尤其是“忠诚”“神圣”等维度）的检测存在系统性漏检；
SCOPE: Stochastic and Counterbiased Option Placement for Evaluating Large Language Models
大型语言模型（LLMs）在多选题任务中可能通过利用选项位置或标签的固有偏差获得虚高分数，而非展现真正的理解能力。本研究提出SCOPE，一种旨在以数据集无关的方式测量和缓解此类选择偏差的评估框架。通过重复使用缺乏语义内容的空提示，SCOPE估计每个模型独特的位置偏差分布。然后，它根据逆偏差分布重新分配答案位置，从而平衡“幸运率”（即随机选中正确答案的概率）。此外，它防止语义相似的干扰项与答案相邻，从而阻断基于表面proximity线索的近误猜测。
Synthetic Data Generation for Phrase Break Prediction with Large Language Model
本文聚焦于文本到语音（TTS）系统中的短语停顿预测任务，旨在解决传统方法依赖大量人工标注（存在成本高、一致性差等问题）的挑战。研究探索了利用大语言模型（LLMs）生成合成短语停顿标注的可行性，通过与两种传统人工标注（音频导向标注和文本导向标注）的对比，评估了合成数据在多语言场景下的有效性。研究发现，基于LLM的合成数据生成方法能有效缓解短语停顿预测中的数据难题：LLM生成的标注质量与人工标注相当，且具有更高的一致性、更低的成本，仅需少量示例即可实现；
Arg-LLaDA: Argument Summarization via Large Language Diffusion Models and Sufficiency-Aware Refin...
论点摘要旨在为复杂的多视角辩论生成简洁、结构化的表述。尽管近年来的研究在论证组件的识别与聚类方面取得了进展，但生成阶段的探索仍显不足。现有方法通常依赖单轮生成，对事实修正或结构优化的支持有限。为解决这一问题，我们提出了Arg-LLaDA——一种新型大型语言扩散框架，通过充分性引导的重新掩码和再生过程迭代优化摘要。该方法结合灵活的掩码控制器与充分性检查模块，识别并修正不被支持、冗余或不完整的片段，从而生成更忠实、简洁且连贯的输出。
Scout: Leveraging Large Language Models for Rapid Digital Evidence Discovery
近年来，技术的进步以及技术在日常活动中的普及，使得数字证据在越来越多的法律调查中出现的可能性大幅增加。消费级硬件的性能不断提升，内存和存储容量扩大，处理器能力增强。取证调查人员在调查过程中常常需要筛选数十亿字节的数据，这一过程十分繁琐。内存取证、磁盘分析等都有先进工具支持，这些工具通过提供字符串搜索、图像文件分析等功能，显著降低了取证人员的工作量。但在调查过程中，仍会识别出大量假阳性结果，需要减少这类情况。本文提出了Scout，这是一种数字取证框架，它利用大型语言模型进行初步的证据处理和优先级排序。
HIVMedQA: Benchmarking large language models for HIV medical decision support
大型语言模型（LLMs）正逐渐成为支持临床医生日常决策的重要工具。HIV管理因其复杂性和动态性（涉及多种治疗方案、合并症及依从性障碍），成为极具吸引力的应用场景。然而，将LLMs整合到临床实践中面临诸多挑战，包括准确性担忧、潜在危害及临床医生的接受度等。尽管前景广阔，但AI在HIV护理中的应用及其性能尚未得到充分研究，且缺乏LLM基准测试研究。本研究旨在评估LLMs在HIV管理中的现状，探究其优势与局限性。我们开发了HIVMedQA基准，用于评估HIV患者管理场景下的开放式医疗问答。
A Hybrid Early-Exit Algorithm for Large Language Models Based on Space Alignment Decoding (SPADE)
本文针对大型语言模型（LLMs）因深层结构导致的高推理成本问题，提出了一种基于空间对齐解码的混合早期退出算法SPADE-EXIT。现有早期退出算法通过在中间层终止计算降低成本，但因中间层与输出层的表示空间不对齐，解码准确性较差。SPADE（空间对齐解码）：通过传播仅包含起始token（）和答案token（）的最小序列，将中间层表示与输出层表示对齐，无需依赖线性变换，提升解码准确性；L-SPADE。
Policy Disruption in Reinforcement Learning:Adversarial Attack with Large Language Models and Cri...
本文聚焦强化学习（RL）系统的对抗性攻击问题，针对现有攻击方法需修改环境或策略、实用性有限的缺陷，提出了一种名为ARCS（AdversarialRewardsandCriticalStateIdentification）的自适应对抗框架。该框架无需改变环境，通过现有代理引导目标策略输出次优动作，从而破坏其性能。奖励迭代优化模块：利用大型语言模型（LLMs）生成针对目标代理漏洞的定制化对抗性奖励函数，通过迭代优化增强引导目标代理做出次优决策的效果。关键状态识别机制。
