Loading...
该研究聚焦于大语言模型（LLM）的SVD（奇异值分解）压缩技术，核心解决全局压缩比约束下不同线性模块的最优秩分配问题。由于SVD仅适用于线性模块，而LLM包含大量非线性组件，需对每个线性模块独立应用SVD，如何为各模块分配合理秩以平衡压缩效率与模型性能成为关键挑战。现有方法存在明显缺陷：启发式算法搜索空间受限、忽略模块间依赖；基于掩码的方法难以捕捉奇异值谱与可训练参数的关系，且未考虑压缩比为1时增益函数的非光滑性，易陷入局部最优。为此，研究提出自适应秩分配（ARA）方法。
“You Are Rejected!“: An Empirical Study of Large Language Models Taking Hiring Evaluations
本文围绕大型语言模型（LLMs）能否通过科技公司招聘评估这一核心问题展开实证研究，通过标准化职业评估问卷对12款主流LLM（包括GPT-4o、GPT-5-chat、DeepSeek系列、Qwen系列等）进行全面测试，重点探究三个研究问题：LLMs能否通过招聘评估、不同LLMs是否呈现独特人格画像、LLMs能否生成合理招聘建议。研究采用量化（RMSE、皮尔逊相关系数）与质性分析结合的方法，对比模型响应与企业参考答案、人类志愿者回答的差异。
Exploring Membership Inference Vulnerabilities in Clinical Large Language Models
本文聚焦临床大型语言模型（LLMs）的成员推理漏洞问题，旨在探究攻击者能否推断特定患者记录是否用于模型训练，为医疗AI的隐私保护提供实证依据。研究背景：临床LLM通过电子健康记录（EHR）微调实现领域适配，在临床决策支持、病历文档等场景中应用广泛，但敏感数据微调易引发隐私泄露风险，成员推理攻击（MIAs）是直接威胁之一——攻击者可通过模型对训练样本（成员）与非训练样本（非成员）的行为差异推断数据归属。实验设计。
CMT-Bench: Cricket Multi-Table Generation Benchmark for Probing Robustness in Large Language Models
大语言模型驱动的文本转表格（T2T）系统通常依赖大量提示工程或迭代式事件抽取（以代码可解析格式），这类方法虽能提升分数，但计算成本高昂，且掩盖了模型如何对时序演化叙事进行推理以总结关键信息的核心过程。本文提出CMT-Bench，一个基于板球实时解说构建的诊断基准，要求模型在密集的规则约束下，跨两个演化的表格schema生成动态表格。该基准通过三个语义保留维度探究模型鲁棒性：（1）抽取式线索消融，以区分抽取式捷径与状态跟踪能力；（2）时间前缀扩展，测试长上下文稳定性；
From Memorization to Generalization: Fine-Tuning Large Language Models for Biomedical Term-to-Ide...
背景：有效的生物医学数据整合依赖于自动化术语归一化——将自然语言生物医学术语映射到不同术语集中的标准化标识符。这种术语与标识符的关联是实现语义互操作性的关键步骤。尽管大型语言模型（LLMs）在该任务中展现出潜力，但它们在不同生物医学术语集上的性能存在异质性。本研究评估了三种生物医学术语集（人类表型本体HPO、基因本体GO和蛋白质-基因符号映射GENE）的记忆能力（训练术语上的表现）和泛化能力（未见过的验证术语上的表现）。结果：微调Llama3.18B模型揭示了不同术语集间的差异。
Metadata Extraction Leveraging Large Language Models
大型语言模型（LLMs）的出现彻底改变了多个领域的任务处理方式，包括法律文档分析自动化——这是现代合同管理系统的关键组成部分。本文提出了一种基于LLM增强的合同审查元数据提取综合实现方案，重点关注关键法律条款的自动检测与标注。借助公开可用的合同理解阿提库斯数据集（CUAD）与专有合同数据集，本研究展示了先进LLM方法与实际应用的深度融合。我们确定了优化元数据提取的三个关键要素：稳健的文本转换、策略性文本块选择，以及LLM专用高级技术（包括思维链提示与结构化工具调用）。
Evaluating Large Language Models in detecting Secrets in Android Apps
移动应用通常会嵌入身份验证密钥（如API密钥、令牌和客户端ID）以集成云服务。然而，开发者常常将这些凭证硬编码到Android应用中，导致它们容易通过逆向工程被提取。一旦泄露，攻击者可利用这些密钥访问敏感数据、操纵资源或滥用API，引发严重的安全风险和财务损失。现有检测方法（如基于正则表达式的分析、静态分析和机器学习）虽能识别已知模式，但存在根本性局限：它们需要预先知晓凭证结构、API签名或训练数据。
CMT-Bench: Cricket Multi-Table Generation Benchmark for Probing Robustness in Large Language Models
大语言模型驱动的文本转表格（T2T）系统通常依赖大量提示工程或迭代式事件抽取（以代码可解析格式输出），这类方法虽能提升分数，但计算成本高昂，且掩盖了模型如何对时序演化叙事进行推理以总结关键信息的核心过程。本文提出CMT-Bench，这一诊断基准基于板球实时解说构建，要求模型在密集的规则约束下，跨两个演化模式动态生成表格。CMT-Bench通过三个语义保留维度探究模型鲁棒性：（1）抽取式线索消融，以区分抽取捷径与状态跟踪能力；（2）时间前缀扩展，测试长上下文稳定性；
Misinformation Detection using Large Language Models with Explainability
在线平台上虚假信息的快速传播削弱了个人之间的信任，并阻碍了明智的决策制定。本文提出了一种具有可解释性和计算效率的流程，利用基于Transformer的预训练语言模型（PLMs）检测虚假信息。我们通过两步策略优化RoBERTa和DistilBERT：首先，冻结主干网络，仅训练分类头；然后，逐步解冻主干网络层，同时应用分层学习率衰减。在两个真实世界基准数据集（COVIDFakeNews和FakeNewsNetGossipCop）上，我们采用统一的数据预处理和分层划分协议对所提方法进行了测试。
Chain-of-Thought Reasoning Improves Context-Aware Translation with Large Language Models
本文评估了大型语言模型（LLMs）翻译含句间依赖文本的能力。我们采用英语-法语DiscEvalMT基准测试集（Bawden等人，2018），该数据集包含成对句子，分别涉及代词回指或词汇衔接相关的翻译挑战。我们对来自DeepSeek-R1、GPT、Llama、Mistral和Phi家族的12个LLM进行了两项任务评估：（1）区分正确翻译与看似合理的错误翻译；（2）生成正确翻译。我们对比了鼓励思维链推理的提示词与不鼓励推理的提示词效果。
Proactive Reasoning-with-Retrieval Framework for Medical Multimodal Large Language Models
本文针对医疗多模态大语言模型（MLLMs）在推理过程中依赖内部知识导致的幻觉推理、事实不准确等问题，提出了首个多模态医疗推理-检索框架MED-RWR。该框架模拟临床医生诊断逻辑，在推理过程中主动检索外部医疗知识，结合视觉诊断结果与文本临床信息提升诊断可靠性与泛化能力。环境构建：通过“聚类-重构-分层”（Cluster-Reconstruct-Stratify）流程构建多模态训练数据集（约6500个不同难度的问答对）和专用知识库，为推理-检索提供支撑；两阶段强化学习（RL）策略。
From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
结构化剪枝是高效部署大语言模型（LLMs）的实用方法，因其能生成紧凑、硬件友好的架构。然而，主流的局部剪枝范式具有任务无关性：通过优化逐层重构而非任务目标，该范式虽能保留困惑度或通用零样本性能，却无法利用适度的任务特定校准信号，往往导致下游性能提升有限。本文重新审视全局结构化剪枝，提出GISP——全局迭代结构化剪枝（GlobalIterativeStructuredPruning），这是一种训练后剪枝方法，通过基于一阶损失的重要性权重（经结构级块归一化聚合）移除注意力头和MLP通道。
Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied ...
本文提出RoboBench，一个用于评估多模态大语言模型（MLLMs）作为“具身大脑”的综合基准，聚焦机器人操作任务中的高层认知能力。核心内容围绕五大评估维度展开，通过真实数据构建和创新评估框架，揭示当前MLLMs的具身推理短板，为机器人智能发展提供指导。构建能在动态、非结构化环境中感知、推理和行动的机器人仍是核心挑战。近期具身系统常采用双系统范式，其中系统2负责高层推理，系统1执行底层控制。本文将系统2称为“具身大脑”，强调其在操作任务中作为推理和决策认知核心的作用。
SARSteer: Safeguarding Large Audio Language Models via Safe-Ablated Refusal Steering
大型音频语言模型（LALMs）正成为现实世界应用中强大的跨模态骨干模型，愈发不可或缺。然而，近期研究表明，与文本相比，音频输入更易引发有害响应，给模型部署带来新的风险。尽管在大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的安全对齐方面已取得初步进展，但我们发现，将这些方法直接适配到LALMs时面临两大核心局限：1）由于激活分布存在巨大差异，基于LLM的转向方法在音频输入下失效；2）基于提示词的防御会对良性语音查询产生过度拒绝。
ParaVul: A Parallel Large Language Model and Retrieval-Augmented Framework for Smart Contract Vul...
智能合约在自动化区块链服务中发挥着重要作用。然而，智能合约中的漏洞对区块链安全构成严重威胁。目前，传统检测方法主要依赖静态分析和形式化验证，这可能导致高假阳性率和较差的扩展性。近年来，大语言模型（LLMs）在智能合约漏洞检测方面取得了显著进展，但仍面临推理成本高、计算开销大等挑战。本文提出了一种名为ParaVul的并行LLM与检索增强框架，以提高智能合约漏洞检测的可靠性和准确性。
SBAN: A Framework & Multi-Dimensional Dataset for Large Language Model Pre-Training and Software ...
本文介绍了SBAN（Sourcecode,Binary,Assembly,andNaturalLanguageDescription），一个面向大型语言模型（LLMs）预训练和软件代码挖掘的大规模多维数据集。该数据集包含超过330万个软件样本（280万个良性样本、54.1万个恶意样本），每个样本均涵盖二进制代码、汇编指令、源代码和自然语言描述四个互补的表示层，解决了现有数据集多聚焦单一表示层、限制跨模态学习的问题。
Large Language Models in Thematic Analysis: Prompt Engineering, Evaluation, and Guidelines for Qu...
随着人工智能的发展，大型语言模型（LLMs）正逐步融入定性研究流程——但目前尚无可复现的方法将其整合到主题分析（TA）等成熟研究方法中，而TA是软件工程研究中最常用的定性方法之一。此外，现有研究缺乏依据既定质量标准对LLM生成的定性输出进行系统性评估。本研究设计并迭代优化了适用于Braun和Clarke反思性TA第2-5阶段的提示词，随后将多个LLM的输出与经验丰富的研究者生成的编码和主题进行对比测试。
Proactive Reasoning-with-Retrieval Framework for Medical Multimodal Large Language Models
激励多模态大语言模型（MLLMs）的推理能力对于医疗应用至关重要，这有助于透明地分析医学影像并提供可靠诊断。然而，现有医疗MLLMs在推理过程中仅依赖内部知识，在遇到超出训练范围的病例时会产生幻觉推理和事实不准确问题。尽管近期的智能体检索增强生成（AgenticRAG）方法能激发医疗模型在推理过程中的主动检索能力，但这些方法局限于单模态LLMs，忽视了推理和检索过程中关键的视觉信息。
The Impact of Image Resolution on Biomedical Multimodal Large Language Models
成像技术是生物医学研究和现代医学的基础，需要对多种模态的高分辨率图像进行分析。尽管多模态大型语言模型（MLLMs）在生物医学图像分析中展现出潜力，但大多数模型是为通用数据集的低分辨率图像设计的，存在关键信息丢失的风险。本研究探究了图像分辨率对生物医学应用中MLLM性能的影响，并证实：（1）原生分辨率训练与推理能显著提升多任务性能；（2）训练与推理分辨率的不匹配会严重降低性能；（3）混合分辨率训练可有效缓解分辨率失配问题，并平衡计算约束与性能需求。
Chain-of-Conceptual-Thought Elicits Daily Conversation in Large Language Models
思维链（CoT）被广泛应用于提升大语言模型在数学、编程和推理任务中的能力。然而，在开放域任务中，由于缺乏明确界定的推理步骤或逻辑过渡，其性能受到限制。为缓解此类挑战，我们提出一种新的提示范式——概念链思维（CoCT），该范式引导大语言模型先生成概念标签，再基于该概念完成详细内容。为鼓励这种分层思考方式，我们将概念具体化为情感、策略和话题三类。我们在日常对话和情感支持对话任务中进行实验，涵盖域内和域外两种概念设置。
