Loading...
大型语言模型（LLMs）的快速发展面临着模型规模庞大这一关键瓶颈，亟需高效的压缩技术。尽管奇异值分解（SVD）是一种极具潜力的方法，但现有基于SVD的压缩方法均对整个参数矩阵进行统一处理，忽略了SVD近似误差在矩阵不同部分存在显著差异这一现象，往往导致压缩效果欠佳。为解决这一问题，我们提出了列保留奇异值分解（CPSVD）——一种通过智能分割参数矩阵来优化基于SVD的LLM压缩的新方法。
Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direc...
难度可控的阅读理解问答生成作为自适应学习支持的核心工具，已在教育领域受到广泛关注。尽管近年来已有多种神经问答生成方法实现了难度控制，但传统方法仍面临两大局限：其一，无法直接生成教育场景中应用最广泛的多项选择题；其二，未显式训练以优化难度控制的准确性，导致难度可控性仍有提升空间。为解决这些问题，本研究提出一种新的难度可控阅读理解多项选择题生成方法，该方法利用基于直接偏好优化（DPO）技术训练的大型语言模型（LLM），以提高难度控制的准确性。
PruneHal: Reducing Hallucinations in Multi-modal Large Language Models through Adaptive KV Cache ...
该研究聚焦多模态大语言模型（MLLMs）的幻觉问题，核心发现视觉令牌注意力不足与冗余是导致幻觉的关键原因：冗余视觉令牌分散模型注意力，使关键视觉信息被忽视，进而引发生成内容与图像输入不一致的现象。为解决此问题，研究提出PruneHal框架，通过自适应KV缓存修剪策略，在推理阶段动态保留注意力分数最高的关键视觉令牌，同时避免过度修剪导致的视觉信息丢失。该方法无需额外训练，几乎不增加推理开销，且具有模型无关性，可与现有幻觉缓解解码策略（如DoLa、DeCo等）无缝集成。
Reasoning Like Experts: Leveraging Multimodal Large Language Models for Drawing-based Psychoanalysis
多模态大型语言模型（MLLMs）在各类客观多模态感知任务中展现出卓越性能，但在心理分析等主观、情感细腻的领域，其应用仍有待深入探索。本文提出PICK框架，即通过层级化分析和知识注入实现心理图像理解的多步骤框架，该框架专门针对临床实践中广泛使用的心理评估工具——房-树-人（HTP）测试。首先，我们将包含多个物体的绘画分解为具有语义意义的子图，构建涵盖三个层级的层级化表示：单物体层级、多物体层级和整体层级，以捕捉空间结构和内容信息。其次，我们对每个层级的子图进行针对性分析，从视觉线索中提取心理或情感洞察。
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories
核心问题：现有大语言模型（LLM）虽然能力很强，但它们是静态的，无法持续学习新知识。如果想强行更新，又会出现“灾难性遗忘”（即学会新东西后忘了旧的），而且代价高昂。解决方案：受人类睡眠机制的启发，论文提出了一个名为“睡眠”的学习范式。该范式允许模型在“睡眠”阶段进行自我优化，分为两步：记忆巩固：让一个较小的模型（执行者）将其短期经验，通过一种名为“知识播种”的“向上蒸馏”方法，传递给一个容量更大的模型（存储者）。这样既能保留新学到的技能，又能防止旧知识的遗忘。“做梦”
Can large audio language models understand child stuttering speech? speech summarization, and sou...
儿童语音在声学特征、韵律和语言发展方面与成人语音存在差异，而不流畅现象（重复、延长、阻塞）进一步给自动语音识别（ASR）和下游自然语言处理（NLP）任务带来挑战。近年来的大型音频语言模型（LALMs）展现出强大的跨模态音频理解能力；然而，它们在不流畅儿童语音中的表现尚未得到充分探索。本研究在两种场景下评估了多款最先进的LALMs：访谈场景（混合说话人）和朗读任务场景（单一儿童说话人）。评估任务包括：（i）单通道源分离以分离儿童语音；（ii）儿童专属摘要生成，要求保留临床相关的不流畅特征并避免成人语音泄露。
Integrating Large Language Models and Evaluating Student Outcomes in an Introductory Computer Sci...
生成式人工智能（GenAI）模型对教育领域具有广泛影响，从根本上改变了我们的教学内容和评估方式。在计算机科学领域尤其如此——专为编程优化的大型语言模型（LLM）在传统计算机科学入门课程（CS1）的各类作业中展现出惊人的优异表现。因此，CS1课程需要调整教学的技能重点与评估方式。计算机教育研究者已开始关注学生对LLM的使用，但这些工具如何影响学生学习成果仍有待深入探究。本文介绍了一所大型研究型大学全新CS1课程的设计与评估，该课程将LLM作为学生的学习工具进行整合应用。
PlanU: Large Language Model Reasoning through Planning under Uncertainty
大语言模型（LLMs）正被广泛应用于各类推理任务。然而，在人类相对容易应对的不确定性场景下（如随机环境中的行动规划），LLMs有时仍会面临困难。LLM在推理任务中的应用受到两类不确定性挑战的阻碍：LLM不确定性和环境不确定性。LLM不确定性源于其内在的随机采样过程，大多数基于LLM的决策（LDM）方法通过多推理链或搜索树来应对这类不确定性，但这些方法忽略了环境不确定性，导致在具有随机状态转移的环境中性能不佳。
ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression
该研究聚焦于大语言模型（LLM）的SVD（奇异值分解）压缩技术，核心解决全局压缩比约束下不同线性模块的最优秩分配问题。由于SVD仅适用于线性模块，而LLM包含大量非线性组件，需对每个线性模块独立应用SVD，如何为各模块分配合理秩以平衡压缩效率与模型性能成为关键挑战。现有方法存在明显缺陷：启发式算法搜索空间受限、忽略模块间依赖；基于掩码的方法难以捕捉奇异值谱与可训练参数的关系，且未考虑压缩比为1时增益函数的非光滑性，易陷入局部最优。为此，研究提出自适应秩分配（ARA）方法。
“You Are Rejected!“: An Empirical Study of Large Language Models Taking Hiring Evaluations
本文围绕大型语言模型（LLMs）能否通过科技公司招聘评估这一核心问题展开实证研究，通过标准化职业评估问卷对12款主流LLM（包括GPT-4o、GPT-5-chat、DeepSeek系列、Qwen系列等）进行全面测试，重点探究三个研究问题：LLMs能否通过招聘评估、不同LLMs是否呈现独特人格画像、LLMs能否生成合理招聘建议。研究采用量化（RMSE、皮尔逊相关系数）与质性分析结合的方法，对比模型响应与企业参考答案、人类志愿者回答的差异。
Exploring Membership Inference Vulnerabilities in Clinical Large Language Models
本文聚焦临床大型语言模型（LLMs）的成员推理漏洞问题，旨在探究攻击者能否推断特定患者记录是否用于模型训练，为医疗AI的隐私保护提供实证依据。研究背景：临床LLM通过电子健康记录（EHR）微调实现领域适配，在临床决策支持、病历文档等场景中应用广泛，但敏感数据微调易引发隐私泄露风险，成员推理攻击（MIAs）是直接威胁之一——攻击者可通过模型对训练样本（成员）与非训练样本（非成员）的行为差异推断数据归属。实验设计。
CMT-Bench: Cricket Multi-Table Generation Benchmark for Probing Robustness in Large Language Models
大语言模型驱动的文本转表格（T2T）系统通常依赖大量提示工程或迭代式事件抽取（以代码可解析格式），这类方法虽能提升分数，但计算成本高昂，且掩盖了模型如何对时序演化叙事进行推理以总结关键信息的核心过程。本文提出CMT-Bench，一个基于板球实时解说构建的诊断基准，要求模型在密集的规则约束下，跨两个演化的表格schema生成动态表格。该基准通过三个语义保留维度探究模型鲁棒性：（1）抽取式线索消融，以区分抽取式捷径与状态跟踪能力；（2）时间前缀扩展，测试长上下文稳定性；
From Memorization to Generalization: Fine-Tuning Large Language Models for Biomedical Term-to-Ide...
背景：有效的生物医学数据整合依赖于自动化术语归一化——将自然语言生物医学术语映射到不同术语集中的标准化标识符。这种术语与标识符的关联是实现语义互操作性的关键步骤。尽管大型语言模型（LLMs）在该任务中展现出潜力，但它们在不同生物医学术语集上的性能存在异质性。本研究评估了三种生物医学术语集（人类表型本体HPO、基因本体GO和蛋白质-基因符号映射GENE）的记忆能力（训练术语上的表现）和泛化能力（未见过的验证术语上的表现）。结果：微调Llama3.18B模型揭示了不同术语集间的差异。
Metadata Extraction Leveraging Large Language Models
大型语言模型（LLMs）的出现彻底改变了多个领域的任务处理方式，包括法律文档分析自动化——这是现代合同管理系统的关键组成部分。本文提出了一种基于LLM增强的合同审查元数据提取综合实现方案，重点关注关键法律条款的自动检测与标注。借助公开可用的合同理解阿提库斯数据集（CUAD）与专有合同数据集，本研究展示了先进LLM方法与实际应用的深度融合。我们确定了优化元数据提取的三个关键要素：稳健的文本转换、策略性文本块选择，以及LLM专用高级技术（包括思维链提示与结构化工具调用）。
Evaluating Large Language Models in detecting Secrets in Android Apps
移动应用通常会嵌入身份验证密钥（如API密钥、令牌和客户端ID）以集成云服务。然而，开发者常常将这些凭证硬编码到Android应用中，导致它们容易通过逆向工程被提取。一旦泄露，攻击者可利用这些密钥访问敏感数据、操纵资源或滥用API，引发严重的安全风险和财务损失。现有检测方法（如基于正则表达式的分析、静态分析和机器学习）虽能识别已知模式，但存在根本性局限：它们需要预先知晓凭证结构、API签名或训练数据。
CMT-Bench: Cricket Multi-Table Generation Benchmark for Probing Robustness in Large Language Models
大语言模型驱动的文本转表格（T2T）系统通常依赖大量提示工程或迭代式事件抽取（以代码可解析格式输出），这类方法虽能提升分数，但计算成本高昂，且掩盖了模型如何对时序演化叙事进行推理以总结关键信息的核心过程。本文提出CMT-Bench，这一诊断基准基于板球实时解说构建，要求模型在密集的规则约束下，跨两个演化模式动态生成表格。CMT-Bench通过三个语义保留维度探究模型鲁棒性：（1）抽取式线索消融，以区分抽取捷径与状态跟踪能力；（2）时间前缀扩展，测试长上下文稳定性；
Misinformation Detection using Large Language Models with Explainability
在线平台上虚假信息的快速传播削弱了个人之间的信任，并阻碍了明智的决策制定。本文提出了一种具有可解释性和计算效率的流程，利用基于Transformer的预训练语言模型（PLMs）检测虚假信息。我们通过两步策略优化RoBERTa和DistilBERT：首先，冻结主干网络，仅训练分类头；然后，逐步解冻主干网络层，同时应用分层学习率衰减。在两个真实世界基准数据集（COVIDFakeNews和FakeNewsNetGossipCop）上，我们采用统一的数据预处理和分层划分协议对所提方法进行了测试。
Chain-of-Thought Reasoning Improves Context-Aware Translation with Large Language Models
本文评估了大型语言模型（LLMs）翻译含句间依赖文本的能力。我们采用英语-法语DiscEvalMT基准测试集（Bawden等人，2018），该数据集包含成对句子，分别涉及代词回指或词汇衔接相关的翻译挑战。我们对来自DeepSeek-R1、GPT、Llama、Mistral和Phi家族的12个LLM进行了两项任务评估：（1）区分正确翻译与看似合理的错误翻译；（2）生成正确翻译。我们对比了鼓励思维链推理的提示词与不鼓励推理的提示词效果。
Proactive Reasoning-with-Retrieval Framework for Medical Multimodal Large Language Models
本文针对医疗多模态大语言模型（MLLMs）在推理过程中依赖内部知识导致的幻觉推理、事实不准确等问题，提出了首个多模态医疗推理-检索框架MED-RWR。该框架模拟临床医生诊断逻辑，在推理过程中主动检索外部医疗知识，结合视觉诊断结果与文本临床信息提升诊断可靠性与泛化能力。环境构建：通过“聚类-重构-分层”（Cluster-Reconstruct-Stratify）流程构建多模态训练数据集（约6500个不同难度的问答对）和专用知识库，为推理-检索提供支撑；两阶段强化学习（RL）策略。
From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
结构化剪枝是高效部署大语言模型（LLMs）的实用方法，因其能生成紧凑、硬件友好的架构。然而，主流的局部剪枝范式具有任务无关性：通过优化逐层重构而非任务目标，该范式虽能保留困惑度或通用零样本性能，却无法利用适度的任务特定校准信号，往往导致下游性能提升有限。本文重新审视全局结构化剪枝，提出GISP——全局迭代结构化剪枝（GlobalIterativeStructuredPruning），这是一种训练后剪枝方法，通过基于一阶损失的重要性权重（经结构级块归一化聚合）移除注意力头和MLP通道。
