Loading...
大型语言模型（LLMs）已被广泛应用于知识图谱补全（KGC）领域，并取得了显著的研究进展。然而，作为由深度神经架构驱动的黑箱模型，当前基于LLM的KGC方法依赖于隐式知识表示，且错误知识会并行传播，从而阻碍了其产生确定性和决定性推理结果的能力。本文旨在将神经感知的结构信息与本体知识相结合，利用LLMs的强大能力实现对知识内在逻辑的更深层次理解。我们提出了一种基于LLMs的本体增强KGC方法——OL-KGC。
DecoRTL: A Run-time Decoding Framework for RTL Code Generation with LLMs
本文聚焦于大语言模型（LLMs）在寄存器传输级（RTL）代码生成中的解码策略问题，提出了一种名为DecoRTL的运行时解码框架。传统LLM解码策略源于自然语言生成，难以满足RTL代码对结构和语义的严格要求，常导致生成代码出现幻觉、重复或无效等问题。通过对RTL生成过程中token级熵的实证分析，作者发现LLM在结构模糊或语义复杂区域的信心较低，且标准解码策略无法区分需要确定性的语法关键区域和需要创造性探索的设计关键区域。自一致性采样。
Precisely Detecting Python Type Errors via LLM-based Unit Test Generation
本文针对Python中类型错误导致的运行时故障问题，提出了一种名为RTED（ReflectiveTypeErrorDetectionwithLLMs）的新型类型感知单元测试生成技术。现有静态分析工具存在高假阳性率，而现有单元测试生成技术（如基于搜索或LLM的方法）因缺乏针对性指导，难以生成能揭示类型错误的测试用例。约束分析阶段：通过调用链分析捕获上下文感知的类型约束，借助“错误寻找代理”反向传播约束，识别可能触发类型错误的输入类型，并评估调用链的风险等级；测试生成阶段。
PII Jailbreaking in LLMs via Activation Steering Reveals Personal Information Leakage
本文研究通过引导技术对大型语言模型（LLMs）进行隐私越狱，重点探究操纵激活是否能绕过LLM的对齐机制，并改变其对隐私相关查询（如某公众人物的性取向）的响应行为。我们首先利用经隐私评估标签训练的轻量级线性探针，识别出能预测模型对隐私属性（如性取向）拒绝行为的注意力头。随后，在这些训练好的探针引导下，我们对一小部分注意力头的激活进行引导，以促使模型生成非拒绝响应。实验表明，这些被引导的响应往往会披露目标属性的细节，以及数据主体的其他个人信息——如生活事件、人际关系和个人经历，而这些信息通常是模型会拒绝提供的。
Dynamic Long Short-Term Memory Based Memory Storage For Long Horizon LLM Interaction
大型语言模型（LLMs）的记忆存储正成为一个日益活跃的研究领域，特别是在实现长期对话中的个性化方面。我们提出了Pref-LSTM，这是一个动态且轻量级的框架，它结合了基于BERT的分类器和LSTM记忆模块，该模块生成记忆嵌入，然后将其作为软提示注入冻结的LLM中。我们合成了一个包含偏好和非偏好对话轮次的数据集，用于训练基于BERT的分类器。尽管基于LSTM的记忆编码器未产生理想结果，但我们发现基于BERT的分类器在识别显式和隐式用户偏好方面表现可靠。
Continual Gradient Low-Rank Projection Fine-Tuning for LLMs
本文针对大语言模型（LLMs）的持续微调中效率与表达能力的权衡问题，提出了一种名为GORP（GradientLOwRankProjection，梯度低秩投影）的新训练策略。现有低秩适应方法（如LoRA）虽能提高效率，但受限于低秩结构，限制了模型学习新任务和迁移知识的能力，且依赖显式参数约束易导致任务间参数空间冲突。协同结合全秩和低秩参数，在统一的低秩梯度子空间中联合更新，既扩展了优化空间，又保留了低秩适应的效率；
Improving LLM Reasoning for Vulnerability Detection via Group Relative Policy Optimization
本文聚焦于利用强化学习（RL）技术改进大型语言模型（LLMs）在软件漏洞检测中的推理能力，具体研究了组相对策略优化（GroupRelativePolicyOptimization,GRPO）在该任务中的应用。研究背景与问题：现有LLMs在漏洞检测中存在局限性，如过度预测某些漏洞类型、泛化能力弱、推理过程难以解释，且小型LLMs因计算成本低受关注但性能受限。研究方法。
Can LLMs Identify Critical Limitations within Scientific Research? A Systematic Evaluation on AI ...
同行评审是科学研究的基础，但日益增长的出版物数量加剧了这一依赖专业知识的过程的挑战。尽管大型语言模型（LLMs）在多种科学任务中展现出潜力，但其在辅助同行评审（尤其是识别论文局限性）方面的潜力仍未得到充分研究。本文首先提出了一个科学研究（重点是AI领域）局限性类型的综合分类法。在该分类法的指导下，为研究局限性识别问题，我们提出了LIMITGEN——首个用于评估LLMs支持早期反馈和辅助人类同行评审能力的综合基准。
Control at Stake: Evaluating the Security Landscape of LLM-Driven Email Agents
本文是首篇针对LLM驱动的邮件代理（LLMemailagents）的系统性安全研究。研究提出了邮件代理劫持（EmailAgentHijacking,EAH）攻击，即攻击者通过外部邮件资源覆盖邮件代理的原始提示词，远程控制代理并执行恶意操作，且用户无法察觉。为大规模评估EAH攻击的影响，研究团队设计了自动化评估工具EAHawk。
GeoJSEval: An Automated Evaluation Framework for Large Language Models on JavaScript-Based Geospa...
随着大型语言模型（LLMs）在代码生成任务中的广泛应用，地理空间代码生成已成为人工智能与地理科学分析融合的关键前沿领域。这一趋势凸显了对系统性评估方法的迫切需求，以评估LLMs在地理空间场景中的生成能力。特别是在JavaScript环境中，地理空间计算与可视化任务严重依赖于多种前端库和生态系统的协同，这对模型的语义理解和代码合成能力提出了更高要求。为应对这一挑战，我们提出了GeoJSEval——首个针对基于JavaScript的地理空间代码生成任务中LLMs的多模态、函数级自动评估框架。
Characterizing Communication Patterns in Distributed Large Language Model Inference
本文系统研究分布式大语言模型推理中的通信模式，通过实证分析与解析建模，揭示张量并行、管道并行及混合并行在不同场景下的通信特征。研究表明，解码阶段通信开销显著，张量并行虽通信量大但短序列响应快，管道并行延迟高但传输少，混合并行需精细调优。研究构建了可预测通信量的解析模型，为生产部署提供优化建议，推动推理框架与硬件协同设计。
From Prompt to Pipeline: Large Language Models for Scientific Workflow Development in Bioinformatics
本文聚焦于大型语言模型（LLMs）在生物信息学科学工作流开发中的应用，旨在评估LLMs能否帮助领域科学家（如生物信息学家、生物学家等）生成准确、完整且可用的工作流，并探究最优提示策略。研究目的：生物信息学数据分析复杂度日益增加，科学工作流系统（SWSs，如Galaxy和Nextflow）虽能支持可扩展、可重复的自动化工作流，但开发和理解这些工作流对非编程背景的领域科学家仍具挑战。本文旨在验证LLMs在该领域的潜力，降低开发门槛，提升工作流的可重复性、可访问性和可维护性。研究方法。
Jailbreaking Large Language Diffusion Models: Revealing Hidden Safety Flaws in Diffusion-Based Te...
大型语言扩散模型（LLDMs）表现出与大型语言模型（LLMs）相当的性能，同时在推理速度和数学推理任务中具有显著优势。LLDMs精确且快速的生成能力加剧了对有害内容生成的担忧，而现有为大型语言模型（LLMs）设计的越狱方法对LLDMs的效果有限，无法暴露其安全漏洞。单纯的防御措施无法彻底解决有害内容生成的问题，因为目前尚不清楚LLDMs是否具备安全鲁棒性，还是现有攻击方法与基于扩散的架构不兼容。为解决这一问题，我们首先揭示了LLDMs易受越狱攻击的脆弱性，并证明LLDMs上攻击失败源于架构的根本差异。
SpeechIQ: Speech Intelligence Quotient Across Cognitive Levels in Voice Understanding Large Langu...
我们提出了语音智商（SpeechIQ），这是一种受人类认知启发的新型评估流程，用于评估语音理解大语言模型（LLM_Voice）的语音理解能力。与词错误率（WER）等主流语音理解指标不同，SpeechIQ基于布鲁姆分类法的三个认知层次对LLM_Voice进行评估：（1）记忆层（即衡量逐字准确性的WER）；（2）理解层（即LLM解读的相似度）；（3）应用层（即模拟下游任务的问答准确率）。
Think, Act, Learn: A Framework for Autonomous Robotic Agents using Closed-Loop Large Language Models
本文提出了一种名为“GUI-Learner”的通用框架，旨在实现自主代理（agent）对未知软件的自主学习与操作。问题定位：现有基于LLMs的代理多为开环模式，仅作为一次性规划器，难以应对物理环境中的动态变化；而纯模仿学习或强化学习存在样本效率低、泛化能力有限等问题。框架结构：GUI-Learner分为两个核心模块：感知模块（PerceptionModule）：基于视觉-语言模型（VLM）将原始屏幕像素转换为结构化UI表示（识别可交互元素、位置、类型等），降低决策复杂度。
CrossPL: Evaluating Large Language Models on Cross Programming Language Code Generation
本文提出了首个用于评估大型语言模型（LLMs）生成跨编程语言（CPL）互操作代码能力的基准——CrossPL。该基准围绕进程间通信（IPC）构建，包含1982个任务，覆盖6种主流编程语言（Java、Python、JavaScript等）和7种典型IPC技术（HTTP、TCP、gRPC等）。分析19169个多语言GitHub仓库，使用156个手工设计的有限状态机（FSMs）识别真实世界中的IPC模式；开发基于LLM的自动化管道，用于提取CPL代码片段、生成任务指令并验证功能正确性；
Leveraging Fine-Tuned Large Language Models for Interpretable Pancreatic Cystic Lesion Feature Ex...
本文聚焦于开发和评估基于大型语言模型（LLMs）的自动化系统，用于从CT/MRI报告中提取胰腺囊性病变（PCL）特征并进行风险分类。研究团队构建了包含6000份腹部影像报告的数据集，利用GPT-4o生成带思维链（CoT）推理的标注数据，通过量化低秩适应（QLoRA）微调开源模型（LLaMA和DeepSeek），并与闭源模型GPT-4o的性能进行对比。主要结果显示：微调后的开源模型在特征提取（平均精确匹配准确率97-98%）和风险分类（宏平均F1分数0.93-0.95）上性能与GPT-4o相当；
UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models‘ R...
近年来，大型语言模型（LLMs）的进展凸显了带可验证奖励的强化学习（RLVR）通过延长输出序列提升推理能力的潜力。然而，传统强化学习框架在处理超长输出时效率低下，这源于训练中的长尾序列分布和熵崩溃问题。为解决这些挑战，我们提出了一种用于提升大型语言模型推理能力的超长输出强化学习（UloRL）方法。具体而言，我们将超长输出解码拆分为短片段，通过减轻长尾样本导致的延迟实现高效训练。此外，我们引入对已充分掌握的正令牌（MPTs）的动态掩码，以防止熵崩溃。
JT-Math: A Multi-Stage Framework for Advanced Mathematical Reasoning in Large Language Models
本文介绍了JT-Math-8B系列开源模型，该系列专为高级数学推理设计，包含基础模型（Base）、指令模型（Instruct）和思维模型（Thinking）三个版本，基于多阶段优化框架构建。预训练阶段：构建了210Btoken的高质量预训练语料库（JT-MathCorpus），通过专用数据管道（含模型验证）确保数据质量与多样性；预训练分为三个阶段（通用数学知识学习、推理与深度思考训练、长上下文扩展），逐步提升模型的领域知识与处理能力。
The wall confronting large language models
本文聚焦大型语言模型（LLMs）的固有局限，核心探讨其缩放定律对可靠性的制约及潜在风险。LLMs的缩放定律缺陷：决定LLMs性能的缩放定律严重限制了其预测不确定性的改进能力，使其难以达到科学探究的可靠性标准。误差累积的根源：LLMs从高斯输入生成非高斯输出的核心机制，可能导致误差累积、信息灾难和退化性AI行为（DegenerativeAI,DAI），形成“学习能力与准确性”的内在张力。数据与虚假相关性。
