Loading...
本文聚焦于大型语言模型（LLMs）在生物信息学科学工作流开发中的应用，旨在评估LLMs能否帮助领域科学家（如生物信息学家、生物学家等）生成准确、完整且可用的工作流，并探究最优提示策略。研究目的：生物信息学数据分析复杂度日益增加，科学工作流系统（SWSs，如Galaxy和Nextflow）虽能支持可扩展、可重复的自动化工作流，但开发和理解这些工作流对非编程背景的领域科学家仍具挑战。本文旨在验证LLMs在该领域的潜力，降低开发门槛，提升工作流的可重复性、可访问性和可维护性。研究方法。
Jailbreaking Large Language Diffusion Models: Revealing Hidden Safety Flaws in Diffusion-Based Te...
大型语言扩散模型（LLDMs）表现出与大型语言模型（LLMs）相当的性能，同时在推理速度和数学推理任务中具有显著优势。LLDMs精确且快速的生成能力加剧了对有害内容生成的担忧，而现有为大型语言模型（LLMs）设计的越狱方法对LLDMs的效果有限，无法暴露其安全漏洞。单纯的防御措施无法彻底解决有害内容生成的问题，因为目前尚不清楚LLDMs是否具备安全鲁棒性，还是现有攻击方法与基于扩散的架构不兼容。为解决这一问题，我们首先揭示了LLDMs易受越狱攻击的脆弱性，并证明LLDMs上攻击失败源于架构的根本差异。
SpeechIQ: Speech Intelligence Quotient Across Cognitive Levels in Voice Understanding Large Langu...
我们提出了语音智商（SpeechIQ），这是一种受人类认知启发的新型评估流程，用于评估语音理解大语言模型（LLM_Voice）的语音理解能力。与词错误率（WER）等主流语音理解指标不同，SpeechIQ基于布鲁姆分类法的三个认知层次对LLM_Voice进行评估：（1）记忆层（即衡量逐字准确性的WER）；（2）理解层（即LLM解读的相似度）；（3）应用层（即模拟下游任务的问答准确率）。
Think, Act, Learn: A Framework for Autonomous Robotic Agents using Closed-Loop Large Language Models
本文提出了一种名为“GUI-Learner”的通用框架，旨在实现自主代理（agent）对未知软件的自主学习与操作。问题定位：现有基于LLMs的代理多为开环模式，仅作为一次性规划器，难以应对物理环境中的动态变化；而纯模仿学习或强化学习存在样本效率低、泛化能力有限等问题。框架结构：GUI-Learner分为两个核心模块：感知模块（PerceptionModule）：基于视觉-语言模型（VLM）将原始屏幕像素转换为结构化UI表示（识别可交互元素、位置、类型等），降低决策复杂度。
CrossPL: Evaluating Large Language Models on Cross Programming Language Code Generation
本文提出了首个用于评估大型语言模型（LLMs）生成跨编程语言（CPL）互操作代码能力的基准——CrossPL。该基准围绕进程间通信（IPC）构建，包含1982个任务，覆盖6种主流编程语言（Java、Python、JavaScript等）和7种典型IPC技术（HTTP、TCP、gRPC等）。分析19169个多语言GitHub仓库，使用156个手工设计的有限状态机（FSMs）识别真实世界中的IPC模式；开发基于LLM的自动化管道，用于提取CPL代码片段、生成任务指令并验证功能正确性；
Leveraging Fine-Tuned Large Language Models for Interpretable Pancreatic Cystic Lesion Feature Ex...
本文聚焦于开发和评估基于大型语言模型（LLMs）的自动化系统，用于从CT/MRI报告中提取胰腺囊性病变（PCL）特征并进行风险分类。研究团队构建了包含6000份腹部影像报告的数据集，利用GPT-4o生成带思维链（CoT）推理的标注数据，通过量化低秩适应（QLoRA）微调开源模型（LLaMA和DeepSeek），并与闭源模型GPT-4o的性能进行对比。主要结果显示：微调后的开源模型在特征提取（平均精确匹配准确率97-98%）和风险分类（宏平均F1分数0.93-0.95）上性能与GPT-4o相当；
UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models‘ R...
近年来，大型语言模型（LLMs）的进展凸显了带可验证奖励的强化学习（RLVR）通过延长输出序列提升推理能力的潜力。然而，传统强化学习框架在处理超长输出时效率低下，这源于训练中的长尾序列分布和熵崩溃问题。为解决这些挑战，我们提出了一种用于提升大型语言模型推理能力的超长输出强化学习（UloRL）方法。具体而言，我们将超长输出解码拆分为短片段，通过减轻长尾样本导致的延迟实现高效训练。此外，我们引入对已充分掌握的正令牌（MPTs）的动态掩码，以防止熵崩溃。
JT-Math: A Multi-Stage Framework for Advanced Mathematical Reasoning in Large Language Models
本文介绍了JT-Math-8B系列开源模型，该系列专为高级数学推理设计，包含基础模型（Base）、指令模型（Instruct）和思维模型（Thinking）三个版本，基于多阶段优化框架构建。预训练阶段：构建了210Btoken的高质量预训练语料库（JT-MathCorpus），通过专用数据管道（含模型验证）确保数据质量与多样性；预训练分为三个阶段（通用数学知识学习、推理与深度思考训练、长上下文扩展），逐步提升模型的领域知识与处理能力。
The wall confronting large language models
本文聚焦大型语言模型（LLMs）的固有局限，核心探讨其缩放定律对可靠性的制约及潜在风险。LLMs的缩放定律缺陷：决定LLMs性能的缩放定律严重限制了其预测不确定性的改进能力，使其难以达到科学探究的可靠性标准。误差累积的根源：LLMs从高斯输入生成非高斯输出的核心机制，可能导致误差累积、信息灾难和退化性AI行为（DegenerativeAI,DAI），形成“学习能力与准确性”的内在张力。数据与虚假相关性。
Alignment and Safety in Large Language Models: Safety Mechanisms, Training Paradigms, and Emergin...
该论文是一篇关于大型语言模型（LLMs）对齐与安全的综合性综述，系统梳理了LLM对齐的核心技术、训练范式、评估方法及面临的挑战。对齐目标：明确LLM对齐的三大核心目标——安全性（无害性）、有用性和诚实性，分析了三者之间的权衡关系（如有用性与安全性的冲突）及优先级排序（安全性优先）。评估与基准测试：综述了对齐评估的方法，包括对抗性攻击（如越狱攻击）、基于评分的评估（如LLM-as-a-Judge），以及各类安全对齐基准（如通用安全、推理安全、隐私对齐等）。核心训练技术。
EvoSLD: Automated Neural Scaling Law Discovery With Large Language Models
缩放定律是基础的数学关系，用于预测神经网络性能随模型大小、数据集规模、计算资源等变量变化的规律。传统上，发现这些定律需要大量人类专业知识和手动实验。我们提出了EvoSLD，一种自动化的缩放定律发现（SLD）框架，它利用由大语言模型（LLMs）引导的进化算法，共同进化符号表达式及其优化程序。EvoSLD旨在处理不同实验场景中的缩放变量、控制变量和响应指标，搜索简洁、通用的函数形式，以最小化分组数据子集的拟合误差。
The Policy Cliff: A Theoretical Analysis of Reward-Policy Maps in Large Language Models
强化学习（RL）在塑造大型语言模型和推理模型（LLMs/LRMs）的行为中起着关键作用。然而，它往往会产生脆弱且不稳定的策略，导致诸如虚假推理、欺骗性对齐和指令不服从等严重故障，这些故障破坏了LLMs/LRMs的可信度和安全性。目前，这些问题缺乏统一的理论解释，通常通过特定的启发式方法解决。本文提出了一个严谨的数学框架，用于分析从奖励函数到最优策略的映射稳定性。我们表明，策略脆弱性通常源于非唯一的最优行动，这种情况在推理任务中存在多个有效轨迹时很常见。
Player-Centric Multimodal Prompt Generation for Large Language Model Based Identity-Aware Basketb...
英文原文中文翻译现有体育视频字幕生成方法往往聚焦于动作本身，却忽略了球员身份，这限制了其适用性。尽管一些方法通过整合额外信息来生成包含身份的描述，但由于这些额外信息与视频内容无关，球员身份有时会出现错误。本文提出了一种面向身份感知体育视频字幕生成的球员中心多模态提示生成网络（LLM-IAVC），其核心是从视觉角度识别球员身份。具体而言，本文设计了身份相关信息提取模块（IRIEM）以提取球员相关的多模态嵌入。IRIEM包含一个球员识别网络（PIN），用于提取视觉特征和球员姓名；
FuzzFeed: An Automatic Approach to Weakest Precondition Generation using LLMs and Fuzzing
最弱前置条件（WP）描述了程序的最大初始状态集合，从该集合出发，程序的所有终止执行都能满足给定的后置条件。WP的生成是一项重要任务，在验证、运行时错误检查等多个领域有实际应用。本文提出将大语言模型（LLMs）与模糊测试相结合来生成WP。为实现这一目标，我们引入了模糊测试引导（FG）机制；FG通过程序执行反馈引导LLM生成正确的WP。FG利用模糊测试近似检查候选WP的有效性和弱性，并将这些信息反馈给LLM以优化上下文。我们在一组全面的确定性Java数组程序基准集上验证了该方法的有效性。
Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks
该论文介绍了，这是首个开源、开放权重的大型语言模型（LLM），其内置模型级防御机制，旨在抵御提示注入（PromptInjection,PI）攻击，同时保持商业级模型的性能。研究背景：提示注入攻击是LLM集成应用的主要安全威胁，现有模型级防御虽有效但多为闭源，限制了AI安全社区的研究与协作。核心目标：开发开源模型，通过开放研究推动提示注入攻击的攻防协同发展，填补开源领域空白。技术方案。
The Impact of Fine-tuning Large Language Models on Automated Program Repair
该研究实证探究了不同微调技术对用于自动程序修复（APR）的大语言模型（LLMs）性能的影响。研究选取了6个基于代码预训练的先进LLMs（CodeGen、CodeT5、StarCoder、DeepSeekCoder、Bloom、CodeLlama2），在QuixBugs、Defects4J和HumanEval-Java三个主流APR基准上进行评估，对比了“不微调”“全量微调”和“参数高效微调（PEFT，包括LoRA和IA3）”三种训练方案的效果。
Advancing Event Forecasting through Massive Training of Large Language Models: Challenges, Soluti...
研究背景：早期LLMs事件预测研究因方法学问题（如统计显著性不足、信息泄露）被质疑，但近期研究（如更严格的动态基准评估、强化学习应用、推理模型进步）显示LLMs性能持续提升，逐渐接近超级预测者水平。核心挑战与解决方案训练方法：指出LLMs事件预测训练的三大难点——结果的噪声与稀疏性、知识截止（knowledgecut-off）限制、奖励结构简单化，并提出对应解决方案：基于假设事件贝叶斯网络的标签分配策略、利用低记忆事件和反事实事件缓解知识截止问题、引入辅助奖励信号优化奖励结构。数据获取。
PrompTrend: Continuous Community-Driven Vulnerability Discovery and Assessment for Large Language...
本文介绍了PrompTrend——一个用于持续监测和评估大型语言模型（LLMs）漏洞的系统。该系统通过智能代理收集Reddit、Discord、Twitter等在线社区的漏洞数据，利用多维评分框架（PrompTrendVulnerabilityAssessmentFramework,PVAF）进行评估，旨在解决静态基准测试无法捕捉社区实验中涌现的LLM漏洞的问题。模型的高级功能与部分架构的漏洞增加相关；心理攻击（如角色扮演、情感操纵）的效果显著优于技术漏洞（如编码混淆）；
An Empirical Investigation of Gender Stereotype Representation in Large Language Models: The Ital...
该研究聚焦大型语言模型（LLMs）在意大利语语境中对职业角色的性别刻板印象表现，通过结构化实验方法，探究模型对无性别提示的响应是否存在偏见。研究选取了三组具有层级关系的职业对（经理-助理、校长-教授、主厨-副厨），设计了60种不同的提示（基于5个基础场景，通过职业顺序和性别代词置换生成），向OpenAI的ChatGPT（gpt-4o-mini）和Google的Gemini（gemini-1.5-flash）各提交30次，共收集3600条回复。
Solar Photovoltaic Assessment with Large Language Model
本文聚焦于利用大语言模型（LLMs）解决卫星图像中太阳能光伏（PV）板检测的挑战，提出了PVAssessmentwithLLMs（PVAL）框架。现有方法存在依赖大量高质量标注数据、泛化能力差（难以适应新地理区域或环境条件）、算法透明度低等问题。LLMs虽在多模态任务中展现潜力，但在光伏板检测中面临多步逻辑推理困难、输出格式不一致、相似物体误分类（如阴影、停车场）、空间定位与量化精度低等挑战。任务分解：将检测任务拆分为图像整体分析、面板定位、数量估计三步骤，提升处理效率；输出标准化。
