Loading...
本文聚焦大型语言模型（LLMs）在自杀和自残语境下的安全漏洞，通过设计多步骤对抗性提示（越狱提示），测试了6个主流LLM（包括ChatGPT-4o、PerplexityAI、GeminiFlash2.0等）的安全护栏有效性。研究发现，多数模型在仅2-3轮对话后，会因用户以“学术研究”等新语境重新framing问题，而忽略初始的自残/自杀意图，生成详细的自残方法、自杀工具、剂量计算等有害内容。
STELLA: Self-Evolving LLM Agent for Biomedical Research
STELLA：用于生物医学研究的自进化大语言模型代理金若凡1∗，张在熙1∗†，王梦迪1，丛乐21普林斯顿大学，美国新泽西州普林斯顿；2斯坦福大学，美国加利福尼亚州斯坦福∗共同第一作者；†通讯作者：zz8680@princeton.edu生物医学数据、工具和文献的快速增长造就了一个碎片化的研究格局，其发展速度已超越人类专业知识的极限。尽管AI代理提供了一种解决方案，但它们通常依赖静态、人工整理的工具集，限制了其适应和扩展能力。在此，我们提出STELLA，一款旨在克服这些局限的自进化AI代理。
PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive Side-T...
本文提出了，一种基于服务器辅助的“additiveside-tuning”技术，旨在解决移动设备上大语言模型（LLM）微调面临的资源限制、通信负担和隐私泄露问题。该方法通过将LLM微调任务分配给移动设备和服务器：移动设备保留冻结的主干模型，而计算密集的可训练侧网络卸载到服务器。通过激活缓存、单token激活传输和隐私保护的侧网络设计，PAEMobiLLM在提升效率的同时，确保用户数据、真实标签和微调模型始终保留在本地设备，最终实现了移动设备上高效且隐私安全的LLM微调。
Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW
长期以来，基于随机梯度下降（SGD）的方法一直是训练大型语言模型（LLMs）的核心。然而，其有效性正日益受到质疑，特别是在大规模应用中，实证证据表明其存在潜在的性能局限性。对此，本文提出了一种专门为LLMs训练设计的随机共轭次梯度方法，结合自适应采样策略。该方法不仅每迭代步收敛更快，而且与传统SGD技术相比，可扩展性更优。它利用样本复杂度分析来自适应选择样本量，采用随机共轭次梯度方法确定搜索方向，并借助类AdamW算法自适应调整步长。
La RoSA: Enhancing LLM Efficiency via Layerwise Rotated Sparse Activation
本文提出了一种名为LaRoSA（LayerwiseRotatedSparseActivation，层状旋转稀疏激活）的新型激活稀疏化方法，旨在提升大型语言模型（LLM）的推理效率。该方法无需额外训练或基于幅度的剪枝，通过层状正交旋转将输入激活转换为更易稀疏化的形式，结合Top-K选择策略实现稳定的模型级稀疏性和可靠的推理速度提升。现有激活稀疏化方法存在局限性：要么需要耗时的恢复训练以维持性能，要么依赖经验性的幅度剪枝，导致稀疏性波动和推理速度不稳定。
LLM-based Realistic Safety-Critical Driving Video Generation
本文提出了一种基于大语言模型（LLMs）的框架，用于生成逼真的安全关键驾驶场景视频，以支持自动驾驶系统的测试与评估。研究背景：安全关键驾驶场景（如突发行人横穿、车辆突然切入等）对自动驾驶系统的可靠性至关重要，但这类场景在现实中罕见，难以通过传统路测充分验证。LLMs在代码生成和视频合成领域的进展为解决这一问题提供了可能。核心方法场景生成：利用LLMs的少样本代码生成能力，在CARLA模拟器中自动生成安全关键场景脚本（特别是碰撞场景），通过Scenic语言精确控制交通参与者的位置、行为和事件触发时机。
Evaluating Hierarchical Clinical Document Classification Using Reasoning-Based LLMs
该研究旨在评估具有推理能力的大型语言模型（LLMs）在临床文档层级分类（特别是ICD-10代码分类）中的表现。研究背景：ICD-10代码是临床编码的核心，具有层级结构（共5级，从宽泛到具体），人工编码耗时且易出错。LLMs有望辅助编码，但其实用性和推理能力尚未明确。研究目标：对比11种LLMs（含推理模型和非推理模型）在ICD-10代码分类中的表现，评估结构化推理对模型性能的影响。研究方法。
Context-Aware Code Wiring Recommendation with LLM-based Agent
本文针对软件开发中“复制-粘贴-修改”实践中代码适配的核心问题——代码连接（codewiring）（即替换粘贴代码中未解析的变量为本地上下文的合适变量），提出了一种基于大语言模型（LLM）的代理工具WIRL。背景：软件开发中，开发者常从StackOverflow、GitHub或LLM生成结果中复用代码，但超过85%的代码需要适配才能集成，其中变量替换是最常见的适配形式。现有方法依赖启发式规则或历史模板，未能有效利用上下文，而56.1%的适配场景依赖上下文。WIRL的设计。
Symbolic or Numerical? Understanding Physics Problem Solving in Reasoning LLMs
本文聚焦推理型大语言模型（LLMs）在物理问题解决中的能力，以Deepseek-R1及其蒸馏模型为研究对象，通过SciBench基准中的三个物理数据集（经典力学、热力学、基础物理），系统评估了零样本思维链（Zero-ShotCoT）和少样本思维链（Few-ShotCoT）两种提示策略的效果。推理型LLM无需复杂提示工程或外部工具，即可在物理问题上实现高性能，Deepseek-R1的零样本平均准确率达75.9%，显著优于GPT-4-Turbo（43.9%）；
Evaluating LLM Agent Collusion in Double Auctions
研究背景：随着LLM代理在经济场景中的普及，其合谋风险（如操纵价格、限制竞争）对市场效率的威胁日益凸显，尤其在拍卖等场景中影响显著。实验设计：构建了包含5个买家和5个卖家的连续双重拍卖环境，以重金属交易为模拟场景，设定卖家成本为80美元/单位，买家估值为100美元/单位，通过30轮交易观察LLM代理行为。核心发现允许卖家使用自然语言沟通时，合谋行为显著增加，且要价更接近、高于竞争均衡价（90美元）。
RALLY: Role-Adaptive LLM-Driven Yoked Navigation for Agentic UAV Swarms
本文针对无人机群的智能控制问题，提出了一种名为RALLY（Role-AdaptiveLLM-DrivenYokedNavigation）的角色自适应LLM驱动联合导航算法。该算法旨在解决传统多智能体强化学习（MARL）存在的数值通信语义鸿沟、角色结构僵化，以及现有基于大语言模型（LLM）的控制框架缺乏在线学习、过度依赖静态先验等问题，以提升无人机群在动态环境中的任务覆盖、协作导航和泛化能力。LLM驱动的语义决策框架。
CLUES: Collaborative High-Quality Data Selection for LLMs via Training Dynamics
本文聚焦于大型语言模型（LLMs）在协作训练场景下的数据质量控制问题，提出了一种名为研究背景高质量数据对LLMs性能至关重要，但协作训练中（如模型合并、联邦学习），数据孤岛间无法直接共享数据，导致自动化数据质量控制面临挑战（如质量异质性、领域异质性）。现有方法（如困惑度过滤、去重）在复杂协作场景中效果有限，且缺乏统一的质量标准。核心方法（CLUES）核心思想：高质量数据与锚定数据集（公开高质量数据）的训练动态更相似，通过衡量数据对训练动态的影响来筛选高质量数据。两阶段流程阶段一（本地训练动态评分）
Challenges & Opportunities with LLM-Assisted Visualization Retargeting
尽管网络上发布的可视化示例无处不在，但将现有的自定义图表实现重定向到新数据集仍然困难、耗时且繁琐。这一适配过程要求设计者既要熟悉示例的实现方式，又要了解新数据集可能需要如何转换才能适配示例代码。随着大型语言模型（LLMs）的最新进展，通过高层级的用户提示可以实现代码的自动适配，降低了可视化重定向的门槛。为了更好地理解LLMs如何辅助重定向及其潜在局限性，我们在多个数据集和不同复杂度的图表上描述并评估了LLM辅助的性能，并按类型和严重程度对失败案例进行分类。
EdgeLoRA: An Efficient Multi-Tenant LLM Serving System on Edge Devices
大语言模型（LLMs）因其在广泛应用中的多功能性而受到极大关注。使用低秩适应（LoRA）等参数高效的适配器对LLMs进行微调，能使这些模型在无需大量重新训练的情况下高效适配下游任务。在多租户边缘设备上部署微调后的LLMs具有显著优势，如降低延迟、增强隐私性和提供个性化响应。然而，在资源受限的边缘设备上高效服务LLMs面临关键挑战，包括不同任务的适配器选择复杂性、频繁适配器切换带来的内存开销。此外，在多租户场景中，由于存在多个请求，顺序处理请求会导致计算资源利用率低下和显著的延迟。
Efficient Out-of-Scope Detection in Dialogue Systems via Uncertainty-Driven LLM Routing
本文提出了一种名为的框架，用于任务导向对话系统（TODS）中的高效范围外（OOS）意图检测。该框架通过结合轻量级模型的效率与大语言模型（LLM）的准确性，解决了传统方法在处理不可预测用户输入时的局限性。第一步（高效筛选）：使用基于DistilBERT的范围内（INS）意图分类器对用户输入进行初步分类，并通过EC-NNK-Means方法计算不确定性分数，识别高不确定性的实例（可能为OOS或分类错误的INS）。第二步（精准决策）
Using multi-agent architecture to mitigate the risk of LLM hallucinations
本文聚焦于大型语言模型（LLMs）在客户服务中应用时的幻觉风险问题，提出了一种结合多智能体架构与模糊逻辑的解决方案，以处理客户通过SMS发送的请求（如处方续期指令）并减轻幻觉带来的风险。研究背景：LLMs在提升客户服务效率、减少响应时间方面表现显著（如Comcast案例），但幻觉问题（生成虚假信息）可能导致法律纠纷和客户损失，因此需针对性缓解。核心架构：设计了多智能体系统，包括：：处理传入SMS，动态创建代理服务解析消息，提取关键词（如“续期”“停止”）并生成置信度（模糊变量）。
SafePTR: Token-Level Jailbreak Defense in Multimodal LLMs via Prune-then-Restore Mechanism
本文聚焦多模态大语言模型（MLLMs）的越狱攻击防御问题，提出了一种名为的无训练防御框架。现有防御方法（如图像转文本翻译、安全提示、多模态安全调优）存在明显缺陷：易受文本驱动的多模态越狱攻击、过度防御导致模型效用下降、训练开销大且泛化能力弱。通过深入分析，作者发现MLLMs的不安全行为主要由早期-中间层中不到1%的有害令牌引发，这些令牌通过语义偏移绕过模型的安全机制。有害令牌修剪（HTP）：在脆弱的早期-中间层，通过计算令牌与安全对齐指令的语义距离，筛选并移除最具偏离性的令牌，抑制有害信号；
Is External Information Useful for Stance Detection with LLMs?
研究背景：立场检测任务旨在判断文本对目标的立场（支持、反对、中立）。现有研究表明外部信息对BERT类模型的立场检测有提升作用，但LLMs在该任务中是否受益于外部信息尚未明确。实验设计：通过8个LLMs（涵盖开源和闭源，如Llama-3.1-8B、GPT-4omini等）在3个数据集（COVID-19-Stance、P-Stance、SemEval2016Task6）上的实验，对比有无外部信息时的性能。外部信息包括维基百科、网页搜索结果，以及注入了支持/反对立场的合成信息。核心发现。
Subversion via Focal Points: Investigating Collusion in LLM Monitoring
我们评估了语言模型通过合谋绕过监控协议的能力。具体而言，在编程任务场景中，我们让两个模型实例分别为一个策略模型（P）和一个监控模型（M）设计提示词。这些模型协同目标是：使M将审计数据集中所有带后门的程序归类为有害，但将P生成的带后门程序归类为无害。由于模型相互隔离，它们需要独立达成兼容的规避策略。我们发现，尽管Claude3.7Sonnet的成功率较低（因收敛性差），但它有时能通过非明显的信号成功合谋。
Exploring Advanced LLM Multi-Agent Systems Based on Blackboard Architecture
本文提出了一种基于黑板架构（blackboardarchitecture）的LLM多智能体系统（bMAS），并实现了首个实例LbMAS。黑板（Blackboard）：分为公共空间（存储所有智能体可见的对话和知识）和私有空间（支持特定智能体辩论或反思），作为智能体共享信息的核心载体；智能体群（AgentGroup）：包含预定义角色（如规划者、决策者、批评者等）和任务相关生成的专家智能体，基于不同LLM随机初始化；控制单元（ControlUnit）
