Loading...
近年来，音频大语言模型迅速兴起，在各类语音任务中展现出强大的泛化能力。然而，由于语音信号的固有复杂性，这些模型在特定目标域中不可避免地会出现性能下降。为解决这一问题，本文致力于在无任何标注数据的情况下提升音频大语言模型在目标域中的性能。我们提出了一种名为SI-SDA的自改进方法，该方法利用大模型解码中蕴含的信息评估生成伪标签的质量，然后基于强化学习优化进行域适应。
Improving the Performance of Sequential Recommendation Systems with an Extended Large Language Model
本文聚焦于大型语言模型（LLMs）在序列推荐系统中的应用，提出通过在LlamaRec框架中用Llama3替换Llama2来提升推荐性能。研究保持LlamaRec的原有结构（包括检索器和排序器的两阶段推荐流程），仅更换排序器中的LLM，并通过统一随机种子、相同输入数据等确保实验公平性。实验采用ML-100K、Beauty、Games三个常用数据集，结果显示：替换后排序器性能和整体推荐性能均显著提升，三个数据集的平均性能分别提升38.65%、8.69%和8.19%。
Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic ...
本文聚焦大语言模型（LLMs）中的地理空间知识幻觉问题（即生成不准确或不一致的地理空间信息），系统性地开展了评估与mitigation研究。问题提出：LLMs虽已应用于移动预测、社会指标预测等地理空间任务，但存在地理空间知识幻觉，影响可靠性，而现有研究对其系统性评估和缓解不足。评估框架。
Can Small-Scale Data Poisoning Exacerbate Dialect-Linked Biases in Large Language Models?
本文研究了小规模数据投毒是否会加剧大型语言模型（LLMs）中与方言相关的偏见，重点对比了非洲裔美国白话英语（AAVE）和标准美国英语（SAE）的差异。研究使用小尺度和中尺度的LLaMA模型，发现即使暴露于极少量的投毒数据，模型对AAVE输入的毒性输出也会显著增加，而SAE输入的毒性输出相对不受影响；且模型规模越大，这种放大效应越明显。此外，研究使用GPT-4o作为公平审计工具，识别出与AAVE输入相关的有害刻板印象模式（如攻击性、犯罪倾向、智力低下等）。
Large Language Model Powered Automated Modeling and Optimization of Active Distribution Network D...
本文针对主动配电网（ADNs）调度问题，提出了一种基于大型语言模型（LLM）的自动化建模与优化方法。随着分布式能源（DERs）的大量接入，ADNs调度的复杂性显著提升，但新加入的运营商（如配电网聚合商、虚拟电厂管理者等）往往缺乏电力系统运行、建模、优化及编程的专业知识，依赖人类专家成本高且效率低。信息提取器（InformationExtractor）：从用户自然语言请求中提取关键信息（如调度区域、目标、可用设备、约束等）；问题公式化器（ProblemFormulator）
Automated Code Review Using Large Language Models with Symbolic Reasoning
本文聚焦于代码审查的自动化问题，指出手动代码审查存在耗时、主观、易出错等缺陷，而现有大型语言模型（LLMs）在代码审查中存在逻辑推理和深层语义理解不足的局限。为此，研究提出了一种混合方法：将符号推理技术与微调后的LLMs相结合，通过整合包含编码最佳实践和缺陷模式的知识图谱，提升自动化代码审查的准确性和效率。实验采用CodexGlue数据集，对CodeT5、CodeBERT、GraphCodeBERT三种模型在四种场景（基础模型、基础模型+少样本学习、微调模型、混合方法）下的性能进行了对比。
Understanding the Supply Chain and Risks of Large Language Model Applications
大型语言模型（LLMs）发展迅速，基于LLM的系统已在多个领域广泛部署。随着这些系统越来越多地应用于现实场景，理解其复杂生态系统中的潜在风险变得愈发重要。基于LLM的系统并非独立模型，它们依赖由预训练模型、第三方库、数据集和基础设施组件组成的复杂供应链。然而，大多数现有风险评估仅局限于模型层面或数据层面，忽视了更广泛的供应链背景。尽管近期研究已开始探索LLM供应链风险，但仍缺乏支持该领域系统研究的基准数据集。
Towards Automated Regulatory Compliance Verification in Financial Auditing with Large Language Mo...
本文聚焦于利用大型语言模型（LLMs）实现财务审计中监管合规性的自动验证，旨在解决传统审计中人工验证合规性的低效问题。研究对比了开源LLMs（如Llama-2系列）与专有LLMs（如OpenAI的GPT系列）在合规性检测中的性能，使用了普华永道（PwC）提供的两个自定义数据集（基于国际财务报告准则IFRS和德国商法HGB），并分析了不同提示词设计对模型表现的影响。开源模型Llama-270B在检测不合规（真阴性）方面表现优异，超过所有专有模型；
Generating Search Explanations using Large Language Models
搜索结果中，方面导向的解释通常是置于检索到的文档旁的简洁文本片段，作为解释帮助用户高效定位相关信息。尽管大型语言模型（LLMs）在一系列问题上已展现出卓越性能，但它们生成搜索结果解释的潜力尚未被探索。本研究通过利用编码器-解码器和仅解码器两种类型的大型语言模型生成搜索结果解释，填补了这一空白。生成的解释始终比多种基线模型生成的解释更准确、更合理。
LLM4MEA: Data-free Model Extraction Attacks on Sequential Recommenders via Large Language Models
近年来的研究表明，序列推荐系统容易受到模型提取攻击（MEAs）的影响。模型提取攻击通过收集推荐系统的响应来复制其功能，实现未授权部署，并带来严重的隐私和安全风险。现有模型提取攻击中的数据无关攻击因数据选择采用随机采样，导致合成数据与真实世界分布不匹配，难以有效暴露推荐系统的漏洞。为克服这一局限，我们提出了LLM4MEA——一种利用大型语言模型（LLMs）驱动的代理生成数据的新型模型提取方法。
EFS: Evolutionary Factor Searching for Sparse Portfolio Optimization Using Large Language Models
稀疏投资组合优化是量化金融中的一个基础且具有挑战性的问题，因为传统方法严重依赖历史回报统计和静态目标，难以适应动态的市场状态。为解决这一问题，我们提出了进化因子搜索（EFS），这是一种新颖的框架，它利用大型语言模型（LLMs）实现阿尔法因子的自动生成与进化，以用于稀疏投资组合构建。通过将资产选择问题重构为基于LLM生成因子引导的top-m排序任务，EFS融入了进化反馈循环，基于性能迭代优化因子池。
The Pluralistic Moral Gap: Understanding Judgment and Value Differences between Humans and Large ...
本文聚焦大型语言模型（LLMs）与人类道德判断的差异，通过构建真实世界道德困境数据集，系统分析了二者在道德判断分布和价值观表达上的“多元道德差距”，并提出了缩小该差距的方法。数据集构建：创建了包含1618个真实世界道德困境的“道德困境数据集（MDD）”，每个困境均配有人类的二元判断（行为是否可接受）和自由文本理由，覆盖不同共识水平（从高度分歧到完全一致）。LLMs与人类道德判断对齐分析：比较LLMs与人类的判断分布发现，LLMs仅在人类共识高时与人类对齐较好；
Seed&Steer: Guiding Large Language Models with Compilable Prefix and Branch Signals for Unit Test...
单元测试在软件开发生命周期中起着至关重要的作用。近年来，基于大型语言模型（LLM）的方法取得了显著进展，极大地改进了自动化测试生成，引起了学术界和工业界的广泛关注。本文从一个新的视角重新审视基于LLM的单元测试生成，将前缀生成和断言生成解耦。为了刻画它们各自的挑战，我们定义了初始化复杂度，并采用环路复杂度来衡量前缀生成和断言生成的难度，结果表明前者主要影响编译成功与否，而后者则影响测试覆盖率。为解决这些挑战，我们提出了Seed&Steer，一种结合传统单元测试技术与大型语言模型能力的两阶段方法。
A Versatile Pathology Co-pilot via Reasoning Enhanced Multimodal Large Language Model
本文提出了一种名为的多模态大型语言模型（MLLM），旨在解决计算病理学中现有模型推理能力有限、任务适应性单一的问题。该模型能够同时处理区域感兴趣（ROI）级别和全切片图像（WSI）级别的任务，包括分类、检测、分割和视觉问答（VQA）等，并在72项任务中表现出优于现有模型的性能。尺度依赖的监督微调（Scale-DependentSupervisedFine-Tuning）：根据任务尺度（ROI或WSI）动态调整图像分辨率和token数量，优化视觉-语言对齐。
A Comprehensive Evaluation on Quantization Techniques for Large Language Models
本文聚焦大语言模型（LLMs）的后训练量化（PTQ）技术，旨在解决现有量化方法因组件复杂、实验配置不一致导致的难以公平比较的问题，并深入分析量化方法的理论关联。核心框架：将现有量化方法分解为两个关键步骤——量化前转换（通过移位、缩放、旋转等预处理减少异常值影响，使数据分布更适合量化）和量化误差缓解（通过自补偿、低秩分支补偿等技术抵消量化引入的误差）。实验评估：在统一配置下（如W4A4精度、相同模型和任务），评估了不同量化组件的组合效果，包括优化的旋转与缩放、GPTQ与低秩补偿的结合等。
RetroDFM-R: Reasoning-Driven Retrosynthesis Prediction with Large Language Models via Reinforceme...
本文提出了一种名为RETRODFM-R的推理驱动型大型语言模型（LLM），专门用于化学逆合成预测。逆合成规划是有机合成和药物发现的核心环节，但现有方法在适用性和可解释性上存在局限。RETRODFM-R通过三阶段训练范式（持续预训练、冷启动推理蒸馏、大规模强化学习）整合化学领域知识与先进推理能力，结合可验证的化学奖励机制，显著提升了预测准确性和可解释性。实验结果显示，RETRODFM-R在USPTO-50K基准数据集上的top-1准确率达到65.0%，超过现有最先进方法；
An Uncertainty-Driven Adaptive Self-Alignment Framework for Large Language Models
大型语言模型（LLMs）在指令遵循和通用推理方面已取得显著进展。然而，在没有人类标注的情况下，实现与人类意图和安全规范的高质量对齐仍是一项根本性挑战。本文提出了一种不确定性驱动的自适应自对齐（UDASA）框架，旨在以全自动方式改进LLM的对齐效果。UDASA首先为每个输入生成多个响应，并从语义、事实性和价值对齐三个维度量化输出不确定性。基于这些不确定性分数，该框架构建偏好对，并根据不确定性差异将训练样本分为保守、中等和探索三个阶段，随后分阶段对模型进行优化。
SLoW: Select Low-frequency Words! Automatic Dictionary Selection for Translation on Large Languag...
世界上有7000多种语言，而当前的大型语言模型（LLMs）仅支持数百种语言。基于字典的提示方法能够增强这些模型的翻译能力，但大多数方法会使用所有可用的字典，这可能成本很高。相反，在token消耗和翻译性能之间进行权衡会更具灵活性。本文提出了一项名为“自动字典选择（ADS）”的新任务。该任务的目标是自动选择使用哪些字典来增强翻译效果。我们提出了一种新颖且有效的方法，称为“选择低频词！（SLoW）”，该方法会选择那些包含更低频率词汇的字典。
DIFFA: Large Language Diffusion Models Can Listen and Understand
本文介绍了DIFFA，这是首个基于扩散模型的大型音频-语言模型（LargeAudio-LanguageModel,LALM），旨在实现语音语言理解。DIFFA的核心设计是将冻结的扩散语言模型与轻量级双适配器架构结合，以连接语音理解和自然语言推理能力。第一阶段通过语音识别（ASR）目标，利用LibriSpeech数据集（960小时）对齐语义表示；第二阶段通过大语言模型自动生成的合成音频-字幕对（127小时），学习指令遵循能力。
Hybrid and Unitary Fine-Tuning of Large Language Models: Methods and Benchmarking under Resource ...
大型语言模型（LLMs）的微调因其规模和内存需求，仍是一个计算瓶颈。本文全面评估了参数高效微调（PEFT）技术，包括LoRA、BOFT、LoRA-GA和uRNN，并提出了一种新颖的混合策略，该策略动态融合BOFT的正交稳定性与LoRA-GA的梯度对齐快速收敛特性。通过基于梯度范数计算每层自适应更新，该混合方法在多种任务上实现了更优的收敛效率和泛化能力。此外，本文首次探索了将酉循环神经网络（uRNN）原理适配于基于Transformer的LLMs，通过结构化酉约束增强梯度稳定性。
