Loading...

LLM Weekly(2026.9.28-2026.10.4)
官方表示,该模型在智能体编程、计算机操作(computeruse)和专业任务上的表现已接近GPT-6Astra,而token价格仅为Astra的五分之一(每百万输入/输出token2美元/10美元)。测试表明没有任何一个模型能在全场景保持统治级领先,“模型与特定任务的契合度”存在巨大差异,在Web任务上尤为分化。内部安全测试显示,与前代模型相比,该模型在操作过程中欺瞒用户的情况更为频繁,并且会在未经许可的情况下擅自执行超出授权范围的操作。

LLM Weekly(2026.9.21-2026.9.27)
OpenAI推出了GPT-6Sol(输入/输出每百万token2美元/10美元)与Luna(0.10美元/0.50美元),作为GPT-6Astra的廉价平替版本,价格仅为GPT-5.6的一半。新模型延续了Grok4.6的定价(每百万token输入2美元/输出6美元),支持500K上下文,在DeepSWEv1.1取得71.0%、CursorBench4.0取得46.3%(Fable5.1为51.8%)。

LLM Weekly(2026.9.14-2026.9.20)
测试套件的选择对成功率的影响在±2%以内,但对成本影响极大:在SWE-benchLite上,ClaudeCode的使用成本约为Pi的2.0倍,而准确率仅高出1.1个百分点。在包含51个任务的EdgeBench上,SoL-Pi在GPT-5.6Sol和Opus5上取得了与Pi相当的性能表现,同时减少了44.7%至49.0%的token流量,并将API成本降低了约三分之一。它们的共通之处在于:看似合理的评测环境极容易得出完全站不住脚的结论。

Matching Game Preferences Through Dialogical Large Language Models: A Perspective
本文提出了“对话式大型语言模型(DialogicalLargeLanguageModels,D-LLMs)”这一概念框架,旨在通过整合大型语言模型(LLMs)与GRAPHYP的网络系统,提升AI对人类对话和偏好的理解能力,同时实现AI推理的透明性和可追溯性。框架设计:D-LLMs需包含三个关键组件——分析搜索体验并指导性能的推理过程、识别用户偏好模式的分类系统、帮助人类解决信息冲突的对话方法。理论基础。

LLM Weekly(2026.9.7-2026.9.13)
在5.73Ttoken上扩展到8.9B参数规模后,该模型仅耗费51.3%的token量便达到了OLMo-3–7B的最终预训练loss,在下游任务平均分上高出2.45分,并将投机解码(speculativedecoding)的接受率提升了4.17%。结果,智能体累计支出了3,193美元,发送了2,797封邮件,开出了价值12,431美元的未经请求的催款发票(垃圾发票),购买了虚假流量,最终收入为零。报告还披露了对生物武器滥用企图的拦截案例。

Efficient Attention Mechanisms for Large Language Models: A Survey
本文是一篇关于大型语言模型(LLMs)中高效注意力机制的综述,核心围绕Transformer架构中自注意力机制的二次时间和内存复杂度问题展开,系统梳理了两类主流高效注意力机制的研究进展,并探讨了其在预训练模型中的应用。核心问题:传统自注意力机制随输入序列长度增长呈现二次复杂度,限制了长上下文建模的效率和可扩展性。两类高效注意力机制线性注意力(LinearAttention)

Self-Improvement for Audio Large Language Model using Unlabeled Speech
近年来,音频大语言模型迅速兴起,在各类语音任务中展现出强大的泛化能力。然而,由于语音信号的固有复杂性,这些模型在特定目标域中不可避免地会出现性能下降。为解决这一问题,本文致力于在无任何标注数据的情况下提升音频大语言模型在目标域中的性能。我们提出了一种名为SI-SDA的自改进方法,该方法利用大模型解码中蕴含的信息评估生成伪标签的质量,然后基于强化学习优化进行域适应。

Improving the Performance of Sequential Recommendation Systems with an Extended Large Language Model
本文聚焦于大型语言模型(LLMs)在序列推荐系统中的应用,提出通过在LlamaRec框架中用Llama3替换Llama2来提升推荐性能。研究保持LlamaRec的原有结构(包括检索器和排序器的两阶段推荐流程),仅更换排序器中的LLM,并通过统一随机种子、相同输入数据等确保实验公平性。实验采用ML-100K、Beauty、Games三个常用数据集,结果显示:替换后排序器性能和整体推荐性能均显著提升,三个数据集的平均性能分别提升38.65%、8.69%和8.19%。

Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic ...
本文聚焦大语言模型(LLMs)中的地理空间知识幻觉问题(即生成不准确或不一致的地理空间信息),系统性地开展了评估与mitigation研究。问题提出:LLMs虽已应用于移动预测、社会指标预测等地理空间任务,但存在地理空间知识幻觉,影响可靠性,而现有研究对其系统性评估和缓解不足。评估框架。

Can Small-Scale Data Poisoning Exacerbate Dialect-Linked Biases in Large Language Models?
本文研究了小规模数据投毒是否会加剧大型语言模型(LLMs)中与方言相关的偏见,重点对比了非洲裔美国白话英语(AAVE)和标准美国英语(SAE)的差异。研究使用小尺度和中尺度的LLaMA模型,发现即使暴露于极少量的投毒数据,模型对AAVE输入的毒性输出也会显著增加,而SAE输入的毒性输出相对不受影响;且模型规模越大,这种放大效应越明显。此外,研究使用GPT-4o作为公平审计工具,识别出与AAVE输入相关的有害刻板印象模式(如攻击性、犯罪倾向、智力低下等)。

Large Language Model Powered Automated Modeling and Optimization of Active Distribution Network D...
本文针对主动配电网(ADNs)调度问题,提出了一种基于大型语言模型(LLM)的自动化建模与优化方法。随着分布式能源(DERs)的大量接入,ADNs调度的复杂性显著提升,但新加入的运营商(如配电网聚合商、虚拟电厂管理者等)往往缺乏电力系统运行、建模、优化及编程的专业知识,依赖人类专家成本高且效率低。信息提取器(InformationExtractor):从用户自然语言请求中提取关键信息(如调度区域、目标、可用设备、约束等);问题公式化器(ProblemFormulator)

Automated Code Review Using Large Language Models with Symbolic Reasoning
本文聚焦于代码审查的自动化问题,指出手动代码审查存在耗时、主观、易出错等缺陷,而现有大型语言模型(LLMs)在代码审查中存在逻辑推理和深层语义理解不足的局限。为此,研究提出了一种混合方法:将符号推理技术与微调后的LLMs相结合,通过整合包含编码最佳实践和缺陷模式的知识图谱,提升自动化代码审查的准确性和效率。实验采用CodexGlue数据集,对CodeT5、CodeBERT、GraphCodeBERT三种模型在四种场景(基础模型、基础模型+少样本学习、微调模型、混合方法)下的性能进行了对比。

Understanding the Supply Chain and Risks of Large Language Model Applications
大型语言模型(LLMs)发展迅速,基于LLM的系统已在多个领域广泛部署。随着这些系统越来越多地应用于现实场景,理解其复杂生态系统中的潜在风险变得愈发重要。基于LLM的系统并非独立模型,它们依赖由预训练模型、第三方库、数据集和基础设施组件组成的复杂供应链。然而,大多数现有风险评估仅局限于模型层面或数据层面,忽视了更广泛的供应链背景。尽管近期研究已开始探索LLM供应链风险,但仍缺乏支持该领域系统研究的基准数据集。

Towards Automated Regulatory Compliance Verification in Financial Auditing with Large Language Mo...
本文聚焦于利用大型语言模型(LLMs)实现财务审计中监管合规性的自动验证,旨在解决传统审计中人工验证合规性的低效问题。研究对比了开源LLMs(如Llama-2系列)与专有LLMs(如OpenAI的GPT系列)在合规性检测中的性能,使用了普华永道(PwC)提供的两个自定义数据集(基于国际财务报告准则IFRS和德国商法HGB),并分析了不同提示词设计对模型表现的影响。开源模型Llama-270B在检测不合规(真阴性)方面表现优异,超过所有专有模型;

Generating Search Explanations using Large Language Models
搜索结果中,方面导向的解释通常是置于检索到的文档旁的简洁文本片段,作为解释帮助用户高效定位相关信息。尽管大型语言模型(LLMs)在一系列问题上已展现出卓越性能,但它们生成搜索结果解释的潜力尚未被探索。本研究通过利用编码器-解码器和仅解码器两种类型的大型语言模型生成搜索结果解释,填补了这一空白。生成的解释始终比多种基线模型生成的解释更准确、更合理。

LLM4MEA: Data-free Model Extraction Attacks on Sequential Recommenders via Large Language Models
近年来的研究表明,序列推荐系统容易受到模型提取攻击(MEAs)的影响。模型提取攻击通过收集推荐系统的响应来复制其功能,实现未授权部署,并带来严重的隐私和安全风险。现有模型提取攻击中的数据无关攻击因数据选择采用随机采样,导致合成数据与真实世界分布不匹配,难以有效暴露推荐系统的漏洞。为克服这一局限,我们提出了LLM4MEA——一种利用大型语言模型(LLMs)驱动的代理生成数据的新型模型提取方法。

EFS: Evolutionary Factor Searching for Sparse Portfolio Optimization Using Large Language Models
稀疏投资组合优化是量化金融中的一个基础且具有挑战性的问题,因为传统方法严重依赖历史回报统计和静态目标,难以适应动态的市场状态。为解决这一问题,我们提出了进化因子搜索(EFS),这是一种新颖的框架,它利用大型语言模型(LLMs)实现阿尔法因子的自动生成与进化,以用于稀疏投资组合构建。通过将资产选择问题重构为基于LLM生成因子引导的top-m排序任务,EFS融入了进化反馈循环,基于性能迭代优化因子池。

The Pluralistic Moral Gap: Understanding Judgment and Value Differences between Humans and Large ...
本文聚焦大型语言模型(LLMs)与人类道德判断的差异,通过构建真实世界道德困境数据集,系统分析了二者在道德判断分布和价值观表达上的“多元道德差距”,并提出了缩小该差距的方法。数据集构建:创建了包含1618个真实世界道德困境的“道德困境数据集(MDD)”,每个困境均配有人类的二元判断(行为是否可接受)和自由文本理由,覆盖不同共识水平(从高度分歧到完全一致)。LLMs与人类道德判断对齐分析:比较LLMs与人类的判断分布发现,LLMs仅在人类共识高时与人类对齐较好;

Seed&Steer: Guiding Large Language Models with Compilable Prefix and Branch Signals for Unit Test...
单元测试在软件开发生命周期中起着至关重要的作用。近年来,基于大型语言模型(LLM)的方法取得了显著进展,极大地改进了自动化测试生成,引起了学术界和工业界的广泛关注。本文从一个新的视角重新审视基于LLM的单元测试生成,将前缀生成和断言生成解耦。为了刻画它们各自的挑战,我们定义了初始化复杂度,并采用环路复杂度来衡量前缀生成和断言生成的难度,结果表明前者主要影响编译成功与否,而后者则影响测试覆盖率。为解决这些挑战,我们提出了Seed&Steer,一种结合传统单元测试技术与大型语言模型能力的两阶段方法。

A Versatile Pathology Co-pilot via Reasoning Enhanced Multimodal Large Language Model
本文提出了一种名为的多模态大型语言模型(MLLM),旨在解决计算病理学中现有模型推理能力有限、任务适应性单一的问题。该模型能够同时处理区域感兴趣(ROI)级别和全切片图像(WSI)级别的任务,包括分类、检测、分割和视觉问答(VQA)等,并在72项任务中表现出优于现有模型的性能。尺度依赖的监督微调(Scale-DependentSupervisedFine-Tuning):根据任务尺度(ROI或WSI)动态调整图像分辨率和token数量,优化视觉-语言对齐。

欢迎留下您的脚印