Loading...

Large Language Model enabled Mathematical Modeling
将大型语言模型(LLMs)融入供应链优化为提升运筹学(OR)决策能力开辟了广阔前景。传统优化方法(如线性规划、混合整数规划和仿真)需要领域专业知识将现实问题转化为可求解的数学模型。尽管Gurobi和COPT等优化求解器功能强大,但在定义目标、约束和变量结构时,人类专业知识仍然不可或缺。本研究探讨了LLMs(尤其是DeepSeek-R1模型)通过自然语言理解和代码生成弥补这一建模鸿沟的能力。

KARIPAP: Quantum-Inspired Tensor Network Compression of Large Language Models Using Infinite Proj...
该研究针对大型语言模型(LLMs)训练推理成本高、能耗大、难以终端部署的核心问题,提出了量子启发的张量网络压缩框架KARIPAP。其核心是结合无限投影纠缠对态(iPEPS)与张量重整化群(TRG)优化,通过结构化张量分解而非单纯减少神经元数量或降低权重精度,实现模型压缩。大型语言模型(LLMs)(如ChatGPT和LLaMA)的最新进展加速了生成式人工智能(AI)的发展,但它们前所未有的参数规模带来了巨大的计算和环境负担。过高的训练与推理成本、巨大的能源需求以及终端部署的局限性,持续限制着这类模型的可及性。

Generalized Intelligence for Tactical Decision-Making: Large Language Model-Driven Dynamic Weapon...
现代航空航天防御系统日益依赖自主决策,以协调大量拦截器对抗多个来袭威胁。传统武器-目标分配(WTA)算法(包括混合整数规划和基于拍卖的方法)在动态、不确定的战术环境中存在局限性,这类环境需要类人推理和自适应优先级排序能力。本文提出一种基于大型语言模型(LLM)的WTA框架,将通用智能集成到协同导弹制导中。该系统将战术决策过程表述为推理问题,LLM通过评估拦截器、目标和受保护资产之间的时空关系,生成实时分配方案。

Advanced Black-Box Tuning of Large Language Models with Limited API Calls
黑盒调优是一种新兴范式,用于使大语言模型(LLMs)更好地实现期望行为,尤其在无法直接访问模型参数时极具价值。然而,现有策略往往陷入非最优的极端困境:要么单独训练一个小型代理模型,再利用其修正基础模型的预测,该方式效率显著但性能提升有限;要么在每个调优迭代中调用基础模型的API,导致计算成本高得令人却步。本文提出,更合理的黑盒调优方式应是在有限API调用预算下训练代理模型。其核心直觉基于两点关键观察:首先,训练样本可能存在相关性与冗余性,基础模型的预测可通过先前的调用结果估算;

SecureInfer: Heterogeneous TEE-GPU Architecture for Privacy-Critical Tensors for Large Language M...
该研究针对大型语言模型(LLMs)在移动和边缘设备部署时面临的模型提取攻击风险,提出了一种混合框架。其核心思路是结合可信执行环境(TEEs,如IntelSGX)的硬件隔离能力与GPU的高性能计算优势,通过威胁感知和信息论驱动的细粒度模型划分,在保障隐私安全的同时避免性能损耗。

Are Large Language Models Sensitive to the Motives Behind Communication?
人类的沟通具有目的性:人们在说话、写作和创作内容时,心中总会抱有特定的沟通意图。因此,大型语言模型(LLMs)和人工智能代理所处理的信息,本质上都受人类意图和激励机制的框架约束。人类擅长处理这类复杂信息:我们会常规性地识别善意或自私的动机,从而决定该信任哪些表述。为了让LLMs在现实世界中有效发挥作用,它们也必须通过考量信息来源的动机来批判性地评估内容——例如,权衡推销话术中断言的可信度。本文中,我们对LLMs是否具备这种动机警觉性能力展开了全面研究。

AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models
多模态大型语言模型(MLLMs)在海量数据集上优化后可实现卓越性能,但此类数据集往往包含敏感或受版权保护的内容,引发严重的数据隐私担忧。强制要求“被遗忘权”的监管框架推动了机器遗忘技术的需求——该技术能够在无需耗费大量资源重新训练的情况下移除目标数据。然而,尽管文本模态的机器遗忘已得到充分研究,MLLMs中的视觉概念遗忘仍未被深入探索。核心挑战在于精准移除目标视觉概念的同时,不破坏模型对相关实体的性能表现。为解决这一问题,我们提出AUVIC,一种面向MLLMs的新型视觉概念遗忘框架。

Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language ...
多模态大型语言模型(MLLMs)的快速发展使其能力已超越高层视觉任务。然而,它们在文档图像质量评估(DIQA)方面的潜力尚未得到充分探索。为填补这一空白,我们提出了Q-Doc,这是一个三级评估框架,用于系统地探测MLLMs在粗、中、细三个粒度层面的DIQA能力。a)在粗粒度层面,我们指示MLLMs为文档图像分配质量分数,并分析其与质量标注的相关性;b)在中粒度层面,我们设计了失真类型识别任务,包括针对多失真场景的单选题和多选题测试;

MTAttack: Multi-Target Backdoor Attacks against Large Vision-Language Models
近年来,大型视觉语言模型(LVLMs)通过大规模图文预训练和指令微调,在各类视觉语言任务中展现出令人瞩目的性能。然而,LVLMs的安全漏洞日益受到关注,尤其是其易受后门攻击的特性。现有后门攻击主要集中于单目标攻击,即单个触发器对应单一恶意输出。本文提出了多目标后门攻击——在单次训练中植入多个独立触发器,每个触发器对应不同攻击目标,这对实际应用中的LVLMs构成了更大威胁。在LVLMs中实施此类攻击面临挑战:不同触发器间的严重特征干扰可能导致大量错误的触发器-目标映射。

Enhancing Reasoning Skills in Small Persian Medical Language Models Can Outperform Large-Scale Da...
本文聚焦低资源语言(波斯语)医疗领域小语言模型的推理能力提升问题,核心研究如何在有限数据条件下,通过推理导向的训练方法超越单纯的数据规模扩展效果。研究背景:基于Transformer的语言模型擅长“快速思考”类任务(如模式匹配、表层文本生成),但在医疗等专业领域的“慢速思考”(多步骤推理、逻辑推断)任务中表现不足;而波斯语作为低资源语言,缺乏高质量医疗数据集和计算资源,进一步加剧了这一问题。核心方法。

Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
混合专家(MoE)架构凭借可扩充模型容量、且计算成本不会同比增长的优势,已成为大语言模型(LLM)扩容的主流方案。但现有MoE大语言模型普遍存在路由策略固化、专家负载严重失衡、稀疏激活冗余度高、推理延迟大等问题,极大限制了模型落地应用。针对以上问题,本文提出MoE-Switch面向混合专家大语言模型的动态路由优化框架。区别于以往方案的固定专家选择模式,MoE-Switch能够依据输入词元的语义复杂度与序列特征,自适应调整路由规则。

KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks
测试时缩放是提升大语言模型推理性能的一种有效方法,但在长序列解码过程中,随着KV缓存不断增长,内存会成为瓶颈。KV缓存量化有助于缓解这一问题,但现有方法通常在预填充式设置下进行评估,而误差在自回归解码中的表现有所不同。我们发现,在后一种情况下,量化误差会随时间步累积,主要源于不正确的token尺度。为此,我们提出KVarN——一种免校准的KV缓存量化器,它先对K和V矩阵进行Hadamard旋转,再沿两个轴施加双尺度方差归一化。

LexInstructEval: Lexical Instruction Following Evaluation for Large Language Models
大型语言模型(LLMs)精准遵循复杂且细粒度词汇指令的能力,是其实用性与可控性的核心基础。然而,评估这一能力仍面临重大挑战。现有方法要么依赖主观且成本高昂的人工评估,要么采用自动化的“LLM作为裁判”系统,而后者存在固有偏见与不可靠性。现有程序化基准测试虽具客观性,但往往缺乏在细粒度层面测试复杂组合型约束的表达能力。为解决这些局限,我们提出LexInstructEval——一个用于细粒度词汇指令遵循评估的新型基准测试与评估框架。该框架基于形式化的规则语法构建,将复杂指令解构为标准的⟨过程、关系、值⟩三元组。

LLM-YOLOMS: Large Language Model-based Semantic Interpretation and Fault Diagnosis for Wind Turbi...
风力发电机(WT)部件的健康状态对确保其稳定可靠运行至关重要。然而,现有故障检测方法大多局限于视觉识别,输出的结构化结果缺乏语义可解释性,且无法为运维决策提供支持。为解决这些局限性,本研究提出一种融合YOLOMS与大语言模型(LLM)的集成框架,用于智能故障分析与诊断。具体而言,YOLOMS采用多尺度检测和滑动窗口裁剪技术增强故障特征提取能力,同时通过轻量级键值(KV)映射模块搭建视觉输出与文本输入之间的桥梁。

MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery
大型语言模型(LLM)智能体越来越多地被应用于科学发现和机器学习工程(MLE)等长时程任务,在这些任务中,持续的自我演化成为一种关键能力。然而,现有的MLE智能体存在分支间信息隔离、无记忆搜索以及缺乏层次化控制的问题,这些问题共同阻碍了长时程优化。我们提出了MLEvolve,一个基于LLM的自演化多智能体框架,用于端到端的机器学习算法发现。

EffiReason-Bench: A Unified Benchmark for Evaluating and Advancing Efficient Reasoning in Large L...
大语言模型(LLMs)通过思维链(CoT)提示实现了强大的推理能力,但频繁生成不必要的冗长解释,增加了成本并降低了准确率。尽管面向效率的方法层出不穷,但碎片化的评估实践阻碍了系统比较,也掩盖了不同条件下哪些策略更为有效。本文提出EffiReason-Bench,这是首个统一基准,支持对高效推理方法进行严格的跨范式评估,这些方法被分为三类:推理蓝图(ReasoningBlueprints)、动态执行(DynamicExecution)和事后优化(Post-hocRefinement)。

CreativityPrism: A Holistic Benchmark for Large Language Model Creativity
创造力通常被视为人类智能的标志。尽管大型语言模型(LLMs)越来越多地被认为能够生成富有创意的文本,但目前仍缺乏一个全面的框架来评估它们在不同场景下的创造力。现有评估方法较为零散,在不同领域和任务间存在巨大差异,这主要源于对创造力的定义和衡量方式各不相同。受“创造力并非单一固定概念”这一假设的启发,我们提出了CREATIVITYPRISM——一个将创造力分解为三个维度的评估分析框架:质量、新颖性和多样性。

PBBQ: A Persian Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models
本文聚焦波斯语大型语言模型(LLMs)的社会偏见评估缺口,提出了首个针对波斯语语境的偏见基准数据集PBBQ(PersianBiasBenchmarkforQuestion-answering)。数据集构建:通过人机协作模式,结合社会科学专家指导与250名不同人口统计学背景受访者的问卷反馈,筛选出223个波斯文化中广泛认可的刻板印象,覆盖年龄、职业、社会经济地位等16个偏见类别,最终生成37,742条高质量问答样本,包含模糊语境、明确语境及对应正负向问题。模型评估。

RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large La...
本文针对大型语言模型(LLMs)在规则学习中存在的“忽视规则组合效应”“概率规则学习与LLMs耦合不足”等问题,提出了RLIE框架——一种融合规则生成(Rulegeneration)、逻辑回归(Logisticregression)、迭代优化(Iterativerefinement)和评估(Evaluation)的统一概率规则学习范式,核心目标是从数据中学习鲁棒、可解释且可复用的自然语言规则集。如今,大型语言模型(LLMs)能够以自然语言形式提出规则,克服了传统规则学习中固有的预定义谓词空间限制。

CityVerse: A Unified Data Platform for Multi-Task Urban Computing with Large Language Models
该研究针对大型语言模型(LLMs)在城市计算多任务评估中面临的数据访问不统一任务定义碎片化动态评估缺失三大核心挑战,提出了首个统一平台CityVerse。该平台以“时空坐标”为核心纽带,构建三层架构(统一城市数据层、四级任务分类层、可视化交互层),整合多源城市数据、标准化任务体系与动态仿真能力,为LLMs在城市计算领域的系统化、可复现评估提供基础支撑。数据层。

欢迎留下您的脚印