Loading...
不等式证明在多个科学和数学领域至关重要,它考验着发现紧边界、策略性应用定理等高级推理能力。这使其成为大型语言模型(LLMs)一个独特且具有挑战性的前沿方向,能提供超越通用数学问题求解的深刻见解。该领域的进展受限于现有数据集——它们往往数量稀缺、人为合成或形式僵化。为解决这一问题,我们提出一种非正式但可验证的任务构建方式,将不等式证明重构为两个可自动检查的子任务:边界估计和关系预测。
2025_NIPS_SymRTLO: Enhancing RTL Code Optimization with LLMs and Neuron-Inspired Symbolic Reasoning
寄存器传输级(RTL)代码优化对于在综合早期阶段提升数字电路的效率和性能至关重要。基于综合反馈的手动改写虽能产出高质量结果,但耗时且易出错。大多数现有编译器方法难以处理复杂的设计约束。基于大语言模型(LLM)的方法已成为解决这些挑战的潜在方案,但这类方法往往难以确保生成代码与给定提示(prompt)的一致性。本文提出SymRTLO,一种神经符号框架,将LLM与符号推理相结合,实现RTL代码的高效优化。
LLM Weekly(2026.1.26-2026.2.1)
谷歌DeepMind与GoogleLabs推出网页原型,由Genie3、NanoBananaPro和Gemini驱动,面向美国地区18岁以上的GoogleAIUltra订阅用户开放。用户可通过文本和图像,实时探索,并对现有场景进行二次创作。谷歌将其定位为,同时指出目前在视觉效果、控制能力和持续时长上仍有局限。
LLM Weekly(2026.2.2-2026.2.8)
Anthropic发布ClaudeOpus4.6,这是一款前沿大模型,在代码能力、长上下文推理与智能体任务表现上均有提升。该模型已开放(测试版)和。ClaudeOpus4.6在Terminal-Bench2.0、Humanity’sLastExam、GDPval-AA、BrowseComp等基准测试中领先,同时保持优秀的安全性能。Anthropic还新增了,并强化了与Excel、PowerPoint的集成能力。
LLM Weekly(2026.2.9-2026.2.15)
OpenAI推出GPT‑5.3‑Codex‑Spark,这是一款轻量化的GPT‑5.3‑Codex模型,专为在CerebrasWaferScaleEngine3上实现优化。Codex‑Spark每秒可输出超过1000个token,支持128k纯文本上下文长度,并采用独立速率限制。OpenAI还通过持久化WebSocket连接与推理栈优化,将。Z.ai发布GLM-5,一款7440亿参数的稀疏大模型,针对复杂系统工程与长周期智能体任务优化。
LLM Weekly(2026.2.16-2026.2.22)
Anthropic发布ClaudeSonnet4.6,相比4.5版本全面升级,在上均有提升,且。模型支持,性能接近Opus水平,安全性与对抗提示词注入能力更强。开发者可通过Claude.ai、ClaudeCowork、ClaudeCode、API及主流云平台使用Sonnet4.6。
LLM Weekly(2026.2.23-2026.3.1)
AnthropicCEO达里奥·阿莫迪拒绝了五角大楼的“最终提议”,称公司不能在的前提下,允许其AI模型被用于所有合法用途。Anthropic要求明确和,而与该公司签有2亿美元合同的美国国防部则要求无限制合法使用,并威胁将其列入供应链风险名单。谷歌发布NanoBanana2(即Gemini3.1FlashImage模型),图像生成比NanoBananaPro更快、更逼真,支持512px~4K分辨率与多种宽高比。
2025_NIPS_Self-alignment of Large Video Language Models with Refined Regularized Preference Optimiz
该研究针对大型视频语言模型(LVLMs)在细粒度时间理解、幻觉生成、长短视频理解等任务中的不足,提出了一套自对齐框架与优化方法。核心思路是让LVLMs从自身错误中学习:通过对视频进行时空扰动生成错误响应,构建“偏好-非偏好”响应对训练集,再利用改进的偏好优化方法RRPO(RefinedRegularizedPreferenceOptimization)实现模型对齐。
2025_NIPS_KGGen: Extracting Knowledge Graphs from Plain Text with Language Models
近年来,构建知识图谱基础模型的相关研究凸显了一个核心挑战:知识图谱数据稀缺。目前知名的知识图谱主要依赖人工标注、模式匹配或早期自然语言处理技术提取生成。尽管人工构建的知识图谱供应短缺,但自动提取的知识图谱质量又备受质疑。本文提出KGGen,一种新型文本到知识图谱生成工具,该工具利用语言模型从纯文本中提取高质量图谱,并采用创新的实体消歧方法对相关实体进行聚类,显著缓解了困扰现有提取工具的稀疏性问题。与其他知识图谱生成工具不同,KGGen通过对相关实体进行聚类和去重,减少了提取图谱中的稀疏性。
2025_NIPS_Physics-informed Value Learner for Offline Goal-Conditioned Reinforcement Learning
离线目标条件强化学习(OfflineGCRL)在自主导航和运动控制等领域具有巨大应用前景——这些领域中,收集交互数据往往成本高昂且存在安全风险。然而,由于需要从状态-动作空间覆盖有限的数据集中学习,且需泛化到长时任务,该方法在实际应用中仍面临挑战。为解决这些问题,本文提出一种基于物理信息(Pi)的正则化损失函数用于价值学习。该损失函数源于Eikonal偏微分方程(PDE),能为学到的价值函数注入几何归纳偏置。
2025_NIPS_Continuous Diffusion Model for Language Modeling
扩散模型已成为自回归模型在离散分类数据建模中的有力替代方案。然而,直接在离散数据空间运行的扩散模型无法充分发挥迭代优化的优势,因为离散状态间的转移会导致信号丢失。现有针对离散数据的连续扩散模型性能不及离散方法,且两种方法间缺乏明确关联,阻碍了离散数据扩散模型的发展。本文提出一种用于语言建模的连续扩散模型,该模型融入了底层分类分布的几何特性。我们建立了离散扩散与统计流形上连续流的关联,并基于这一对应关系,提出一种可泛化现有离散扩散模型的简单扩散过程。
2025_NIPS_Improved Representation Steering for Language Models
语言模型(LM)的引导方法旨在通过改变模型输入、权重或表征来调整行为,从而对模型生成结果进行细粒度且可解释的控制。近期研究表明,在引入或抑制特定概念等场景下,调整权重或表征的效果往往不如提示工程。本文提出无参考偏好引导(RePS)方法,通过双向偏好优化目标同时实现概念引导与抑制,以此改进表征引导技术。我们训练了三种RePS参数化模型,并在大规模模型引导基准AXBENCH上进行评估。
2025_NIPS_FGBench: A Dataset and Benchmark for Molecular Property Reasoning at Functional Group-Leve
该研究聚焦于大型语言模型(LLMs)在化学领域的分子性质推理能力,针对现有数据集多关注分子层面预测、忽略官能团(FG)细粒度信息的缺陷,提出了FGBench数据集研究背景:官能团是分子中决定物理化学性质的关键原子组,现有分子性质数据库缺乏官能团与分子性质的明确关联,导致LLMs难以进行细粒度结构-性质关系推理,限制了其在分子设计、药物发现等场景的应用。数据集构建。
2025_NIPS_Multi-Agent Debate for LLM Judges with Adaptive Stability Detection
随着大型语言模型(LLMs)推理能力的不断提升,它们越来越多地被用于复杂的评估任务,例如给学生的回答评分、验证事实性声明以及比较竞争性答案。利用多个LLM作为自动评估器,通过聚合多样化视角可以提高评估的稳健性和准确性,但现有方法通常依赖静态且简单的聚合方式(如多数投票),即便个体评估正确,也可能产生错误的最终判断。本文提出一种新颖的多智能体辩论框架,让LLMs协作推理并迭代优化判断结果,对该过程进行了数学形式化描述,并证明其相较于静态集成的优势。
2025_NIPS_Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable
强化学习(RL)是大型语言模型(LLM)后训练的关键组成部分。然而,用于后训练的在策略算法天然难以应对经验回放缓冲区中的多样化内容——而异步离策略智能体可以在训练的同时高效并行填充这些缓冲区。本文提出通过异步轨迹平衡(TBA)高效利用此类离策略数据,这是一种针对LLM的异步强化学习方法,其核心是利用原则性的离策略TB目标函数。
2025_NIPS_SAFEX: Analyzing Vulnerabilities of MoE-Based LLMs via Stable Safety-critical Expert Ident
该研究聚焦基于混合专家(MoE)架构的大型语言模型(LLMs)的安全对齐问题,核心围绕MoE特有的“位置脆弱性”展开——即模型的安全对齐行为高度依赖特定专家模块。为此,研究者提出了名为SAFEX的分析框架,通过三步流程(专家统计、专家识别、专家验证)系统识别、表征和验证安全关键专家,并将其划分为两个功能组:有害内容检测组(HCDG)和有害响应控制组(HRCG)。
2025_NIPS_An Efficient Orlicz-Sobolev Approach for Transporting Unbalanced Measures on a Graph
本文聚焦图度量空间上非平衡测度的最优传输(OT)问题,针对传统Orlicz-Wasserstein(OW)和广义Sobolev传输(GST)仅适用于等质量测度、计算复杂或难以扩展的局限,提出两种新方法:Orlicz-EPT和Orlicz-Sobolev传输(OST)。Orlicz-EPT通过重构熵偏传输(EPT)为标准OT并校准代价函数,适配非平衡测度;OST则借助对偶EPT和图结构设计正则化方案,仅需单变量优化即可高效计算。
2025_NIPS_SCPILOT: Large Language Model Reasoning Toward Automated Single-Cell Analysis and Discover
我们提出SCPILOT,这是首个践行组学原生推理的系统性框架:大语言模型(LLM)以自然语言交互,同时直接检视单细胞RNA测序数据并按需调用生物信息学工具。SCPILOT将核心单细胞分析任务(即细胞类型注释、发育轨迹重建和转录因子靶向预测)转化为模型必须解决、论证并在需要时根据新证据修正的逐步推理问题。为衡量进展,我们发布SCBENCH基准套件,包含9个专家精选数据集和评估器,用于全面评估SCPILOT在不同LLM上的组学原生推理能力。
2025_NIPS_Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
该研究聚焦Transformer在词汇上下文学习(VICL)中的通用逼近性质(UAP),核心围绕位置编码的作用展开:1)无位置编码时,单层Transformer无法实现VICL的UAP;2)加入位置编码后,单层Transformer可达成UAP,并给出位置编码需满足的充分条件;3)针对ReLU、softmax等激活函数,进一步放宽了位置编码的约束条件。研究通过建立Transformer与前馈神经网络(FNN)的关联,从逼近理论角度揭示了位置编码在上下文学习(ICL)中的关键价值。
2025_NIPS_Mixture-of-Experts Meets In-Context Reinforcement Learning
该研究针对上下文强化学习(ICRL)面临的状态-动作-奖励数据多模态性和任务多样性/异质性两大核心挑战,提出了融合混合专家(MoE)架构的创新框架T2MIR(Token-andTask-wiseMoEforIn-contextRL)。T2MIR通过替换Transformer的前馈层为两个并行MoE层(令牌级MoE和任务级MoE),分别处理多模态语义差异和任务梯度冲突,并结合对比学习增强任务路由精度。
