大语言模型与模型
大型语言模型:GPT、Claude、Gemini、Mistral 及开源权重模型
97 published articles
视频生成
MiniMax 放弃其成熟架构,让 H3 包揽一切
MiniMax 表示,H3 将文本、图像、视频和音频生成统一到一个模型中,2K 输出的定价低于主流模型的三分之一,并计划在数日内开放权重。细则才是真正的故事:该公司为了达到这一目标,放弃了自己曾占据优势的架构。
2026-08-07
小型模型竞赛
BananaMind 2 Micro:2.9M参数、75B Token,和一场极端的过度训练豪赌
BananaMind 2 Micro 将拥有2.9M参数,并在75B Token上进行训练,相当于每个参数约25,900个Token。训练将于8月3日开始,发布日期预计为8月4日至6日,BananaMind 2 Pro 的公开预览将在同一天上线。目前尚未分享任何基准测试结果。
2026-08-06
AI安全
Shieldstral:3B参数分类器,胜过规模七倍于己的模型
据2026年7月的一篇arXiv论文,一款3B安全分类器匹敌了体积接近其七倍的文本模型,并在多模态审核上确立了新的最先进水平。诀窍:将审核重新定义为二元问答,基于约5410万个样本进行训练。
2026-08-05
人工智能
LFM2.5-Encoders 为小模型提供了有力论据:CPU 上比 ModernBERT 快 3.7 倍
Liquid AI 的开放权重 LFM2.5-Encoders 证明了生产环境 NLP 应属于小型模型。230M 编码器在基准测试上胜过 ModernBERT-base,在笔记本电脑 CPU 上约 28 秒扫描完整文档,速度大约快 3.7 倍。
2026-08-05
AI 研究
Penelope 将其推理隐藏在一个解码器层中,以降低推理成本
Penelope 是一个用于仅解码器 Transformer 的潜在推理框架,它将循环计算局部化到一个狭窄的解码器区间内,在不显著影响准确性的情况下降低推理延迟。该论文描述了一个将推理从可见 token 转移到内部 GRU 循环的课程。
2026-08-04
人工智能研究
为什么令牌对数概率不是监控AI推理模型的正确信号
Novelis Research表明,令牌对数概率作为量化推理模型的解码器监控器存在缺陷,无法察觉自信循环。他们引入了一种校准的e-CUSUM控制器,结合了不确定性和重复信号,在DeepSeek-R1-Distill-Qwen-1.5B上的GSM8K任务中实现了选择性。
2026-08-03
AI研究
在京东仓库分配中超越所有固定公式的大语言模型
通过求解器引导的强化学习训练的大语言模型为京东的每个库存分配实例选择最佳的MIP公式。命中率@1从21%跃升至50%,实际分配精度比每个固定公式高出12.57个百分点。
2026-08-03
AI研究
为什么你的AI导师看不出数学知识是如何层层递进的
北京大学的K12-Bench揭示,即使是最佳语言模型也几乎不理解学校概念之间的关联。57%和46%的得分显示了AI在处理先决条件链、概念分类和视觉基础方面的盲点, , 这些都是真实导师每天使用的技能。
2026-08-02
人工智能
IDEAgent使研究构思生成效率提升3.89倍
IDEAgent利用谱系、多目标反馈和序列记忆来平衡LLM生成的研究构思的质量与多样性。在8个计算机科学领域的32个主题上测试,其Yield(超过质量阈值的多样化构思)是先前方法的3.89倍。
2026-08-02
3D推理
SceneActBench:为何最优秀的VLM在3D动作任务上也会失败
SceneActBench在统一的智能体循环中测试了11种VLM配置在五项3D任务上的表现。总体得分范围从38.6到50.2,没有模型表现稳定。该基准暴露了视觉语言智能体的一个盲点:对完整场景采取行动,而不仅仅是描述。
2026-07-31
LLM蒸馏
上下文一旦静止,LLM蒸馏便告停滞。这篇论文让它演化
上下文可以将任务偏好带入LLM训练,但一旦蒸馏进学生模型,它们便几乎不再提供监督。北京大学的Flux-OPD让上下文随学生一起移动,并用冲突项为教师修正加权。摘要报告称相较现有OPD范式有所提升,但没有给出数字。
2026-07-31
研究摘要
结构化推理瓶颈超越提示魔法:LLM归纳任务中的新突破
一种名为“沙漏推理”(Hourglass reasoning)的新方法在归纳、演绎和实施阶段之间强制进行严格的上下文隔离,仅传递一个压缩的符号规则。在ARC-AGI-2上,它将最佳5次的准确率比迭代优化提高了多达14个百分点;在ChipBench Verilog综合任务中,使用GPT-5.5几乎将准确率翻倍。消融实验证实,拓扑结构本身驱动了改进。
2026-07-31