LLM架构
2 published articles
实验室与研究3 min read
AI研究
记忆解码器：6.9B附加记忆让410M模型击败Pythia-12B
《Memory Decoder at Scale》将LLM中的长期记忆与推理分离开来。一个6.9B预训练记忆以少39%的参数让Pythia-410M在17项基准测试中超越Pythia-12B；在每一个测试规模下，1.7B领域记忆都为Qwen3 Base增加了9个点以上的分数。
2026-07-31
大语言模型与模型2 min read
无分词器架构
Aleph Alpha发布T-Free：一种无分词器的主权AI架构
Aleph Alpha发布T-Free，一种无分词器的LLM架构，将单词直接映射为向量。该方法每个向量可容纳近七个字符，而传统方式仅为四个，从而降低成本并减少能耗，同时提升在专业领域和低资源语言上的性能。
2026-07-03