【ZiDongHua 之“金融滋东化”标注关键词:智能涌现; 人工智能 ;机器学习; 】
五源、红杉等投资数亿元,北大博导押注模型实时自进化|智能涌现首发

从GPT-6 Astra到Fable 5.2,模型的版本迭代,不断刷新着人们对AI能力的认知。人们对更强AI的期待,也往往寄托于下一个版本的到来。
在两次版本更新之间,模型通过上下文完成任务,其参数通常保持不变。那么,模型能否在投入使用后,不断将验证过的经验和知识内化,修改模型参数,并转化为后续任务可复用的能力呢?
无涯智远的解法是,给模型装备一个能在几秒内改写它参数的“外挂大脑”。
《智能涌现》获悉,无涯智远近日已连续完成数亿元天使轮和天使加轮融资,投资方包括五源资本、红杉中国、联想之星、中关村科学城基金及戈壁创投等多家知名投资机构,心流资本FlowCapital担任本次融资财务顾问。本轮资金主要用于公司自研实时RSI模型的技术攻关及产品落地。
无涯智远成立于2026年6月,由北京大学助理教授张牧涵担任首席科学家,主要聚焦参数持续学习与实时RSI(递归自我改进),让模型拥有在出厂之后能不断迭代、更新参数、提升自身智能的能力。
张牧涵本科毕业于上海交通大学,博士毕业于美国圣路易斯华盛顿大学计算机科学专业,师从华盛顿大学终身教授、AAAI及IEEE会士陈一昕,博士毕业后在Facebook从事大规模图机器学习系统研究。2021年回国进入北京大学,目前担任北京大学人工智能研究院助理教授、博士生导师。
早在2018年前后,张牧涵在研究图神经网络时,就开始尝试将神经网络本身视为一张计算图,用另一个网络理解它的结构、预测它的表现。如今,他将这一研究思路延伸到持续学习上,通过超网络(HyperNetwork),直接生成基座模型的参数更新,让新知识成为模型自身的一部分。
超网络,是一种能够生成另一个神经网络部分或全部参数的网络,通过输入任务、数据特征或模型状态,输出目标网络所需的权重或参数更新。超网络训练完成后,便可以根据新的知识直接生成参数更新,减少反复训练的过程。
这一思路的早期验证,体现在张牧涵与合作者于2026年2月发布、随后被ICML 2026收录的SHINE论文中。这项研究主要的内容是,通过超网络的一次前向计算,将上下文转化为基座模型的参数更新,使模型在不再读取原文的情况下,仍能回答相关问题。
不仅如此,他们还观察到,用英文语料训练的超网络,对中文材料也表现出了内化能力。这意味着,面对未见过的材料,超网络仍能生成有效的参数更新。这种出乎意料的泛化性,让张牧涵看到了这条技术路线的潜力,也促使他决定进一步扩大训练规模,探索模型持续学习的能力边界。
01
从版本迭代,到持续学习
当下主流的RSI方向,大多沿着AI for AI的方式,利用现有模型编写代码、优化算子和训练Infra、合成数据,帮助下一代模型更快、更好地完成训练,再用更强的模型加速下一轮研发。
无涯智远所押注的RSI并不是要训练出下一个基模。在张牧涵看来,隔几个月重新训练一个新模型,这样“回炉重造”的重训方式不太连续,而且过于耗时、耗能。“人类不是这样学习的,我们以前学过的东西已经沉淀为长期记忆和熟练技能,体现在神经元之间连接强度、连接结构等的改变中。”他说。
因此,无涯智远把目光投向了持续学习,希望让模型基于已有能力,吸取新的增量知识,减少反复重训的消耗。
相比于不断重训,张牧涵押注的这条持续学习路线有两点优势——省成本与及时性。新知识可以通过超网络直接生成参数更新,减少对全量重训的依赖,也不必总是等待几个月一次的模型版本更新。
在他看来,持续学习也是AGI(通用人工智能)的必要部分。长程任务会不断积累新信息、有时也需要解锁模型基础能力之外的新能力,然而单次推理能够直接利用的内容,却受上下文窗口限制,模型能力也受基模出厂参数上限锁定;继续扩展窗口,又会增加计算和显存开销。因此,张牧涵希望模型能够把部分经验写入参数,在有限的上下文之外持续积累,并在推理过程中不断获得新的能力。
现阶段,持续学习已有几种不同的技术探索,比如利用LoRA等参数高效微调方法吸收新知识,或通过强化学习从经验中改进能力。这些方法可以结合使用,但在线更新通常仍需要反向传播;在高频学习的场景下,更新成本和灾难性遗忘仍是需要解决的问题。
无涯智远选择了一条具有差异化的持续学习路径,预先训练一个超网络,让它学会根据新的上下文,直接生成基座模型的参数更新。
张牧涵告诉我们,用于生成参数的超网络是从零开始预训练出来的,没法基于开源大模型去做后训练,数据也要自行收集,架构设计和训练方法都经历了海量探索。既要让超网络处理未见过的材料,也要让基模在连续学习后保留原有能力。在张牧涵看来,这些仍是最核心的技术难点。他也强调:“让它不断学习,不意味着什么都学进去。哪些信息值得学,更新后会不会影响原有能力和安全性,这些要和学习能力一起研究。”
如何训练出一个这样的超网络呢?在论文公开的简化流程中,他们将收集的材料输入超网络,由它生成基座模型的参数更新,再检查更新后的基模能否背诵或续写相关内容。根据模型表现计算出的损失,会反向传播至超网络,调整其参数,让它下一次生成更有效的更新。
这些能力最终将如何交付,团队仍在探索之中。目前,团队已将知识内化规模从论文阶段的约1K tokens扩展至数百万tokens,相关能力仍在进一步验证中。
02
让企业和个人拥有专属模型
如果要学习曹雪芹的写作风格,能否将前80回概括成一份skill文档,再让模型照着写下去?张牧涵的判断是,很难。
这是因为语言风格包含细微的用词习惯、词频和词语搭配,长篇叙事还涉及人物性格、情节和前后细节的一致性。这些规律很难被逐条列出,但将这些规律学进模型参数中,则提供了另一种可能。
这也是他对“压缩即智能”的理解:将大量内容中的规律压缩进参数,才能形成可以泛化的智能。不同于RAG(检索增强生成)这种对单次碎片化资料的临时调用,参数上的压缩能将海量语料中的经验、逻辑和规律提取出来变成长期可复用的模型能力。
类似的需求,也存在于企业和个人智能体中。企业希望模型掌握自己的业务知识,个人则希望AI逐渐理解自己的偏好与工作方式。这些信息在使用中不断积累,如何让模型长期、有效地利用它们,是无涯智远看见的机会。
在张牧涵看来,他们所押注的是一个离商业化落地更近的RSI方向。“从目前的研究进展来看,我们已经实现了中长数据规模下,秒级的快速内化和学习的能力。这意味着,在很多场景里我们都有了一些落地的可能。”
具体而言,他们正在尝试两个方向——企业和Personal Agent。
企业拥有大量内部数据,每天还会产生新的业务信息,其中相当一部分数据具有实时性、专业性和私密性的特点。对于无法将数据上传到外部平台、也没有足够的资源和技术来做模型训练系统的企业,超网络能帮助数据实时写进模型参数,让模型逐渐适应、理解企业自身的业务。
好处在于,企业可以私有化部署,在本地完成模型学习与更新,既有望降低企业在本地更新模型的门槛,也能减少敏感数据向外部平台传输的需要。无涯智远也将数据安全与隐私保护作为研发中的重要考量,希望让企业在充分利用自身数据价值的同时,保有对数据的管理与控制。
另一个方向是Personal Agent。一个长期服务于用户的Agent,会不断积累对话、工作记录和任务轨迹。在张牧涵的设想中,Personal Agent不仅能掌握用户的偏好、经历和工作方式等,还可以持续从网络和其他环境中学习,获得超出用户自身的能力,同时保有对用户的理解。
除此之外,这类模型既可能部署在端侧,也可能运行于云端。在端侧可以探索1B至27B等规模的模型;云端则可以通过共享基座、维护部分个性化参数等方式,降低为不同用户提供专属模型的成本。
无涯智远希望在通用基模之上,为不同用户提供持续学习能力。目前,团队正基于开源模型推进研发,为其训练对应的超网络。

据了解,无涯智远聚集了一批年轻研究者,包括来自北大、清华、MIT等高校背景的青年人才,以及奥林匹克竞赛、ICPC金牌得主和大厂后训练、智能体等方向的研究员,团队规模为20余人。
张牧涵预计,未来三至五年,乃至更短时间内,持续学习有可能成为模型的一项普遍能力。未来模型可以摆脱大厂标准化、定制式的版本升级方案,而是在不同工作场景中自我进化,让它在出厂之后仍能不断获得新能力。如果这一设想成立,人们对更强AI的期待,或许也会发生变化。




评论排行