LLaMA-Rider：赋能大语言模型在开放世界中的探索和学习 引言 大语言模型（LLM）因其强大的语言生成和理解能力而受到广泛关注，成为构建通用智能体的有力候选者。LLM在开放世界中的适应能力仍然是一个重要挑战。开放世界环境具有高度的可变性和复杂性，LLM需要自主探索、学习和解决任务的能力。 LLaMA-Rider：环境反馈驱动的探索与学习 北京大学和北京智源人工智能研究院的团队提出了一种名为 LLaMA-Rider 的方法，旨在解决 LLM 适应开放世界的挑战。该方法着眼于利用环境反馈信息引导 LLM 主动探索环境、收集数据和学习策略。 LLaMA-Rider 采用一种两阶段的训练框架： - 探索阶段： LLM 在环境中探索，接收环境的文本化信息和任务信息，并给出决策。如果决策无法执行，则触发环境反馈，引导 LLM 修改决策。 - 学习阶段： 从探索阶段收集的经验被整合到监督数据集，用于监督微调 LLM，更新其知识。 核心技术 反馈-修改机制 LLaMA-Rider 利用反馈-修改机制进行主动探索。当 LLM 的决策无法执行时，环境会提供反馈，LLM 根据反馈修改决策，提高探索效率。 技能检索模块 为了将 LLM 的文本输出匹配到环境的动作空间，LLaMA-Rider 使用预训练的技能库和技能检索模块。该模块将 LLM 的文本输出与技能库中的技能描述进行匹配，检索最接近的技能。 子任务重标记 在探索和学习阶段，LLaMA-Rider 采用子任务重标记的方法。在探索过程中，当前正在完成的子任务信息替换输入中的原始任务信息，让 LLM 专注于当下的子目标。在学习阶段，子任务重标记用于学习任务之间的子任务组合性。 实验结果 LLaMA-Rider 使用 LLaMA-2-70B-chat 大语言模型在《我的世界》中评估其性能。在 30 个任务中，LLaMA-Rider 超过基于 ChatGPT 的任务规划器，并在一系列任务中展示了持续学习和多任务解决的能力。与强化学习方法相比，LLaMA-Rider 表现出更高的采样效率和更低的训练成本。 讨论 LLaMA-Rider 为 LLM 适应开放世界提供了有效的方法。其主动探索、环境反馈驱动的学习机制赋予了 LLM 自主获取知识和解决多任务的能力。该方法的成功表明 LLM 有潜力成为通用智能体的基础。 结论 LLaMA-Rider 是一项具有突破性的研究，展示了 LLM 在开放世界中探索和学习的能力。该方法为未来通用智能体的开发铺平了道路，并为 LLM 在现实世界应用中的探索提供了新的可能性。

---

五道口有个人工智能“橙房子”，逛完整个“AI”住了！

五道口成府路南侧

有座“橙房子”

十分引人注目

这就是

北京智源人工智能研究院的新家

（以下简称“智源”）

从最初的一间会议室

到现在的智源大厦

三年来

它交出了10张亮眼成绩单

其中最为引人瞩目的当属

智能模型 “悟道”

2021年3月和6月

智源相继发布

悟道1.0和悟道2.0

“悟道”大模型实现了

我国在超大规模智能模型技术方面的

自主可控及前沿引领

智源瞄向世界一流研究

希望推动顶尖人才、学术思想

发展政策、理论基础、企业创新

五大源头创新

关于未来

智源还有那些期许和目标

人工智能的发展将去向何方

本期特别邀请了刘江副院长

为我们解读

刘江

北京智源人工智能研究院副院长

Q：把“新家”搬到五道口，有没有什么特别的用意？

智源位于五道口的这个空间很珍贵，首先要感谢北京市、海淀区的大力支持。 这里是中关村核心区域 ，毗邻清华、北大、中科院，汇聚了大量人才。

现在每周都有几场有关人工智能的活动在这里举办。我们希望能 有更多的学者、科研人员以及工作室能更近距离地交流，这有利于以技术和科研的创新 。心理上、地理上人才的高密度聚集，对于创新来说是一个非常重要的条件。

Q：未来，智源在人工智能领域有什么样的计划和布局？

我们认为未来人工智能领域将有几个比较重要的方向， 第一个方向是大模型 。 用海量的数据和巨大的算力训练出来的大模型具有很强的通用性。 它能做各种各样不同类型的题目，而且表现很好。

我们对于人工智能最终的想象是能创造出一个系统与人类的能力相当，所以 第二个重要的方向就是“类脑” 。

第三个很重要的方向叫做科学智能 。基础学科以前因为人力限制，许多研究是很难做到的，借助人工智能的力量，说不定能产生很多突破。

总的来说，人工智能有两个大方向，一个是 对“智能”本身的理解 ， 探索 智能的机理到底是什么，这个层面上还有非常多可能性。另一个是在研究“智能”的漫长过程中，我们积累了许多能力，要 把这些能力应用于各行各业 ，产生最大的 社会 价值。这就是我们所说的人工智能研究的“顶天立地”， 顶天是要向科学技术的高峰攀登，立地是要做好科研转化，使之产业化 。

靓丽的外表

硬核的内心

在宇宙中心呼唤“AI”的体验

你爱了吗？

蚂蚁金服刷脸支付为何上榜《MIT科技评论》全球十大突破性技术？

《麻省理工科技评论》发布了2017年全球十大突破性技术榜单，其中刷脸支付上榜。“在中国，人脸识别系统现在应用于授权支付、设备访问以及罪犯追踪。”该项技术被认为是在“成熟期”。而蚂蚁金服被列举为三家主要公司其中的一家。

背景

蚂蚁金服以世界领先的人脸比对算法为基础，研发了交互式人脸活体采集与识别技术和图像脱敏技术，并通过蚂蚁金融云实现高并发和高可靠性的系统安全架构，以此为依托的人脸验证核身产品已经成功产品化，在支付宝等和网商银行等身份验证场景广泛应用。在最新的测试报告中，该技术人脸识别准确率已达99.6%，再配合眼纹等多因子验证，准确率为99.99%，远超肉眼识别97%的准确率。

自支付宝引入人脸识别技术后，在用户登录、实名认证、找回密码、商家审核、支付风险校验等场景，该技术作为主要身份验证方式全面应用，自2015年底上线至今已服务超过1.5亿用户。与传统基于密码等身份验证方法相对比，人脸识别技术在安全性、可靠性、识别性能和用户体验方面的都得到了大幅提升，对实现互联网金融场景下具有现实意义。

针对蚂蚁金服的人脸识别技术，InfoQ采访了蚂蚁金服生物识别技术负责人陈继东。

陈继东博士现任蚂蚁金融服务集团全球核身平台部总监和资深专家，负责生物识别技术研发与应用。带领团队将人脸识别技术在网商银行和支付宝等金融场景成功上线并大规模商业应用，使蚂蚁金服在生物识别智能技术及应用方面保持世界领先。陈继东曾任人人游戏大数据研究中心首席数据科学家，EMC中国研究院大数据实验室主任。

《麻省理工科技评论》发布了2017年全球突破性技术榜单，其中刷脸支付上榜，而蚂蚁金服是这一技术的代表性公司。作为蚂蚁金服生物识别技术的负责人，请问您对这件事有什么看法？这是否也意味着中国的人脸识别技术在世界范围内都处于领先地位？

综合来看，该榜单描述是比较准确的。上榜的突破性技术是刷脸支付，而不是人脸识别。对突破的定义是“给人们带来高质量的科技解决方案”。所以，它不只在于技术本身，更是在强调应用场景，如何应用技术来改变人们生活。强调技术的应用也正好是蚂蚁金服技术研发的定位。除了技术本身之外，我们更看重技术的应用如何带给人们平等的金融服务。身份识别和身份验证是所有金融服务的基础，因此基于人脸识别的在线身份验证对数字普惠金融服务起到很重要的作用。

以人脸识别为代表的计算机视觉技术在过去几年取得了很大进展，主要得益于深度学习技术的深入应用、计算能力的增强以及海量数据的爆发。但是人脸识别技术是近两年才开始真正的全面商用，刷脸认证和刷脸支付也正处于刚起步的阶段，还有很多新的场景可以应用。

2016年云栖大会上，蚂蚁金服展区开张了一家“未来咖啡馆”，客人对着摄像头刷刷脸，就能完成支付。据悉，刷脸支付很快就将落地真实场景。

在人脸识别研究领域，一批杰出的华人研究学者是推动技术不断发展的重要力量，可以说在世界范围内，中国的人脸识别技术不管是技术还是应用都处于领先地位。刷脸支付由蚂蚁金服与中国人脸识别技术公司Face++合作研发，在人脸识别核心比对算法的基础上，蚂蚁金服开发了具有专利的活体检测技术，并结合其基于金融云的风控防攻击安全策略等多个维度的核心技术，能够提供金融级的准确度和安全性。

您可以聊聊这几年蚂蚁金服在人脸识别领域的投入和发展吗？在整个人脸识别领域中，处于什么样的位置？

蚂蚁金服几年前就开始在人脸识别领域投入资金和人才，同时也在其他生物特征识别技术研发方面有持续投入，生物识别技术已成为蚂蚁金服技术体系和安全风控体系中的重要组成部分。蚂蚁金服从2015年开始将人脸识别技术应用于支付宝用户登录、实名认证、找回密码、支付风险校验等场景，迄今已有超过1.5亿用户使用，据我们所知，这是目前国内外用户量和访问量最大的人脸识别系统，更是在金融领域全球范围内第一家大规模商用的在线系统。

蚂蚁金服的人脸识别技术

人脸识别常用的算法模型您能不能简单介绍一下？蚂蚁金服又采用了什么样的算法策略呢？

通常大家说的人脸识别是指人脸比对算法，又分为1:1比对（verification）和1:N识别（identification），其算法核心是让机器自动判断不同人脸图片之间的相似度。人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，在这一技术发展过程中涉及到的算法模型既有基于人脸局部特征点的识别模型，也有基于全局特征变换或几何特征的识别模型，还有基于2D或3D模板建模的识别模型。目前人脸识别技术已经全面转向了基于卷积神经网络（CNN）的识别模型。

除了识别模型的准确性之外，人脸识别还有一个重要环节就是活体检测，也就是确保机器要识别的人脸图片是来自一个活体人脸，而不是照片、视频或面具等伪造的人脸，因此活体检测技术也是人脸识别成功应用的关键。活体检测涉及的算法也非常多，同时又与传感器技术关系非常紧密，比如指纹识别可以通过电容/电感传感器检测活体，虹膜识别可以通过红外摄像头检测活体。由于红外摄像头在在智能手机上的普及率还很低，目前活体人脸检测技术主要依赖一系列软件算法，包括基于动作交互的识别模型，以及基于图像分析的识别模型等。

蚂蚁金服在人脸识别和活体检测两方面都在同步推进，也同时在研发如眼纹识别和声纹识别等用于增强人脸识别的多因子生物特征识别技术。此外还基于大数据分析技术研发基于用户行为和不同场景的智能识别模型，从而形成一整套完备的身份识别解决方案

您能介绍下支付宝刷脸支付服务的人脸识别请求并发量峰值能达到多大？单日请求数能到什么数量级？蚂蚁金服又是使用什么样的技术架构做业务支撑的呢？

金融级人脸识别的技术要求和难点，我们总结以下几点：

1. 高安全性：人脸活体检测技术（防止照片伪造、视频、面具以及专业软件工具等攻击）

2. 高准确率：极低误识率下（<0.001%）的高识别通过率（90%以上）

3. 高可用性：海量并发人脸比对服务（tps=>1000）

4. 高实时性：人脸比对结果实时返回（响应时间<100ms）

支付宝的人脸识别，除了达到金融级的准确度和安全级别外，还需要极高的稳定性、可靠性和极低的实时响应。我们基于蚂蚁金融云的基础架构，实现了高可用、动态扩展的服务框架体系，来保证刷脸服务能够满足双十一、新春红包等高并发峰值要求。

蚂蚁金服是如何做数据回流的可以跟我们介绍一下吗？

数据回流确实是改进算法识别精度以及提高产品用户体验的有效手段，我们在严格遵守蚂蚁金服数据安全和隐私保护等相关规范的前提下，通过记录用户刷脸过程中的一些关键参数信息（如光照、距离、角度、时长等）来验证和分析人脸识别在各种真实环境下的鲁棒性，再基于这种实际场景下的分析结果进一步对算法和产品进行针对性改进，做到完全数据驱动的产品开发和优化闭环。

人脸识别的难点所在

能否介绍一下蚂蚁金服的人脸识别底库数据量级，单次从人脸检测到返回比对结果的耗时，以及人脸识别的准确率？准确率的适用范围？准确率是只针对汉族而言，还是所有种族（少数民族、白人、黑人）？在不同种族的人脸识别范畴，是否有什么难点？如何解决？

蚂蚁金服刷脸服务目前只针对中国大陆公民的支付宝实名用户。截止到目前，支付宝全部4.5亿实名用户中已经有三分之一使用过刷脸服务登录账户，实名认证，找回密码，或者在高风险交易中进行身份验证。人脸识别全流程（以刷脸登录为例）的通过率在95%以上（其中没通过的用户中还包括很大比例的主动退出）。不同种族的人脸具有更大的多样性，会给人脸识别系统的准确性带来挑战，但是目前基于深度学习的识别模型已具备处理海量数据的可能，如果能不断对不同种族的人脸数据持续训练和学习，这一问题也能很好的解决。

您能分别谈一谈人脸检测、活体检测、图像脱敏、人脸比对这几个方面当下的发展和难点么？对于配戴眼镜、口罩、面具，或者手持照片、视频刷脸的行为，如何处理？

人脸检测：人脸检测算法是目前最成熟的人脸识别技术分支，准确性和轻量化都已满足商用，除了能作为后台服务使用，也广泛应用在智能手机、数码相机等前端设备上。目前的挑战是低光照环境以及大角度侧脸条件下的人脸检测。

活体检测：活体检测技术在过去几年也有很大发展，已经能解决绝大部分照片和视频攻击，但活体攻击手段也在不断演进，特别是各种人脸相关建模软件合成或变换的人脸越来越逼真。人脸活体检测技术将是持续攻防和不断改进的过程。

图像脱敏：图像脱敏会带来信息损失，与提高人脸识别精度形成矛盾，蚂蚁金服研发了一套独特的单向变换脱敏技术，能够比较好的解决这个问题。目前学术上这方面的成果不多。

人脸比对：目前机器的识别能力已经超过人眼，但是低光照、夸张表情、重度化妆和整容、年龄老化、双胞胎仍然是人脸比对需要持续解决的问题，随着数据的不断累积和训练，性能也在不断提升。

挑战

您能谈谈目前人脸识别领域面临的最大挑战是什么吗？能否从人脸识别的算法和工程两个角度聊一聊各自的挑战？

算法方面仍然要不断提高人脸识别和活体检测的准确性，识别的难题上面已经提及，活体检测需要防范不断演进和出现的新型攻击方式。

工程方面的挑战主要在用户体验和系统的稳定性及可靠性，不断降低用户的使用门槛的同时保证极致的刷脸体验，涉及交互文案、设备兼容、算法加速、参数自适应等多方面。由于人脸识别核心是图像特征提取及比对，这是CPU密集型的计算应用，面对支付宝上亿用户的身份验证需求，特别是在双十一、新春红包等高并发峰值的情况下如何保证刷脸服务的性能和高可用性是系统方面的挑战。

蚂蚁金服人脸识别产品从2015年7月正式上线，在此之前做的都是小规模的测试，进行快速产品优化和迭代。我们发现，真实场景是十分复杂的，用户会在室内和室外，白天和晚上各种光线，不同角度和姿势下使用刷脸，有的是躺在床上刷脸，有的甚至在敷面膜的时候刷脸，如何解决各种复杂真实环境中的刷脸体验，尤其是用户达到亿级规模的时候，保证普通用户能够便捷的通过是很大的挑战。这不单单是算法问题，更是涉及从产品、交互、用户体验、环境参数适配，安全策略，高并发系统架构等一系列问题，这是一个系统工程。经过一年多的产品优化，现在能保证在各种复杂的环境下仍有不错的刷脸体验和安全性。

未来目标

您可以聊一下人脸识别在刷脸支付之外，未来还可能应用在哪些地方吗？

身份验证已经变成了互联网金融的基础设施，甚至是整个互联网+的基础设施。基于人脸识别的身份验证方式可以在数字世界中更好的证明“你是你”，提升便捷性和安全性。另外信用体系是整个社会的基础服务，而身份识别和身份验证又是信用体系的基础，所有的信贷类服务的核心基础就是要知道个人的信用等级，当然其前提还是要证明“你是你”，否则评价出来的信用等级也有可能变成别人的了。除了信用和金融的应用，安全领域也是人脸识别的重要应用，全国多个城市火车站上线了人脸识别验票、北京机场刷脸出关。

蚂蚁金服未来几年在人脸识别领域希望达到的阶段和目标可以介绍一下吗？

首先在技术上不断保持世界领先地位，驱动各个业务场景更深层次的应用，形成AI驱动、数据驱动的良性循环，同时不仅仅应用在中国，也随着蚂蚁金服国际化的推进，将人脸识别技术应用到全球，为世界上更多的用户提供既安全又便利的刷脸产品和服务。

您怎么看待整个人脸识别行业未来几年的发展？

人脸识别行业目前整体上还只是起步阶段，如前面讲的，要应用到各行各业和各个用户群体，还有很长的路要走，不管是国际还是国内，还没针对人脸识别的行业标准，目前的人脸识别相关产品使用上还具备一定门槛，没有达到普适性的程度。但是随着技术的持续投入，产业环境的不断成熟，以及相关标准不断出台，相信未来几年会迎来人脸识别行业应用真正的爆发期。

寄语

对于想转行人脸识别的新人，您有什么建议？是否门槛太高，很难切入？

人脸识别是一个系统工程，除了算法本身，产品、交互、工程都需要深入研究和探索，从算法到线上服务再到用户体验，从实验室性能到实际场景系统性能，仍然有很多挑战性问题需要解决，在各个环节都有很多可以切入的点，重要的在于是否真正解决了用户的问题。