自 2017 年推出以来，转换器 (Transformers) 已成为机器学习领域的一支突出力量，彻底改变了专业翻译和自动完成服务的能力。最近，随着 OpenAI 公司的 ChatGPT 和 Meta 公司的 LLaMA 等大型语言模型的出现，转换器的受欢迎程度飙升。

什么是转换器？

转换器是一种神经网络架构，非常适合处理序列作为输入的任务。在这种情况下，序列最常见的例子可能是一个句子，我们可以将其视为一组有序的单词。这些模型的目的是为序列中的每个元素创建一个数字化表示，用于封装关于元素及其相邻上下文的基本信息。

可以将得到的数字表示传递给下游网络，下游网络可以利用这些信息来执行各种任务，包括生成和分类。通过创建这样丰富的表示，这些模型使下游网络能够更好地理解输入序列中的潜在模式和关系，这增强了它们生成连贯和上下文相关输出的能力。

转换器的关键优势在于它们能够处理序列中的很长范围的依赖关系，并且效率很高；能够并行处理序列。这对于机器翻译、情感分析和文本生成等任务特别有用。

输入转换器

要将输入馈送到转换器中，我们必须首先将其转换为标记序列——表示我们输入的一组整数。由于转换器最初应用于自然语言处理领域，所以让我们首先考虑这个场景。

将一个句子转换为一系列标记的最简单方法是定义一个词汇表，该词汇表充当查找表，将单词映射为整数；我们可以保留一个特定的数字来表示这个词汇表中不包含的任何单词，这样我们就可以总是分配一个整数值。在实践中，这是一种过于简单的文本编码方式，因为 cat 和 cats 等词会被视为完全不同的标记，尽管它们是对同一动物的单数和复数描述！

为了克服这一点，人们设计了不同的标记化策略，如字节对编码，在对单词进行索引之前，将其分解成更小的块。添加特殊的标记来表示句子的开头和结尾等特征，为模型提供额外的上下文，这通常很有用。

让我们考虑下面的例子，以更好地理解标记化过程。

这里，Drosval 是使用以下提示生成的名称： Can you create a fictional place name that sounds like it could belong to David Gemmell's Drenai universe? ；这是故意选择的，因为它不应该出现在任何训练过的机器模型的词汇表中。

借助转换器库中的 bert-base-uncased 分词器，将上面的语句转换为以下标记序列： [CLS] hell there , is n't the weather nice today in drosval ? [SEP]

表示每个单词的整数将根据特定的模型训练和标记化策略而有所不同。例如，对于 bert-base-uncased 模型，映射如下：

转换器的内部工作原理

转换器由两个主要组件组成：编码器和解码器。编码器负责将输入序列转换为一组矢量，称为键值对。键矢量用于查询解码器，而值矢量包含有关序列中元素的信息。

解码器使用键值对来生成输出序列。解码器中的每个元素都会查询编码器中的所有键，并使用结果值矢量来生成输出元素。这种架构允许解码器访问输入序列中的所有元素，这对于捕捉序列中的长期依赖关系非常重要。

转换器还利用了一种称为自注意力机制的技术。自注意力机制允许模型关注序列中的特定元素，并了解它们与序列中其他元素的关系。这对于理解文本中的重要概念和识别句中的语法结构非常重要。

转换器的优势

转换器具有许多优势，使其成为各种机器学习任务的有力工具。这些优势包括：

• 长范围依赖关系建模：转换器能够处理输入序列中的很长范围的依赖关系。这对于理解文本中的复杂关系和识别句中的语法结构非常重要。
• 并行处理：转换器可以并行处理序列中的元素。这使得它们比串行处理模型更有效率，特别是在处理大型数据集时。
• 自注意力：自注意力机制允许转换器专注于序列中的特定元素，并了解它们与序列中其他元素的关系。这对于理解文本中的重要概念和识别句中的语法结构非常重要。

转换器的应用

转换器已被用于广泛的机器学习任务，包括：

• 机器翻译：转换器是目前最先进的机器翻译模型。它们能够生成高质量的翻译，忠实于原始文本的含义。
• 文本摘要：转换器可以用来总结大段文本。它们能够识别文本中的重要信息，并生成一个简洁且信息丰富的摘要。
• 问答：转换器可以用来回答有关文本的问题。它们能够理解文本中的上下文，并生成与问题相关的答案。
• 聊天机器人：转换器可以用来构建聊天机器人。它们能够理解人类语言，并生成自然而连贯的响应。

结论

转换器是机器学习领域的革命性工具。它们能够处理输入序列中的很长范围的依赖关系，并利用自注意力机制来理解序列中元素之间的关系。这些优势使转换器成为各种机器学习任务的有力工具，包括机器翻译、文本摘要、问答和聊天机器人。

深度学习是学习人工智能吗？

简单来说，机器学习是实现人工智能的方法，深度学习是实现机器学习的技术。机器学习在实现人工智能时中需要人工辅助（半自动），而深度学习使该过程完全自动化

三者关系：

举个例子：通过机器学习算法来识别水果是橘子还是苹果，需要人工输入水果的特征数据，生成一定的算法模型，进而可以准确预测具有这些特征的水果的类型，而深度学习则能自动的去发现特征进而判断。

入门计算机人工智能要看哪些书？

一、哥德尔、埃舍尔、巴赫——集异璧之大成

人工智能领域中的奇书，也是影响极其深远的著作。哥德尔是大数学家，埃舍尔是荷兰著名的版画家，以绘制各种“不可能”的画著称，巴赫却是大名鼎鼎的音乐家。将这三者深刻地联系到一起的是那条”永恒的金带“，也就是那个横亘于宗教、科学、人文、艺术之上的怪圈，那个让人费解的不可能语句，然而作者却指出正是这种怪圈才是生命与智能的基础，也正是这个怪圈才是实现人工智能的根本。

该书不仅对哲学与计算机科学产生了极大的影响，以至于著名深度学习软件TensorFlow的Logo都在模仿此书的封面，它更是对所谓的”后现代艺术“产生了极大的冲击。无论是”盗梦空间“还是”前目的地“，你都能看到此书的影子。更有趣的是，这本介绍人工智能思想的1000多页巨著却由于其高超的语言技巧而获得了”普利策文学奖“。

二、终极算法

当今人工智能革命背后的驱动技术正是机器学习，而要想理解什么是机器学习，以及它将怎样影响我们未来社会，就需要读一读《终极算法》这本书。

当我们用手机输入汉字的时候，机器学习能动态联想出你最常用的词组；当我们打开微信扫描二维码的时候，机器学习程序正在帮助你快速地定位和识别；当你用美颜相机拍照的时候，机器学习帮助你优化照片；当你用淘宝购物的时候，机器学习在给你推荐商品。

我们已经生活在一个由算法掌控的世界中，这些机器学习程序能够聪明地适应我们人类的需要而发生改变，以至于它可以比人做得更好，比你更了解你自己。在《终级算法》中，全球著名的算法问题专家、机器学习领域的先驱人物佩德罗·多明戈斯，为我们揭开了算法的神秘面纱，让我们一窥谷歌以及你的智能手机背后的机器学习原理。他阐释了机器学习的五大学派思想，解释了它们如何将神经科学、心理学、物理等领域的理论转变为算法并为你服务，并提出了“终级算法”的设想，探讨了终级算法对未来商业、科学、社会以及对每个人的意义。对于想要理解未来将发生怎样的变革、以及想走在变革前沿的人来说，这是一本必不可少的思想指南。

三、人工智能时代

随着Alphago以4:1的大比分最终战胜人类，人类迎来了人工智能时代。我们很快就会与各式各样的智能机器共存。当机器人霸占了你的工作，你该怎么办？机器人犯罪，谁才该负责？人工智能时代，人类价值如何重新定义？

在《人工智能时代》一书中，智能时代领军人物、硅谷连续创业者杰瑞卡普兰指出：智能时代的到来，给人类社会带来了两大灾难性冲击：持续性失业与不断加剧的贫富差距。机器正在很大程度上替代人类的工作，不管你是蓝领还是白领。而针对未来社会将要发生的这些问题，卡普兰在《人工智能时代》一书中从企业、税收和保险等机制上构建起了一个有益的经济生态，让社会中的每一个人都能从技术发展中获益。《人工智能时代》一书提出的建议和解决方案给遭遇挑战的人们更多抚慰和安全感！

四、走近2050——注意力、互联网与人工智能

我们将不得不面对这样的现实：我们的工作岗位将会越来越多地被机器所替代，那么这些丢掉工作的人们究竟能干什么？《走近2050》这本书给出了非常有意思的答案——这些人只需要做一件事，就是给机器付出大量的注意力——因为注意力恰恰是机器不断进化的最终动力。

未来的世界就像一款庞大的游戏，所有的人类活动将无法被去分成生产和消费，玩——持续不断地付出注意力的过程成为了终极的主题。大量的人工智能程序将会被设计出来以巧妙地引导和利用人类的注意力资源，从而使得每个人都开开心心地付出注意力，与此同时又推动了机器的进化。集智俱乐部的探索者们将引领读者走入注意力的世界，那里是互联网的引擎，那里是人工智能的发展方向。

五、奇点临近

奇点临近恐怕是关于未来人工智能最大胆奔放的预言。摩尔定律是计算机发展的一条规律，每隔十八个月计算机的各种性能就会翻倍。将摩尔定律外推，我们就会遇到奇点，即计算机运算能力最终超过人类的那个时间点。该书的作者库兹维尔引用大量的实例和数据佐证这样一种观察，并给出了骇人听闻的预言：机器终将超越人类。那么，奇点是否存在？机器是否可以超过人类？未来的人类将去向何方？所有这些问题都能在书中找到解读。

六、情感机器

在电影《机械姬》中，故事的主人公最终爱上了由机器虚拟出来的角色。那么，现实世界中的机器人和人工智能是否会有情感呢？未来的人类是否真的会同机器双双坠入爱河？人工智能之父，MIT人工智能实验室联合创始人马文明斯基带领读者进入到了情感机器的世界。

他论证到，情感、直觉和情绪并不是与众不同的东西，而只是一种人类特有的思维方式。也同时揭示了为什么人类思维有时需要理性推理,而有时又会转向情感的奥秘。通过对人类思维方式建模,他为我们剖析了人类思维的本质，为大众提供了一幅创建能理解、会思考、具备人类意识、常识性思考能力，乃至自我观念的情感机器的路线图。

七、图灵的大教堂——当人工智能之父与计算机之父相遇

图灵的大教堂忠实地记录了那段激动人心的历史。我们会看到人工智能的思想萌芽是如何在那个名不见经传的小人物头脑中孕育而生，我们也将领略天才人物冯诺依曼是如何在谈笑风生中便设计出了最早的计算机体系结构的。

在《图灵的大教堂》一书中，作者乔治·戴森着重介绍了一小群人，他们使用5千字节的内存（相当于现代计算机桌面上显示的光标所分配的内存大小），在天气预测和核武器设计方面，都获得了前所未有的成功。同时，他们还利用空闲时间解决各种问题——从病毒的进化到恒星的演变。戴森教授的叙述既具有历史意义，又富于预见性，为第二次世界大战后期数字宇宙的爆炸提供了新的且重要的信息。代码和计算机的兴起伴随着两大历史性的发展：生物学自我复制序列的破译和氢弹的发明。很具破坏性和很具建设性的人类发明同时出现并不是巧合。

八、复杂——诞生于混沌与秩序边缘的科学

尽管现在的人工智能已经取得了突飞猛进的发展，但它仍然是一种严重依赖于经验和试错的工程技术，而不是科学——因为我们尚不知道如何根据第一性原理推导出人工智能。那么，如果你想知道设计智能系统背后的困境是什么，就来读读《复杂》这本书吧。

这是一部传记体的科普读物，记述了圣塔菲研究所——一座位于阿拉莫斯荒漠之上的学术胜地——的成长故事。复杂是横亘于生物、互联网、计算机、社会、经济各类系统之中的共有规律，也是我们打开生命之门，理解人工智能第一性原理的根本所在。我们将读到科学家是如何用简单的方程创造出古老的微型生物体，我们也将看到数十行代码是如何给虚拟的飞虫赋予生命。复杂既是横亘于我们人类和现实世界之中的隐形屏障，又是通向神秘的人工智能之门的必经之路。

九、心智社会——从细胞到人工智能，人类思维的优雅解读

我们应该如何创造智能？人工智能之父马文明斯基提出了自己的观点，我们应该在机器人的头脑中创造一个社会，一个心智的社会。这是一种基于整体论的思想，即我们的大脑是成千上万不具备思维的小机器拼合而成的整体，正是这个整体才展现出了情感、思维、喜好、意识等高级智能现象。“没有心智社会就没有智能。智慧从愚笨中来。”

十、科学的极致——漫谈人工智能

这是一本爱智求真小伙伴们的集体智慧结晶。让我们忘掉大段大段的公式和调试不完的程序，从人类灵魂的最深处探索人工智能吧。我们究竟如何定义智能？意识和智能是什么关系？哥德尔定理是否早已经限制住了人工智能的可能？简单代码究竟如何创造复杂的生命和智慧行为？人工智能如何预报天气？我们怎样才能创建一个虚拟星球？

从人工智能的历史，到小虫自动机模型，再到令人烧脑的哥德尔定理，书中没有华丽的辞藻和学术权威的架子，但却在字里行间渗透出那股热爱科学、乐于探索的赤子之心。正是这种骨子里的探索精神打动了杨澜姐姐，她在自己的人工智能读物清单中首推了这本书；也正是这本书打动了无数读者，使得它一版再版，并远销海峡的对岸。