人工智能的秘密运作：揭开大语言模型内部的复杂性 介绍 人工智能（AI）的能力不断提升，引发了人们对这些系统内部运作方式的疑问。大语言模型（LLM），如 GPT 和其他基于生成式预训练转换器的模型，以超越训练范围的能力震惊了研究人员，并促使人们探索它们如何获得知识和构建对现实世界的表征。 AI 的鹦鹉学舌本质 布朗大学的研究员埃莉·帕夫利克认为，如果不了解 AI 的运作方式，就无法优化和确保这些系统。LLM 被描述为“随机鹦鹉”，因为它们通过自动更正算法从互联网文本中学习，并以统计方式预测最可能的单词序列生成内容。 涌现能力 LLM 表现出了超出鹦鹉学舌的涌现能力。它们能够执行未经训练的任务，甚至通过执行运算获得答案。圣菲研究所的梅拉妮·米切尔认为，尽管我们无法完全理解它们的工作原理，但 LLM 确实构建了对现实世界的内部表征。 临时记忆 哥伦比亚大学的拉斐尔·米利埃展示了 LLM 执行代码的能力，这表明它们可以利用解释单词的能力临时创建类似于记忆的东西。这种重新利用现有能力的行为类似于生物系统如何实现新功能。 LLM 内部表征 蒙特利尔大学的约书亚·本希奥认为，LLM 构建的内部表征可能与人类大脑构建世界模型的方式不同。LLM 的表征更多地基于统计模式，而人类的表征则结合了感知、推理和经验。 解码 LLM 的秘密 了解 LLM 的内部运作对于优化、确保和开发这些技术至关重要。研究人员正在尝试通过各种方法来揭开 LLM 的秘密，包括理论分析、实验研究和神经可视化技术。 LLM 的局限性 尽管 LLM 的能力令人印象深刻，但它们仍然存在局限性。它们可能产生不真实或有偏见的信息，并且缺乏人类般的常识和推理能力。了解这些局限性对于负责任地开发和部署 LLM 至关重要。 未来方向 AI 领域的研究仍在进行中，研究人员正在探索LLM 的新能力和表征。未来研究将集中于理解 LLM 如何学习、泛化和构建对世界的表征。 结论 AI 系统，尤其是 LLM，正在以前所未有的方式改变我们与技术和信息互动的方式。了解这些系统内部的复杂性对于塑造其发展、确保其使用并最大化其对社会的潜在好处至关重要。通过继续研究和探索，我们将逐步揭开 AI 的秘密，并释放其彻底变革我们世界的全部潜力。

---

大数据、人工智能等新技术带来了哪些问题?应该如何应对?

大数据、人工智能等新技术带来了很多问题，例如数据隐私和安全、算法歧视、算法失灵、数据孤岛等。为了应对这些问题，我们可以采取以下措施：

人工智能与工业互联网关系解析

1.1 核心焦点从上云互通转向借助人工智能深挖工业大数据价值 工业互联网的建设促进了企业IT系统的云化迁移，实现了ICT系统与OT系统间要素的流转，打通了数据孤岛，企业得以获取灵活便捷、高效率、低成本的信息化、网络化、数字化基础，但要想实现真正的数字化和智能化则必须借助人工智能技术对工业数据价值进行充分挖掘。 数据是工业互联网的核心资产，也是其价值创造的来源，对数据分析和挖掘的深度在很大程度上决定了工业互联网实际应用价值的高低。 目前对数据挖掘价值依赖程度高的生产管控类及设备管理服务类应用是我国工业互联网的高热度场景，结合深度数据分析的设备 健康 管理、生产质量管理、生产工艺优化、能耗与排放管理等应用为工业企业创造了运维成本及能耗成本降低、产品质量及服务价值提升等显著的直接优化价值。 1.2 人工智能是工业互联网实现真正数智化价值的前提工业互联网之于工业企业而言，是企业实现数字化、网络化、智能化转型的工具，其中平台层搭建了工业数据汇聚与处理的基础，工业软件的应用本质上实现数字化和自动化，强调机器设备的自动化功能，工业互联网的互联工具应用则是强调 企业内外部的打通与协同，是工业角度的互联网+模式，人工智能的加入是在数字化、网络化的基础上实现真正的智能化。 工业互联网为工业企业提供通用的算力-工业云计算和边缘计算、算据-工业大数据以及算法-工业人工智能，其中大数据作为人工智能技术发挥作用的必要燃料，其背后价值的挖掘深度决定了工业互联网价值呈现的合理逻辑是从网络化、数字化转而最终实现智能化，这也正是工业企业实现降本增效、升级优化的必经之路。 二、人工智能成为重新定义工业互联网产品逻辑的抓手 强化数据洞察力，拓宽工业互联网可解问题边界 工业互联网的核心是数据驱动的智能分析与决策优化，人工智能技术从广义上来看正是一种通过算法模型对数据的处理方式，人工智能技术因此开始进入工业互联网产品建设方的视野，成为服务商拉高产品价值的落脚点。 以深度学习和知识图谱的为代表的人工智能技术从根本上提高系统建模和处理复杂性、不确定性、常识性等问题的能力，显著提升了工业大数据分析能力与效率，为解决工业各领域诊断、预测与优化问题提供得力工具，进一步扩大了工业互联网平台可解工业问题边界的深度和广度。 人工智能驱动的工业数据智能分析支撑工业互联网实现数据价值深挖掘，强化了工业企业的数据洞察能力，成为打通智能制造最后一公里的关键环节。 使能工业互联网形成数据优化闭环，催生多场景系统化应用 工业领域内存在着纷繁复杂的应用场景，产品研发设计、产品瑕疵质检、生产工艺优化、流程自动化等许多场景的工业机理复杂、数据分析能力需求较高，人工智能因此被视为是使能工业互联网形成数据优化闭环的关键。 目前以深度学习、知识图谱、自然语言处理为代表的人工智能技术正处于多方创新和突破的时期，通过与工业领域知识融合的不断加深，AI技术正逐渐加速向工业互联网渗透，在工业企业“研产供销管”业务链条下形成众多落地应用。 从工业AI技术角度来看，主要有声音、图像、知识图谱和自然语言方向的应用，声音和图像多用于质量检测与安全监管两个领域，是目前应用较多，经济效益较为明显的场景；自然语言处理更多用在智能助手，这里有别于智能客服，智能助手更加垂直和专业，如设备维修助手；知识图谱则擅长处理大规模、复杂、多点的问题，典型应用是产品质量回溯。 以解决通用型问题为能力基础，面向特定行业差异化延伸 工业智能的本质是通用人工智能技术与工业场景、机理、知识结合，实现设计模式创新、生产智能决策、资源优化配置等创新应用。 工业智能在工业系统各层级各环节已形成了相对广泛的应用，其细分应用场景可达到数十种，正如前文所述工业领域不同细分行业对工业互联网类型与功能的需求各不相同，工业智能亦是如此。 不同行业依托工业智能，获取解决通用型问题的能力的同时，基于行业特点、面向行业特性痛点问题延伸出差异化方向。 五、人工智能在工业互联网中的部署 应用部署将从以平台侧为主向平台+边缘共生演进 当前人工智能主要通过三种模式融入工业互联网。 第一，直接将AI算法或模型嵌入工业互联网平台层，以提升平台层数据分析能力；第二，提供工业AI软件系统，并通过云端部署形成标准化的工业互联网SaaS层应用；第三，提供一套工业互联网框架下包含软件和边缘侧硬件的完整系统。 部署过程中会根据行业类别、产品相似度、场景条件、问题共性等因素对不同AI模型进行组合，对同一个行业来说，针对同一个环节将模型尽量标准化以实现移植应用。 现阶段工业智能应用以平台侧为主，后期会向边缘侧发展，边缘侧的实时性要求需要AI模型产出的结论与产线或者设备形成控制闭环，艾瑞认为目前我国工业企业自动化程度不一，现场数据质量不高，并且企业对于人工智能的应用较为保守，时下落地较多的应用无论是安全监管还是质量检测都主要集中于平台侧，边缘侧工业智能的下一阶段发展需要配套基础设施和能力的共建。 六、基于AI的工业互联网参与者拓展思路 技术为先，场景为王，合作共赢 随着《互联网+人工智能三年行动实施方案》、《新一代人工智能发展规划》、《促进新一代人工智能产业发展三年行动计划》等多份国家政策文件的发布，开展人工智能与工业结合应用成为了重要发展趋势。 工业领域每个下游行业场景都有 其原生的价值链条，同时各个行业的Know – how有着较高的壁垒，人工智能服务商在开展工业领域业务时，大多基于自身技术优势和特点去寻找适合实景落地的垂直细分行业或者某一共通性工业场景，在特定场景应用中持续打磨自身工业智能产品和服务。 “聚焦”被大多数AI厂商视为优先的发展策略，通过与成熟的工业互联网平台型企业开展合作，以融入而非自主开发的方式获取平台能力，不仅极大地减少了自研开发的成本和风险，而且为迭代、优化、创新自身工业智能解决方案提供了丰富的资源储备。 数据、算法、算力的不足制约了AI在工业领域的普及应用 人工智能技术本身的发展离不开数据的支撑，工业领域由于自身复杂、多样且专业性强的行业特性，导致其缺乏优秀的工业主题AI数据模型，也没有很好的工业标注数据集用于AI算法训练。 此外包括底层硬件、计算框架、开发平台等AI基础设施在工业领域的建设也较为落后，这直接限制了工业智能化的发展。 数据、算法和算力的短板导致了当前AI技术在工业领域的应用场景主要呈现点状分布，普及范围有限。 人工智能在工业领域应用的市场前景广阔 2020年，中国人工智能市场主要客户来自政府城市治理和运营（公安、交警、司法、城市运营、政务、交运管理、国土资源、监所、环保等），互联网与金融行业也位居前列，然而作为国民经济支柱产业的工业在人工智能市场份额中仅占到5%。 随着人工智能与工业互联网共同被纳入新型基础设施建设范畴，行业双双提速发展的态势基本确定，加之工业领域多样化的场景需求，预计未来五年，中国工业领域中人工智能技术的使用率将显著提高，工业智能的应用市场前景将十分广阔。 人工智能将重新切割工业互联网投入空间 2020年以机器学习与深度学习、知识图谱、NLP、计算机视觉为技术主导的我国工业智能应用核心产业规模为68亿元，年均复合增长率达到27.96%，产业整体具备高成长性。 然而目前人工智能服务商多以自身独立的系统交付工业智能解决 方案，工业互联网平台服务商提供的平台AI功能也以基于开源框架的算法模型自主开发为主，平台AI功能集中于基础性的数据分析能力优化，AI技术并未在工业互联网中实现广泛化应用。 总体来看，现阶段工业智能与工业互联网的结合应用呈星点状分布，未来随着工业互联网对数据价值深度挖掘的依赖性提升，人工智能技术将加速向工业互联网融入，工业互联网建设的资金投入比例将重新洗牌。 四大工业智能布局方向助力工业互联网塑造竞争优势 工业互联网的真正价值不在于为工业企业锦上添花而应是雪中送炭，人工智能技术的注入是以系统化的方法和规则助力工业互联网解决工业实际场景中的某些痛点。 基于深度学习技术的计算机视觉在质检、巡检等场景中实现了机器代人，在提高生产效率的同时释放了企业人力成本；以知识图谱、自然语言处理为主的认知智能技术，促进了工业知识的积累，提升了企业决策速度与精度；AutoML平台的模型自动化塑造能力则提高了算法模型在实景中的适配性。 AI技术的纵向升级使得采用多种路径解决复杂工业问题成为可能，未来融合多种AI技术的工业互联网将是相关服务商打造竞争优势的重要切口。