ChatGPT 的发布掀起了大型语言模型 (LLM) 的热潮，但其技术细节一直是一个谜团。现在，一篇名为《CodeFusion: A Pre-trained Diffusion Model for CodeGeneration》的微软本文无意中泄露了 ChatGPT 的核心秘密：其参数量仅为 200 亿。

微软本文的爆料

微软的本文在比较不同代码生成模型时，将 ChatGPT 的参数量明确标为 20B（即 200 亿）。这引起了广泛关注，因为此前人们普遍认为 ChatGPT 的参数量是一个庞大的数字，毕竟其前身 GPT-3 的参数量高达 1750 亿。

本文由微软人工智能研究实验室的研究人员撰写，并发表在机器学习领域的顶级会议 EMNLP 2023 上。这一事实增强了本文中信息真实性的可信度。

参数量惊人

ChatGPT 仅有 200 亿个参数，这一消息让许多人感到惊讶，因为该模型表现出惊人的性能，能够解决各种复杂的问题。

一些专家指出，GPT-3 的参数量也并非一成不变。自首次发布以来，GPT-3 已经多次升级，每次升级都提高了其性能，同时也增加了其参数量。

猜测与分析

ChatGPT 的真实参数量仍是一个谜，微软泄露的信息引发了各种猜测和分析。

新浪微博新技术研发负责人张俊林提出了一种可能性：OpenAI 在推出 ChatGPT 时仍未完成 GPT-4 的价值观对齐，因此临时开发了 ChatGPT 以抢占先机。他推测 ChatGPT 的参数量可能在 120B 至 200B 之间。

另一种可能性是，OpenAI 已看到 Deepmind 的 ChinchillaLaw 本文，并按照该定律设计了 ChatGPT 的训练数据量和模型大小。在这种情况下，ChatGPT 的参数量可能更接近 ChinchillaLaw 所建议的 120B。

量化压缩

一些专家认为，OpenAI 可能会使用量化压缩技术来减少 ChatGPT 的参数量，而不会显著影响其性能。

量化压缩涉及将模型中的浮点参数转换为更少的比特，例如 4 位或 6 位。这种技术可以显著减少模型大小，同时保持其准确性。

结论

微软本文泄露的信息引发了关于 ChatGPT 技术细节的激烈讨论。尽管参数量仅为 200 亿，但 ChatGPT 仍然表现出令人印象深刻的性能，挑战着我们对 LLM 的理解。

ChatGPT 的真实参数量仍有待证实，但微软泄露的信息为我们提供了洞察这一突破性模型背后的秘密的重要窗口。

chatGPT怎么读？

chatGPT念“柴特鸡皮题”，GPT全称Generative Pre- -trained Transformer，是一种预训练语言模型，这种模型读的越多，也就懂的越多。Chat是聊天的意思，顾名思义，ChatGPT的核心是GPT模型，只不过加上了一个能跟人聊天的对话框。

2023年2月7日，微软宣布推出由ChatGPT支持的最新版本人工智能搜索引擎Bing（必应）和Edge浏览器。微软CEO表示，“搜索引擎迎来了新时代”。

2023年2月8日凌晨，在华盛顿雷德蒙德举行的新闻发布会上，微软宣布将OpenAI传闻已久的GPT-4模型集成到Bing及Edge浏览器中。

chatGPT的规范使用

2023年2月，媒体报道，欧盟负责内部市场的委员蒂埃里·布雷东日前就“聊天生成预训练转换器”发表评论说，这类人工智能技术可能为商业和民生带来巨大的机遇。

但同时也伴随着风险，因此欧盟正在考虑设立规章制度，以规范其使用，确保向用户提供高质量、有价值的信息和数据。

ChatGPT会取代人工吗？

ChatGPT不会完全取代人工。

首先，ChatGPT的“模式化”无法取代人类的“差异化”。 ChatGPT再“神通广大”，也只是人工智能实验室OpenAI开发的语言模型，其流畅对话的背后是大量文本数据，机器智能一旦被概念框架限定，就只能在既有框架内运行，有时难免陷入“模式化”“套路化”的窠臼。而我们人类，生而不同，正是这些“独一无二”的差异性才让人类文明得以延绵、生生不息。

其次，ChatGPT的“理性化”也无法取代人类的“感性化”。人工智能的“智能”更多是一种理性能力，而人类的智能还包括价值判断、意志情感、审美情趣等非理性内容。就像ChatGPT在回答中所说“我不具备自主意识，我的回答不包含意见或情感”。

关于与人类之间的关系ChatGPT自己给出答案：

我不会替代人类，作为一个AI程序，我可以帮助人类解决困难和提高工作效率，但我永远无法用自己的感情去了解人类，也不能靠自己的判断去思考问题。只有真正的人才能拥有这样的能力。

在那条看不见前路的黑暗隧道中，也许ChatGPT也可以是给你提供光亮、指引方向的同伴，正视它、直面它、利用它，毕竟，人工智能的前缀依然是“人工”。