新浪科技讯3月28日午间消息，钉钉助理迎来升级，上线图片理解、文档速读、工作流等产品能力，探索多模态、长文本与RPA技术在AI应用的落地。

基于阿里通义千问大模型，升级后的钉钉AI助理拥有更强的视觉推理能力和长文本速读能力。目前，用户在钉钉IM消息框或点击魔法棒按钮进入AI助理对话框，发送长文件、在线文档、网页链接、视频内容，即可根据内容识人、识地点、分析、答题、翻译、摘要、提取文字，甚至可以通过多轮交互进一步做智能问答。

图片理解

基于通义千问Qwen-VL-Max视觉理解模型，钉钉AI助理能够准确描述和识别图片信息，并根据图片进行信息推理、扩展创作、文字提取、翻译等。举例来说，当你给AI助理发送一张风景图片，它可以识别出图片中的山峰、河流和天空，并生成一段描述性的文字。

视频速读

AI助理也支持视频内容的速读。发送给AI助理的短视频、直播切片或培训视频可以被快速观看，AI助理会根据视频内容生成字幕，提取关键词，并生成一份智能摘要。对于最高2GB的视频内容，仅需3分钟即可完成智能解读。这对于需要快速了解长视频内容的用户非常有用，可以节省大量的时间。

文档速读

基于通义千问大模型，钉钉AI助理可以快速阅读本地文件如、PDF、PPT、等、钉钉文档、网页链接等多种格式文件。值得一提的是，钉钉AI助理对长文本的处理能力已支持单次阅读500页的文件，可以为法律、医学、金融等专业领域提供信息服务。这对于需要阅读大量长文本的用户来说非常方便。

工作流

为让AI助理可以完成一系列更复杂的任务，钉钉AI助理上线了工作流能力。工作流是一种自动化流程，它可以将多个任务连接起来，并自动执行它们。通过使用工作流，用户可以创建更复杂的AI助理，以便它们可以执行一系列的任务，例如自动写脚本并生成视频。

为降低用户的使用门槛，钉钉官方还提供了多种工作流模板。这些模板可以帮助用户快速创建自己的工作流，而无需编写任何代码。举例来说，用户可以使用“自动生成视频”工作流模板，快速创建一个AI助理，该助理可以自动将文字脚本转换为视频。

结论

钉钉AI助理的升级是多模态技术在AI应用落地上的一个重要里程碑。通过将图片理解、文档速读、工作流等能力相结合，钉钉AI助理可以帮助用户提高工作效率，并完成更复杂的任务。随着多模态技术的不断发展，我们期待钉钉AI助理能够带来更多的惊喜，为我们创造一个更加智能的工作环境。

通义千问是什么

通义千问是什么介绍如下：

通义千问，是阿里云推出的一个超大规模的语言模型，功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。能够跟人类进行多轮的交互，也融入了多模态的知识理解，且有文案创作能力，能够续写小说，编写邮件等。

2023年4月7日，“通义千问”开始邀请测试 ，4月11日，“通义千问”在2023阿里云峰会上揭晓。

发展历程：

2023年4月7日，“通义千问”开始邀请测试。

2023年4月11日，阿里巴巴集团董事会主席兼CEO、阿里云智能集团CEO张勇在云峰会上表示，阿里巴巴所有产品未来将接入“通义千问”大模型，进行全面改造，包括天猫、钉钉、高德地图、淘宝、优酷、盒马等。

2023年4月，阿里巴巴达摩院（杭州）科技有限公司申请注册“通义千问”商标，国际分类为网站服务，当前商标状态为申请中。

主要功能：

现阶段该模型主要定向邀请企业用户进行体验测试，用户可通过官网申请，符合条件的用户可参与体验。

百度文心一言宣布向全社会开放，同时还有全新重构的 AI 原生应用，哪些信息值得关注? 实际使用体验

关于网络文心一言向全社会开放以及全新重构的AI原生应用，有几个值得关注的信息：

1. 网络文心一言开放：网络文心一言是网络开发的语义理解模型，通过对用户输入进行理解和自动生成文本响应。这个开放意味着网络将允许广大用户和开发者使用文心一言的功能，从而将语义理解技术应用于更多场景中。

2. 全新重构的AI原生应用：这意味着网络已经对其AI应用进行了全面的改进和升级，以提升用户体验和功能性能。具体来说，应用程序可能会经历界面设计、功能扩展、性能优化等方面的改进，以更好地满足用户需求。

我说说实际使用的一些体验：

识图回答

刚打开文心一言，第一个吸引到我的功能就是聊天栏上有一个上传图片的图标，我立刻选择了一张照片上传。之后就会弹出一些功能提示，包括：看图写诗、V50文案、朋友圈配文助手等等。我选了个配文助手，风格输入了轻松幽默。

好家伙，这一通浮夸的文案把我给震惊了，这配文简直是放飞自我了。不敢想象如果我把这篇文案发送到朋友圈，身边的人该怎么看我，吓得我只好告诉它请保持：高冷、简洁、少字。它也读懂了我的难为情，回了我八个字：享受美食、感受美好。妙哉妙哉！

发现：更多内置回答模板

移动端的发现功能应该说是文心一言最大的亮点，可以说是把AI使用的门槛降低了很多。之前我把用接口搭建好的网站分享给朋友，最大的问题就是别人不知道能问些什么，该怎么问，而文心一言就很好的解决了这个问题，把很多模型的能力场景化了。

从模态能力来看的话，主要包括文生文、文生图和图生文三种。先来一个小红书探店文案试试效果。

这个结果整体还是比较惊喜的，可以看得出来文心一言在Prompt工程上还是下了功夫的。基本满足了小红书探店文案的基本要素：格式、表情、标签，对关键词提取分析的能力还算可以。不过同时也尝试了下用这个Prompt去写其他类型的小红书文案，比如野餐，出来的效果就是完全没有效果。说明这个Prompt是专门针对探店这个场景优化过的，不具备能力的迁移。整体来讲Prompt的质量还不错，AI回答能力还算可以。

AI绘画

接下来测试一下AI绘画的能力，先来两个之前被吐槽过很久的绘画词语：车水马龙和红烧狮子头。之前据说画出来是car、water、horse、dragon，以及真正的狮子头，看看现在能力长进了没有。

令人惊讶的是，居然两个都画对了，不知道是翻译功能升级了还是绘画能力升级了，还是说针对性优化了，总之现在的槽点是少了很多（怎么感觉乐趣也少了哈哈）。

从绘画的理解能力和绘图出来的效果，应该说能打个及格分了现在，也不会期望它能画的多好，如果有什么文章需要配图的话，用这个来画也算是一个简单易上手的选择。但是，值得吐槽的是，每一张画作的右下角都会标注：AI作画，这个用起来有点难受，还得要自己P掉。

另外画作是不支持通过连续对话进行调整的，只能输入完整描述进行重新绘画。

代码能力

最后再来对比下文心一言的代码能力，这个属于是AI能力的重要体现，也是能作为生产力的重要一部分。

这里提了一个编写合并Excel文件的python代码需求，文心一言整体写得还算比较简洁优雅，回答质量和ChatGPT并没有太大的差距，属于还算是可以用的水平。（这里就不和GPT4进行比较了，肯定还是有些差距的）

总结

在我打算写这篇文章之前，我看过了很多关于文心一言使用的文章，其中不乏很多啼笑皆非的故事。本以为使用下来，应该会有满满的槽点，但是并没有。文心一言的能力固然和国外的大模型还存在着一些差距，但是这个移动端的App整体来讲做得还是比较有诚意的，整体使用非常顺滑，回答非常快速，拥有足够多高质量的Prompt模板，在问答之间会有很多贴心的提示，整体都带来了不错的体验。