解锁识人-多轮问答等能力-翻译-钉钉AI多模态升级-创作
新浪科技讯3月28日午间消息,钉钉助理迎来升级,上线图片理解、文档速读、工作流等产品能力,探索多模态、长文本与RPA技术在AI应用的落地。
基于阿里通义千问大模型,升级后的钉钉AI助理拥有更强的视觉推理能力和长文本速读能力。目前,用户在钉钉IM消息框或点击魔法棒按钮进入AI助理对话框,发送长文件、在线文档、网页链接、视频内容,即可根据内容识人、识地点、分析、答题、翻译、摘要、提取文字,甚至可以通过多轮交互进一步做智能问答。
图片理解
基于通义千问Qwen-VL-Max视觉理解模型,钉钉AI助理能够准确描述和识别图片信息,并根据图片进行信息推理、扩展创作、文字提取、翻译等。举例来说,当你给AI助理发送一张风景图片,它可以识别出图片中的山峰、河流和天空,并生成一段描述性的文字。
视频速读
AI助理也支持视频内容的速读。发送给AI助理的短视频、直播切片或培训视频可以被快速观看,AI助理会根据视频内容生成字幕,提取关键词,并生成一份智能摘要。对于最高2GB的视频内容,仅需3分钟即可完成智能解读。这对于需要快速了解长视频内容的用户非常有用,可以节省大量的时间。
文档速读
基于通义千问大模型,钉钉AI助理可以快速阅读本地文件如、PDF、PPT、等、钉钉文档、网页链接等多种格式文件。值得一提的是,钉钉AI助理对长文本的处理能力已支持单次阅读500页的文件,可以为法律、医学、金融等专业领域提供信息服务。这对于需要阅读大量长文本的用户来说非常方便。
工作流
为让AI助理可以完成一系列更复杂的任务,钉钉AI助理上线了工作流能力。工作流是一种自动化流程,它可以将多个任务连接起来,并自动执行它们。通过使用工作流,用户可以创建更复杂的AI助理,以便它们可以执行一系列的任务,例如自动写脚本并生成视频。
为降低用户的使用门槛,钉钉官方还提供了多种工作流模板。这些模板可以帮助用户快速创建自己的工作流,而无需编写任何代码。举例来说,用户可以使用“自动生成视频”工作流模板,快速创建一个AI助理,该助理可以自动将文字脚本转换为视频。
结论
钉钉AI助理的升级是多模态技术在AI应用落地上的一个重要里程碑。通过将图片理解、文档速读、工作流等能力相结合,钉钉AI助理可以帮助用户提高工作效率,并完成更复杂的任务。随着多模态技术的不断发展,我们期待钉钉AI助理能够带来更多的惊喜,为我们创造一个更加智能的工作环境。
通义千问是什么
通义千问是什么介绍如下:
通义千问,是阿里云推出的一个超大规模的语言模型,功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。能够跟人类进行多轮的交互,也融入了多模态的知识理解,且有文案创作能力,能够续写小说,编写邮件等。
2023年4月7日,“通义千问”开始邀请测试 ,4月11日,“通义千问”在2023阿里云峰会上揭晓。
发展历程:
2023年4月7日,“通义千问”开始邀请测试。
2023年4月11日,阿里巴巴集团董事会主席兼CEO、阿里云智能集团CEO张勇在云峰会上表示,阿里巴巴所有产品未来将接入“通义千问”大模型,进行全面改造,包括天猫、钉钉、高德地图、淘宝、优酷、盒马等。
2023年4月,阿里巴巴达摩院(杭州)科技有限公司申请注册“通义千问”商标,国际分类为网站服务,当前商标状态为申请中。
主要功能:
现阶段该模型主要定向邀请企业用户进行体验测试,用户可通过官网申请,符合条件的用户可参与体验。
百度文心一言宣布向全社会开放,同时还有全新重构的 AI 原生应用,哪些信息值得关注? 实际使用体验
关于网络文心一言向全社会开放以及全新重构的AI原生应用,有几个值得关注的信息:
1. 网络文心一言开放:网络文心一言是网络开发的语义理解模型,通过对用户输入进行理解和自动生成文本响应。这个开放意味着网络将允许广大用户和开发者使用文心一言的功能,从而将语义理解技术应用于更多场景中。
2. 全新重构的AI原生应用:这意味着网络已经对其AI应用进行了全面的改进和升级,以提升用户体验和功能性能。具体来说,应用程序可能会经历界面设计、功能扩展、性能优化等方面的改进,以更好地满足用户需求。
我说说实际使用的一些体验:
识图回答
刚打开文心一言,第一个吸引到我的功能就是聊天栏上有一个上传图片的图标,我立刻选择了一张照片上传。之后就会弹出一些功能提示,包括:看图写诗、V50文案、朋友圈配文助手等等。我选了个配文助手,风格输入了轻松幽默。
好家伙,这一通浮夸的文案把我给震惊了,这配文简直是放飞自我了。不敢想象如果我把这篇文案发送到朋友圈,身边的人该怎么看我,吓得我只好告诉它请保持:高冷、简洁、少字。它也读懂了我的难为情,回了我八个字:享受美食、感受美好。妙哉妙哉!
发现:更多内置回答模板
移动端的发现功能应该说是文心一言最大的亮点,可以说是把AI使用的门槛降低了很多。之前我把用接口搭建好的网站分享给朋友,最大的问题就是别人不知道能问些什么,该怎么问,而文心一言就很好的解决了这个问题,把很多模型的能力场景化了。
从模态能力来看的话,主要包括文生文、文生图和图生文三种。先来一个小红书探店文案试试效果。
这个结果整体还是比较惊喜的,可以看得出来文心一言在Prompt工程上还是下了功夫的。基本满足了小红书探店文案的基本要素:格式、表情、标签,对关键词提取分析的能力还算可以。不过同时也尝试了下用这个Prompt去写其他类型的小红书文案,比如野餐,出来的效果就是完全没有效果。说明这个Prompt是专门针对探店这个场景优化过的,不具备能力的迁移。整体来讲Prompt的质量还不错,AI回答能力还算可以。
AI绘画
接下来测试一下AI绘画的能力,先来两个之前被吐槽过很久的绘画词语:车水马龙和红烧狮子头。之前据说画出来是car、water、horse、dragon,以及真正的狮子头,看看现在能力长进了没有。
令人惊讶的是,居然两个都画对了,不知道是翻译功能升级了还是绘画能力升级了,还是说针对性优化了,总之现在的槽点是少了很多(怎么感觉乐趣也少了哈哈)。
从绘画的理解能力和绘图出来的效果,应该说能打个及格分了现在,也不会期望它能画的多好,如果有什么文章需要配图的话,用这个来画也算是一个简单易上手的选择。但是,值得吐槽的是,每一张画作的右下角都会标注:AI作画,这个用起来有点难受,还得要自己P掉。
另外画作是不支持通过连续对话进行调整的,只能输入完整描述进行重新绘画。
代码能力
最后再来对比下文心一言的代码能力,这个属于是AI能力的重要体现,也是能作为生产力的重要一部分。
这里提了一个编写合并Excel文件的python代码需求,文心一言整体写得还算比较简洁优雅,回答质量和ChatGPT并没有太大的差距,属于还算是可以用的水平。(这里就不和GPT4进行比较了,肯定还是有些差距的)
总结
![翻译](https://tyye.cn/zb_users/theme/tpure/style/images/lazyload.png)
在我打算写这篇文章之前,我看过了很多关于文心一言使用的文章,其中不乏很多啼笑皆非的故事。本以为使用下来,应该会有满满的槽点,但是并没有。文心一言的能力固然和国外的大模型还存在着一些差距,但是这个移动端的App整体来讲做得还是比较有诚意的,整体使用非常顺滑,回答非常快速,拥有足够多高质量的Prompt模板,在问答之间会有很多贴心的提示,整体都带来了不错的体验。
免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。