简介

为了填补大型语言模型 (LLM) 在复杂多模态环境中利用复杂工具完成多轮、多模态指令的评估空白，研究人员引入了 PowerPoint 任务完成 (PPTC) 基准测试，以评估 LLM 创建和编辑 PPT 文档的能力。

背景

最近对 LLM 的评估工作主要侧重于在基本自然语言任务上的能力，以及模型生成用于解决单句用户指令的 API 的工具使用能力，却忽略了在理解复杂多模态环境中使用 API 完成用户指令的难题。现有评估方法主要集中在比较生成的 API 与标签 API 序列，但在存在多个/无限正确解决方案的复杂情况下，这种方法也变得不再适用。

PPTC 基准测试

为了解决这一挑战，来自北大和微软亚洲研究院的研究人员们提出了测试大模型在多轮，多模态环境下完成 PPT 任务的评估数据集 PPTC（PowerPointTaskCompletion）。 数据收集： 为了构建数据集，研究人员采用多轮人机对话的形式，以帮助用户完成对 PPT 文档的创建和编辑。数据集中包含 279 个多轮对话单元，大部分单元由 3 到 10 轮对话组成。 指令难度： 数据集包含不同难度的用户指令，由所需 API 数量决定，包括涉及统计图表、表格、图像和空间位置相关多模态操作的指令。

LLM 的输入和输出

在每个对话轮次中，LLM 以以下内容作为输入： 当前轮次的指令 之前的指令（对话历史） PPT 文档（环境信息） 可用的 API 列表 LLM 会生成对应的 API 序列作为解决方案。

文档评估

研究人员提出 PPTX-Match 评估系统来评估 LLM 生成的文档是否正确。该系统验证元素之间的空间位置关系和元素属性内容是否与标签文档的对应内容匹配。

评估指标

评估指标包括： 轮次层面表现：只考虑当前轮次的正确率 单元层面表现：考虑整个单元的正确率

实验结果

研究人员在 3 个闭源大模型和 6 个开源大模型上测试了 PPTC 数据集。结果显示： GPT-4 在 9 个大模型中表现最佳，在创建新 PPT 文档任务中实现了 75% 的轮次层面正确率。 代码预训练和对齐能够进一步提升模型的轮次层面表现。 计划算法和选择算法能够进一步提升 GPT-4 的轮次层面正确率。

结论

PPTC 基准测试为评估 LLM 在复杂多模态环境中的能力提供了重要的方法。该基准测试反映了实际世界中更具挑战性的任务，需要 LLM 理解多轮、多模态指令并使用复杂的工具进行响应。

---

人工智能（AI）在医疗领域发挥了哪些作用？

人工智能在医疗领域发挥了许多作用，包括以下几个方面：1. 诊断辅助：人工智能可以通过图像识别、语音识别和自然语言处理等技术，辅助医生进行疾病诊断和治疗方案制定，提高医疗诊断的准确度和效率。 2. 疾病预测：人工智能可以通过分析大量的病例数据和医疗记录，预测疾病的发生概率和病情变化趋势，从而提前预防和治疗疾病。 3. 医疗影像分析：人工智能可以通过深度学习和图像识别技术，分析医疗影像数据，辅助医生判断和诊断疾病。 4. 医疗机器人：人工智能可以驱动医疗机器人和自动化设备，实现手术辅助、体内药物释放等医疗操作，减少手术风险和提高手术精度。 5. 疾病管理：人工智能可以通过移动医疗应用、健康监测设备等，实现疾病管理，提高患者的自我管理能力和医疗效果。 总之，人工智能在医疗领域的应用可以提高医疗的效率和准确度，改善医疗服务和患者体验，促进健康产业的发展。

如何在医疗保健领域应用机器学习和人工智能技术？

如何在医疗保健领域应用机器学习和人工智能技术？作为中国基础研究和科学前沿的最主要资助渠道，国家自然科学基金委于2016年专门开辟了一类更长期资助——基础科学中心项目，其目标是“聚焦前沿、突出交叉”，主要资助对象是高水平学术带头人牵头的多学科交叉团队，进行“五年 五年”的滚动支持，最初每五年提供2亿元经费，如今降为6000万元，但相应扩大了资助范围，每年支持的团队也从三四个逐步增加到十几个。 第七次全国人口普查数据显示，在全部外来人口中，因“工作就业”流入沈阳市的外来人口占29.83%，因为“拆迁搬家”和“学习培训”进入沈阳市的分别占16.60%和11.69%，以上三种原因是沈阳市外来人口的三大主要流入原因，这三部分人占到全部外来人口的58.12%。