Inevitable AI

扣子在上海｜一些捏 Bot 的”旁门左道”和赛前赛后

Mon, 29 Apr 2024 00:00:00 GMT

4 月 27 日，有幸参加了，稀土掘金联合扣子、moonshot 在上海举办了掘金动手实验室，两个小时的时间，一分一秒甚至过得比一刻一钟还要有饱和度。

一、参赛背景

个人背景

去年开始关注 Gen AI 领域，做这个账号的初心是倒逼自己持续输出，后来发现输出的前提得是沉下心去输入。

这半年来无论是工作所需、还是个人兴趣、或者是好奇心驱动，LLM 成了我这半年的精力重心，从 Function Calling 、模型能力表现、Prompt 优化、 RAG 到 Agent 设计，让我一次次的感受到自身能力的欠缺，模型在 Fine-Tune，我也在 ”Fine-Tune“。

团队背景

两位女生、一位男生；两位 ENTP、一位 INFJ；两位巨蟹座、一位狮子座；三位配合默契的草台班子。

虽然我们三个都不算是特别专业参赛选手，虽然后来才知道曾经我们都偷偷想过”要不就这样吧？“、”可以放弃吗？“，但是肩负着彼此的责任感，我们撑了下来。

使用背景

12 月初内测时就成为 Coze 使用者了，几个月的感受下来，Coze 的版本迭代速度异常之快，但是在丰富产品功能的同时也注重用户体验，新手友好度拉满。

有幸参加过一次早期 Coze 用户访谈，当时，我建议了优化 bot 推荐筛选项、与飞书生态融合、关于 bot 分享，我提到了 Bot 设计的核心思路是构成 bot 差异化的壁垒，属于个人财富，在分享时不应该完全暴露给所有人。没想到，当时随口提的小需求。在后期，版本迭代时，我发现我提到过的建议都一一被采纳实现了，甚至更加完备、细致，真的是认真倾听用户需求的团队。

不管是在飞书还是在 DC 中，都有使用反馈建议入口，debug 也相当及时。

创意背景

其实这个 idea 是去年生图最火爆时，灵光乍现想到的，甚至跟很多朋友分享了，但迟迟没有付诸行动；然后呢？我们仨都是宠物饲养者，曾经都是在宠展上大杀四方的人，顺理成章便定下了这个方案。

二、Agent 设计

1. Agent 流程分工设计

2. 能力设计及实现

Agent 的主要能力与其提供的服务流程一致：分为以下 3 个部分：

2.1. 提供生图服务（图生图）

生图能力主要由扣子官方插件及自定义上传的上方模型插件组成，涉及到核心生图服务和衍生需求生图。

2.2.1. 核心生图服务——宠物肖像照生成

在生图模块，在保障基础使用的准则上，也尝试了个性化生图的进阶拓展，我们除过使用平台提供的官方插件外，也创建了三个自定义插件。

（1）基础生图

ByteArtist Pets

提供固定的 11 种风格

这一部分由于涉及调用指令较多，为避免模型产生幻觉，所以采用 workflow 来实现，具体流程设计如下：

LLM 提取参数--> condition 判断使用模型 --> DataBase 保存 --> 赋值返回用户

技术实现过程中的难点与亮点：

Cot：由于 LLM 提参时，不能正确输出预期的值，在该环节引入思维链推理，辅助模型理解执行步骤，step by step 直到输出正确答案；

Condition Node：涉及到两个插件的混合使用，条件分支将不同模型入参进行分流，从而可以准确执行后续指令；

DataBase Node：考虑到图片会用于后期定制化服务，所以选择该节点将生成图片后的 image URL 存储到 DB 中，方便后期调用。

（2）进阶生图——自定义插件（针对宠物换装的微调小模型）

1）提供自定义指令生成图片

考虑到仅基础生图，一方面内容过于单薄，另一方面很难满足用于个性化创作的需求，于是引入三方模型来创建自定义插件，实现自定义指令生图的功能。

其实这一环节需要再琢磨和优化的地方还很多，对于小白用户可能还需要更多的操作指引，对于高玩用户，这种形式是否可以满足他们的需求？我们引入的模型是否够丰富？这些都是我们在之后需要去完善的点。

2）衍生需求——自定义插件实现

图片无损放大

图片抠图

用户在图片创作过程中，除了创意性需求，自然也会伴随着衍生需求，同时这也是大众客群的需求。

如果我们引入了非目标客群，但因为提供了良好的基础能力，在一定程度上也可以为产品带来口碑效应进行传播。

2.2. 提供定制化服务

定制方式

定制产品类型

执行定制化

这一部分也是我们在尝试做商业化落地的探索，在马斯洛需求层次中，满足了安全需求，自然化追逐情感需求，宠物是养宠人的情感寄托。而提供定制化服务可以将承载着无形的爱转化成有形的纪念品。

2.3. 提供客服咨询服务

2.3.1. Knowledge

对于一个提供多元能力的机器人，在操作过程中，难免用户会有使用障碍，应对用户咨询这种场景，我们将高频问题整理成 FQA 在对话过程中，通过 recallKnowledge 来处理日常疑问。

2.3.2. Slash 交互

体验加速：短平快的内容越来越多，大多数人的注意力以及耐心未必有预期中的好，这个阶段就极易造成用户流失。

精准指令：“LLM 理解能力很差”、“LLM 听不懂我的话”、“LLM 表现能力不好”……. 其实很多差强人意的背后，是使用者对于模型掌控能力的匮乏。

用嘴说的需求肯定不能开发出一个好的产品，同样，一句话的 prompt 也无法让 AI 为你创建一个月盈利百万的企业。

我们无法要求每一个用户都掌握一套标准的指令体系，我们可以做的便是为用户提供更加快捷简单的指令，来大程度上避免因用户表示不清导致模型呈现效果差的场景。

于是，我参考 discord 、telegram 机器人的设计方式使用 slash 指令，帮助用户在快速体验的同时，也可以触发更加准确的指令。

对此，在设计 slash 指令时，除过常规指令，也会设置一些兜底处理规则，让 LLM 辅助解决状况之外的突发事件。

2.4. 待优化问题

2.4.1. 指令暴露

很苦恼，尽管在 Prompt 里反复约束了不可以暴露自己的执行指令，但是机器人还是知无不言😖

最开始是在，保存宠物信息到 DB 时会出现这个问题，于是我使用 workflow 来约束这个现象，所以才会出现一个这么简单的工作流。

但是多次调试之后，指令暴露的事情愈演愈烈，甚至会把整个推理步骤也告诉用户 😳🫠

今天问过 kimi 官方员工，是模型 Bug，51之后就会优化，期待～～🫶🏻

2.4.2. Agent Reelection

在设计 Agent 之初读了很多文章，很吸引我的就是Andrew Ng 提出的两个Agent协作，一个负责执行，一个负责反思，但是由于时间紧张，没能尝试这样的做法。

2.5. 后续计划

更加完备的流程设计，提供更加操作指令

提供更多样的生图模型，增强用户个性化需求的满足

客服体系及供应链完善，对接定制化商家服务，真正实现产品落地

2.6. Q & A

赛后被问到最多的就是控制机器人的 Prompt，这里记录一下两个高频问题：

1. multi prompt 的写法创意是怎样来的？

契机：一开始是想使用 Multiple Agent 来实现机器人能力，甚至和队友们都已经分工好，每人各创作一个机器人，比赛时组合成 Multiple Agent，周三报名时，才发现中文扣子目前只有 single Agent，于是转战使用了 multi prompt；

背景：multi prompt 其实是我的 AI 同事自己通过实验得出的写法结构，通过封装后在我们团队内部可以实现丝滑使用，但是直接在扣子中使用还是会出现不适配性，比如调用过程中暴露内部指令，甚至出现 Cot 一样，LLM 会生成自己执行步骤的环节，我最近应该会花精力修改一下这个问题。（补充：模型bug，51修复）

2. multi prompt 该怎样写？

原理：其实和 Coze 的 multiple Agent 使用相似： Bot 人设用途描述、应用工具情况（knowledge、workflow、plugin 等）具体执行流程、condition jump 指令

常见结构：

name:

description:

plugin:

workflow:

knowledge:

next_prompt_name:

Prompt:

应用场景：遇到多场景处理，或者需要多个机器人协同分工配合完成任务时，同扣子的多代理。

三、赛前赛后的故事

由于前两周参加 GDG 的 build with AI，朋友报名没审核通过，这次我们格外上心，一定不能重蹈覆辙 TT ，7天备赛时间，我们单单在报名这件事上就花了 5 天。

0420 倒计时 7 天 —— 线下组队成功

20240420 我们在 iamp 的 manner 组队成功，开了第一场团队会议。

因为都是初学小白，我们第一次会议便是科普扣子、讨论报名 Bot 以及参赛 Bot（因为前车之鉴，我们一度认为报名审核很严格，报名和参赛需要分两个机器人）

会后初步分工（其实就是先自学怎样使用扣子）这也为我们接下来一周的会议奠定了基础

0421 倒计时 6 天 —— 研究扣子能力

各自研究扣子使用（休息一天），思考报名机器人🤖

0422 倒计时 5 天 —— 选什么机器人

想到了做旅程规划机器人，提完想法后又开始忙碌于工作，这是的我们还在执着于三个人做3个不同的机器人，以致于顺利通过报名。

0423 倒计时 4天 —— 初步确定方案

这段时间真的是脑子里只有参加比赛、做机器人、做个有点意思的机器人。

查看相关教程案例时，发现了很多旅程规划的案例，考虑到差异性，立马更换备赛方案。

再次阅读报名信息时，恍然大悟，原来报名 Bot 就是参赛 Bot 😭

拿出了去年的 Idea，去年实现它需要依赖思维缜密的产品设计、需要依赖多个模型引入、需要依赖程序开发，现在用扣子，我只要轻松拖拉拽就可以实现 80% 的功能。

熟读赛事规则，我们还在思考应该怎样抓住考点，试图找出更好的点子💡

在会议上初步确定智能分工，以及每个人首要关注 Part ，开始行动啦，做自己的报名机器人

0424 倒计时 3天 —— 提交报名信息

制定机器人操作主流程及技能，着手于报名！我们最在意也最重要的报名！

还是考虑到报名审核问题，我们仨花了很大精力在报名机器人身上，计划比赛时机器人三合一。

0425 倒计时 2 天 —— 终于报名成功

因为拖的时间太晚导致差点错失比赛机会，感谢曾经参与过深圳赛区的获奖者——安仔老师帮我们沟通，能有缘参赛。

确定可以参赛后，争分夺秒地将失去的时间补回来，快速敲定机器人交互逻辑、机器人能力组成。为了让大家严阵以待，我踌躇满志地跟说，放心，我们肯定能拿冠军🏆

在备赛过程中甚至拉来了外援队友（Coze Bot），创建很多小 Bot 们来辅助我们，比如，代码翻译 Bot、话术修改 Bot、DeBug Bot……感谢任劳任怨的小 Bot 们～❤️

成功进入了参赛群，悬着的心刚放下，又悬起来了，甚至悬得更高了。

怎么？这个群里卧龙藏虎啊，这这这这这？这不是我开始看各种 Coze 文章的作者吗？瞬间丧气，我们尽力而为吧！

临门一脚，当下班回家准备改Prompt 时，突然发现中文扣子居然有 multiple Agent 了，之前因此将整个实现方案改成了 Multi prompt。于是退而求其次（其实当时想把所有炫酷的功能都用上），如果有时间的话可以做下让两个 Agent 相互监督执行任务的尝试（后来有个姐姐做了，超酷！）。

基本主流程 prompt 框架设计完成啦，在 plugin、knowledge 和 Workflow 还没有引入的情况，使用较为流畅，算个脑袋比较灵光的机器人。

0426 倒计时 1 天 —— 冲刺啦冲冲冲

最后一天的冲刺时间，分工明确。

但是由于我们都并非全职投入所有精力来做这件事，所以任务完成度 30%，所以计划苦战一宿。

用上了 GPT 帮忙想的名字，敲定团队名称及汇报幻灯片结构（虽然最终没用上）

因为在月初约了朋友看演出，所以在上海出现了一个这样奇怪的人——她在地铁上、在 Neo 里居然抱着电脑劈啦啪啦敲敲敲～

越着急越出错，这次错是坐过站，不过碰巧来到了字节楼下，也算是提前踩点了

0427 倒计时 0 天 —— 背水一战

到家凌晨了，我们又开了一场赛前会议，主要解决目前的难点问题，核心问题就是自定义插件的创建。

解决无果，休整之后准备和它硬碰硬！

看来睡觉做梦还是有用的，朋友睡了一觉，梦见了问题出在了哪里，于是我们顺利的创建出来自己的插件，开心～

准备前往会场比赛啦，虽然我 12 点钟还在企图做汇报的 keynote，折腾了一小时差点比赛迟到。

接下来，我们就开始如火如荼的比赛啦，需要在 扣子 x Moonshot x 掘金动手实验室 的公共空间里创建自己的机器人～

鏖战两小时，分工明确：

Siin：Prompt、Agent 设计、调试

Tammy：Knowledge

瓜瓜：创建三个自定义生图插件，还有帮我 copy 另一个空间创建的 workflow～

两小时嗖嗖嗖嗖～～～

倒计时十五分钟，才知道只有20个分享名额，三页幻灯片就 OK，展示时间也只有三分钟。甚至上台介绍都需要抢的，如果上传链接无法访问直接 Pass（虽然最后有分享意愿的朋友都给予了上台的机会），但是一开始我们都紧张死了，紧张就容易出错。🫠

开始执着于录制 demo 视频，结果汇报前发现内部指令暴露情况严重，呈现效果大打折扣，于是索性介绍了自己的 Agent 设计，形式也是超级直白的飞书文档，并没有用上计划中炫酷好看的 keynote 😖

轮到我上台时，链接失效，重开权限依旧失效，原来上传了我们的会议链接，看吧，着急就是会出错😮‍💨

有惊无险，在大家的护航与包容下，我终于在3分钟内唇枪舌战的介绍完了我们的产品，急死我了，脑子跟不上嘴。

到最后公布结果时，五位最佳表现奖一一揭晓，一个都没有我们，内心真的会有些小失落，我甚至都预想到冠军应该考古生物知识图谱的项目，因为别人台风超好，项目也非常有意义——让硅基生物探索碳基生物。

不过一想到现场这么多优秀的人，超棒的 Idea，无论是谁都实至名归。

当大屏幕上出现了我们产品名时，什么？这几个字母怎么看着好眼熟，😳诶？这不是我们吗？我们怎么会得奖？肯定我出门时带了朋友送我的幸运挂坠。

确实很意外，虽然只有不到两百人参赛，但是也遇到了前两周一起参加 GDG Build With AI 的同好，去年换工作时沟通过的的 Founder，持续关注的科技自媒体人，技术作家吕昭波老师、通往 AGI 之路的共创者、FDU 的教授…….现场优秀的人真的太多了。

一人成团的姐姐用吴恩达最新提出的两个 Agent 实现相互监督做出了门修斯，原来在 workflow 里同样可以实现多机器人协作（奇怪的使用姿势又增加了）、从交互到汇报都美轮美奂的海龟汤、两小时实现ASR&TTS实时对话的设计系统、还有量化交易机器人、古生物知识图谱等非常多有意思的 Bot，希望设计迪士尼客服机器人的大哥早日让每一个游客都用上它。

包括赛后，也有群友 Share 了让 Bot 设计 Bot，整体连贯性特别好，形成了一个自动化的工作流，从想法剖析——机器人设计——能力构建——产出最终 prompt，形成了一个相对完整的闭环。

很感谢这次活动的主办方——稀土掘金、moonshot、coze，感谢在 LLM 研究领域帮助我的同事们，感谢开源创作者可以让我站在巨人肩膀上前行，感谢这次来之不易的参赛机会，感谢队友和每一个给予我善意的人～非常幸运也超值的一次活动，能够认识大家、聆听到认知之外的 idea 不虚此行。

5月25日，杭州也会有线下 workshop 哦～感兴趣的江浙沪朋友们一定不要错过～～～

四、Coze Time

1. 参赛产品体验

Bot Name：哈喵 HaMeow

Bot 功能介绍：哈喵 HaMeow 提供了一种全新、互动性强的纪念宠物方式，同时也填补了宠物定制化艺术品市场的空白。在这里你可以实现从宠物肖像照生成到个性化产品定制的无缝体验。

BotID：7362792950516285475

Bot Store：https://www.coze.cn/store/bot/7362792950516285475?bot_id=true

掘金：https://juejin.cn/pin/club/7173895829281833012?robotId=7362792950516285475

微信：必然 AI ，回复任意指令即可触发 http://mmbiz.qpic.cn/mmbiz_jpg/fnRVxyw2icpjrR76Rm87DewMmbLYG9hhbs17KOQr5icXdKfQyfCc7ahzL76NFyRQI5e147icbzPL2LcTUBnHYib0Bw/0

2. 开源 Coze / 扣子

如果对 Coze 创建与使用感兴趣的朋友，可以 star 、pull 我新创建的 Github 仓库，让我们一起为 Coze 开源贡献一份力量～

github Agent_in_Coze

主要内容预计如下

分享 Coze /扣子里有趣的 Bot 和 plugin、workflow

拆解海内外优秀 public Coze Bot 创作思路

自己创作Bot 时的一些奇淫巧技

汇总优质的 Coze 主题和 Agent 设计文章

3. 共创 Coze / 扣子

平时可以一起做一些有意思的尝试，解锁 Coze /扣子的更多新奇用法～每个团队空间只有一百个名额🫣 手速要快哦～

Coze Teams：

Click the link to join my team Coze —— Light up your life on the Coze Bot Platform 👉🏻 https://www.coze.com/invite/dquvuUpUynV6wR9epYTP

扣子团队空间：

邀请你加入我的 Coze 扣子团队，一起搭建 AI Bot：扣子 —— 点亮生活 👉🏻 https://www.coze.cn/invite/3CXss4e30Yt5xdsrNvtx

目前最好的AI模型：谷歌DeepMind的Gemini已超越GPT-4

Thu, 07 Dec 2023 00:00:00 GMT

💡

摘要

谷歌 DeepMind的Gemini是目前最先进的AI模型之一，已经超越了GPT-4。它是一个原生多模态模型，具有出色的性能和能力。亮点 • 💎 Gemini是一种原生多模态模型，可同时处理文本、代码、图像、音频和视频。 • 💡 Gemini Ultra在多个学术基准测试中取得了优异的成绩，包括在MMLU和MMMU上超越人类专家。 • 🌍 Gemini有三种类型：Ultra、Pro和Nano，适用于不同的应用场景和设备。 • 🚀 Gemini的性能超过了GPT-4，并且谷歌DeepMind已经发布了AlphaCode 2，进一步提升了模型的能力。 • 📈 Gemini代表了人工智能领域的进步，展示了多模态和原生设计的潜力。基于对该文章的阅读，Gemini模型的性能和多模态能力令人印象深刻。它的发展标志着人工智能领域的重要进展，为未来的研究和应用提供了新的可能性。

谷歌和 DeepMind 宣布了期待已久的人工智能模型Gemini。目前还没有太多关于其工作效果的实际反馈，但报告的性能非常出色。

本文是对我们迄今为止所掌握的信息以及我所读内容的第一印象（尚未测试该模型）的快速概述。在接下来的几天里，我将更深入地了解 Gemini 可以做什么、它是如何构建的（希望如此）、它是如何工作的以及它对人工智能的未来意味着什么。

Gemini 规格、类型（Ultra、Pro、Nano）和可用性

Gemini 是一个型号系列，具有三种类型：Ultra、Pro 和 Nano。以下是有关 Gemini 类型及其规格部分的摘要。

Gemini Ultra 是实现最先进 (SOTA) 基准测试并在各个基准测试中超越 GPT-4 的版本（我们很快就会看到）。它被设计为在数据中心上运行，因此您无需将其安装在家庭计算机上。它仍在接受安全审查，将于 2024 年初在新版本的 Google Bard Advanced 上使用。

Gemini Pro 与 GPT-3.5 相当（但并不总是更好），并且针对“成本和延迟”进行了优化。如果您不需要最好的并且成本是一个限制，Pro 可能是比 Ultra 更好的选择（就像 ChatGPT 一样，GPT-3.5 是免费的，对于大多数任务来说，比每月支付 20 美元购买 GPT 更好）。 Gemini Pro 已在 170 个国家（不包括欧盟/英国）的 Bard 上以英语提供（“迄今为止最大的升级”）。Google 稍后将扩大在其他国家/地区和语言的可用性。

Gemini Nano 是针对设备的模型。谷歌尚未透露Ultra和Pro的参数数量，但我们知道Nano分为两层，Nano 1（1.8B）和Nano 2（3.25B），分别针对低内存和高内存设备。Gemini Nano 内置于谷歌 Pixel 8 Pro 中，它将成为一款全面的 AI 增强型智能手机。这就是超级Siri移动助手的开始。Gemini 还将“出现在我们的更多产品和服务中，例如搜索、广告、Chrome 和 Duet AI”，但没有具体说明其大小或时间。

它们都具有 32K 上下文窗口，明显小于最大的 Claude 2 (200K) 和 GPT-4 Turbo (128K)。很难说上下文窗口的大小是最佳的（显然取决于任务），因为，如果大小太大，模型往往会忘记很大一部分上下文知识。据报道，Gemini模型“有效地利用了它们的上下文长度”，这可能是对此类检索失败的隐含参考。

正如您所期望的，考虑到当今人工智能领域对封闭性的普遍偏好，我们对训练或微调数据集一无所知（除了数据集包含“来自网络文档、书籍和代码的数据，并包括图像、音频、和视频数据”），或模型的架构（此外，它们“构建在 Transformer 解码器之上”并且“通过架构和模型优化的改进得到增强”）。

说起来很搞笑，但我们必须等到 Meta 发布其下一个模型才能了解更多信息。开源 Llama 3（如果它在性能方面与 GPT-4 和 Gemini 进行比较）将揭示这些模型的构建方式以及它们的训练内容。

最后要说明的是，谷歌 DeepMind 还在Gemini 之上发布了AlphaCode 2 。它解决的问题比其前身 AlphaCode 多 1.7 倍，并且表现优于 85% 的参赛者。这主要与竞争性编程相关，但在这里值得一提。

Gemini Ultra 优于 GPT-4

无论是在科学层面还是商业层面，这可能都是最重要的消息。近一年来，AI 模型首次超越了 GPT-4。Gemini Ultra 在 32 个“广泛使用的学术基准”中的 30 个上实现了 SOTA。来自博客文章：

Gemini Ultra 的得分高达 90.0%，是第一个在 MMLU（大规模多任务语言理解）上超越人类专家的模型，该模型结合了数学、物理、历史、法律、医学和伦理学等 57 个科目来测试知识和解决问题的能力……Gemini Ultra 在新的 MMMU 基准测试中也取得了 59.4% 的最高分数，该基准测试由跨越不同领域、需要深思熟虑的推理的多模态任务组成。

Gemini Ultra 在 18 个基准测试中的 17 个中超过了 GPT-4，其中包括 MMLU（90% vs 86.4%，使用新型思想链方法）和新的多模态基准 MMMU（59.4% vs 56.8%）。有趣的是，Gemini 并不比 GPT-4 多多少。这表明改进这些系统有多么困难，比谷歌无力应对 OpenAI 更困难。以下是这些与其他文本和多模态基准的比较：

来源：谷歌 DeepMind

如果您想通过实际测试了解更多有关 Gemini 的功能（例如，推理和理解、解决数学和编码问题等），我建议您观看Google DeepMind 互动博客文章中的视频以及首席执行官 Sundar 的综合演示Pichai 发表在 X 上（两者都非常值得关注，以更好地理解上述数字的含义）。

我认为在我们能够真正测试 Gemini 的性能之前，这对于 Google 来说已经足够了。我将把技术报告结论的摘录放在这里，以防你误以为 Gemini 已经克服了现代人工智能系统的所有问题——幻觉和高级推理仍未解决：

尽管 LLM 的能力令人印象深刻，但我们应该注意到， LLM 的使用存在局限性。需要持续研究和开发 LLM 产生的“幻觉”，以确保模型输出更加可靠和可验证。尽管 LLM 在考试基准上取得了令人印象深刻的表现，但他们也很难完成需要高级推理能力的任务，例如因果理解、逻辑演绎和反事实推理。

Gemini 天生就是多模态

这里要注意的词是“天生”，但让我们首先回顾一下多模态。多模态人工智能可以处理不同的数据类型，这与仅接受文本作为输入并生成文本作为输出的语言模型形成鲜明对比。这是我文章中的简要解释：

具体来说，人工智能中的多模态是什么样的，我们可以说，在最弱的一侧，我们有视觉+语言。DALL-E 3（将文本作为输入并生成图像作为输出）和 GPT-4（将文本或图像作为输入并生成文本）是弱多模态的突出示例。最强大的一面仍未被探索，但原则上，人工智能可以获取人类拥有的每一种感觉方式（甚至更多），包括那些提供动作能力的感觉方式（例如本体感觉和机器人的平衡感）。

到目前为止，Gemini 是多模态领域最强大的模型，包括文本、代码、图像、音频和视频。从技术报告来看：

Gemini 模型经过训练，可以适应与各种音频和视觉输入交错的文本输入，例如自然图像、图表、屏幕截图、PDF 和视频，并且它们可以生成文本和图像输出。

来源：谷歌 DeepMind

需要多模态才能更深入地了解世界。一些人认为，当语言模型试图通过处理文本数据中的统计相关性来预测下一个单词时，语言模型会开发出内部世界模型，但如果这是真的，那么这些模型是非常有限的。随着科学家建立可以解析更多信息模式的模型，它们的内部表征变得更加丰富——在极端情况下，它们会与我们的相匹配。

然而，构建多模态人工智能有两种不同的方法。这就是 Gemini 独特的原生多模态设计的亮点。第一种方法之前已被探索过多次，包括添加能够处理不同输入/输出的不同模块。这表面上有效，但并没有为系统提供编码更丰富的多模式世界模型的方法。以下是 Google DeepMind 首席执行官 Demis Hassabis在博客文章中对此的评论：

到目前为止，创建多模态模型的标准方法涉及针对不同模态训练单独的组件，然后将它们拼接在一起以粗略地模仿其中的一些功能。这些模型有时擅长执行某些任务，例如描述图像，但难以处理更概念性和复杂的推理。

第二种方式大概只有 Gemini 采用，需要从头开始将人工智能系统构建为多模态。与 GPT-4 不同，Gemini 从一开始就经过了预训练，然后针对多模式数据进行了微调。以下是哈萨比斯对这种新方法的看法：

我们将 Gemini 设计为原生多模态，从一开始就针对不同模式进行了预训练。然后我们使用额外的多模态数据对其进行微调，以进一步完善其有效性。这有助于 Gemini 从头开始无缝地理解和推理各种输入，远远优于现有的多模式模型 - 而且其功能几乎在每个领域都是最先进的。

第二种多模态方法更像是人脑如何从与多模态世界的多感官接触中学习。如果有一种方法可以实现真正的通用智能（或者至少是人类水平的智能，这与通用智能不同），那就是通过这种默认的多模态。该视频演示清楚地展示了本机多模态所赋予的令人印象深刻的功能。

接下来的步骤是规划和机器人技术：

人工智能公司开发出能够看、听、说话、创造、移动、计划并利用外部信息和知识做出合理决策以实现目标的系统只是时间问题。Google DeepMind 的 Gemini 和 OpenAI 大概是朝这个方向迈出的一步（特别是通过学习和搜索解决规划问题）。

Google DeepMind 首席执行官 Demis Hassabis向 Platformer 的 Casey Newton 证实，他们“正在认真思考……基于代理的系统和规划系统”。在与 Wired 的 Will Knight 的对话中，他重申了将 Gemini 与机器人技术相结合的类似愿景：“要成为真正的多模式，你需要包括触摸和触觉反馈……应用这些基础型模型有很多希望到机器人技术，我们正在大力探索。”

请随意将这些评论视为 Google DeepMind 计划在 2024 年做什么的高级路线图。

对现有信息的分析

谷歌兑现了其隐含的承诺：Gemini 在几乎所有基准测试中都优于 GPT-4。就其本身而言，它可能值得花费数百万美元。这是四年来第一次有人超越 OpenAI。无论如何，在我们过度炒作 Gemini 之前，我们应该等待 Google 在 2024 年初宣布 Bard Advanced，将其与 GPT-4 Turbo 进行测试，然后决定哪一个更好。也许现在要问的正确问题是：由于 Gemini 的（未知）架构，随着时间的推移，Gemini 能否比 GPT 更快地改进？但是，当然，我们不知道答案。

值得注意的是，如果你仔细观察基准评估中报告的数字，Gemini 最多只击败 GPT-4 几个百分点（请记住，GPT-4 在 2022 年完成了训练）。我认为这证明了用目前的方法让模型变得更好是非常困难的，而不是证明 Google DeepMind 的研究人员比 OpenAI 的研究人员“更糟糕”——这两家公司拥有世界上最好的人工智能人才，所以从字面上看，这是人工智能的巅峰。人类现在可以在人工智能上做什么。他们应该开始探索其他范式吗？我觉得事情正在发生变化，我们即将告别基于 Transformer 的语言模型的霸权。

也许更值得注意的是——即使并不令人惊讶——谷歌 DeepMind 对亲密性的拥抱（就像 OpenAI 和 Anthropic 一样）。他们没有分享有关训练或微调数据集的任何有价值的内容，也没有分享有关架构的任何有价值的内容。这表明，严格意义上来说，Gemini 与其说是一个科学项目，不如说是一个商业产品。这本身并不坏（取决于您是研究人员还是用户），只是不是 DeepMind 的真正目的。就像微软在 2019 年投资 OpenAI 迫使他们转向生产和产品市场契合策略一样，谷歌也在同样程度上利用 DeepMind 来实现这一目标。

回到现实，接下来是规划、代理和机器人。我预测在接下来的几个月/几年里，我们在这些更大的挑战上的进展将比我们在语言建模上看到的进展慢（记住莫拉维克悖论）。Hassabis 认为 Gemini 将展示我们以前从未见过的能力，但我认为与 OpenAI 已经拥有的相比，这些不会是真正的突破（在大的计划中）。哈萨比斯与牛顿讨论了这一点，所以我仍然很兴奋：“我认为我们会看到一些新功能。这是 Ultra 测试的一部分。我们正处于测试阶段——对其进行安全检查、责任检查，同时也看看如何对其进行微调。”

最后，尽管 Sundar Pichai 将这次发布称为“ Gemini 时代”的开始，但我认为 Google 的真正价值在于恢复他们年复一年失去的部分信任，当时一家拥有 800 名员工的初创公司屡次设法离开他们在后面。这是谷歌对所有声称根本无法超越的人的报复。这是它对 OpenAI 以及围绕 ChatGPT 和 GPT-4 无可挑剔的回击。我们将看看它是否对他们有效，更重要的是，它能持续多久。

作者：Alberto Romero

⚠️

免责声明

本文提供的信息仅供参考和一般信息目的。我们已尽一切努力确保信息的准确性和完整性，但不做明示或暗示的任何保证或陈述。读者在使用本信息前应仔细评估和判断。如果您对本文内容有任何疑问或发现侵权行为，请与我们联系以解决。

📣 感谢您阅读本文！

如果您发现本文对您有所帮助，请与您的朋友和家人分享，以使更多人受益。

探索10个AI高级提示技巧，释放AI的无限潜力！

Sun, 15 Oct 2023 00:00:00 GMT

💡

摘要

🔍 提示1：使用友好的界限来获得更有针对性的答案 💡 提示2：调整温度和 Top-K 来平衡创造性和连贯性 🔄 提示3：尝试不同的提示措辞以获得不同风格的答案 🏆 提示4：奖励模型以提高人工智能的性能 🌐 提示5：为人工智能设定正确的领域以提高准确性 🧩 提示6：使用子建模将复杂问题分解为易于管理的部分 🚫 提示7：明确指定排除和限制以集中人工智能的响应 🔄 提示8：逐步完善答案通过后续澄清问题 🔬 提示9：进行基准测试和 A/B 测试以找到最佳策略 🔣 提示10：使用空格和标点符号来帮助人工智能理解查询

这些高级提示技巧将帮助您释放人工智能的无限潜力，提供更准确、创造性和多样化的答案。

人与人工智能的交流是一种微妙的舞蹈，只有少数人能够完全解锁。参与大型语言模型 (LLM) 需要以正确的语言细微差别说话。这通常称为即时工程。

这里有 10 种鲜为人知的高级即时工程策略，可以显著增强您与大型语言模型的互动。

1. 约束注入

在提示中设置一些友好的界限，以便从人工智能中获得更有针对性的答案。

好的例子：

“写一个不使用字母‘e’的短篇故事。”

“仅使用简单的词语提供解释。”

“生成一首遵循 ABAB 韵律方案的诗。”

不好的例子：

“写一个短篇故事。”

“给个解释。”

“创作一首诗。”

2. 温度和 Top-K 调整

扭转这些旋钮可以让你的人工智能的反应更加可预测或更具创造性。温度控制随机性，而 Top-K 将模型的选择限制为 K 个最可能的下一个单词。调整这些参数可以平衡创造力和连贯性。这就像调整你的人工智能的个性！

好的例子：

较低的温度（例如 0.2）可实现集中、确定的响应。

更高的温度（例如 0.8）可实现创造性、多样化的反应。

Top-k（例如，40）是多样性和一致性之间的最佳点。

不好的例子：

事实查询的高温。

适合创意任务的低温。

不调整top-k，导致输出过于狭窄或随机。

3.提示措辞变化

让提问方式变得有趣，以获得不同风格的答案。尝试不同的提示措辞可以引发更准确或更多样化的反应。提示措辞的微小变化可能会产生很大的不同。反复实验。

好的例子：

“将以下英文文本翻译成法语：”与“你会用法语怎么说：”。

“描述光合作用的过程”与“解释植物如何通过光合作用制造食物”。

“计算圆的面积”与“给定半径的圆的面积是多少？”

不好的例子：

不改变句子结构、动词和语态。

始终使用“描述”，而不是使用“解释”、“告诉我”等。

不要在提示中尝试主动语态和被动语态。

重复使用“翻译此文本：”等相同的措辞。

4. 奖励模型

奖励模型向人工智能提供反馈，有助于随着时间的推移微调其性能。奖励良好的行为，纠正错误。随着时间的推移，你的人工智能将会学习。

好的例子：

提供反馈以提高事实查询的准确性。

奖励简洁明了的答案。

鼓励生成内容的创造力。

不好的例子：

对于不正确或含糊的答复没有反馈。

忽视了强化良好表现的机会。

不利用奖励信号进行模型微调。

5. 领域启动

为您的 AI 搭建合适的舞台，使其了解上下文并为您提供相关答案。通过指定知识领域来启动 AI 可提高上下文和准确性。通过预先建立正确的域来定位您的查询。

好的例子：

“作为一名金融分析师，解释一下贝塔的概念。”

“在医学背景下，定义什么是收缩压和舒张压。”

“作为一名历史学家，描述一下滑铁卢战役的意义。”

不好的例子：

“解释一下贝塔的概念。”

“定义收缩压和舒张压。”

“描述一下滑铁卢战役的意义。”

6. 子模型

将大而可怕的问题分成更小、易于管理的部分，以获得更好的答案。将复杂的请求分解为更小的步骤有助于避免人工智能不堪重负。不要去打本垒打。使用分而治之的方法来代替。

好的例子：

将财务分析查询分解为有关市场趋势、风险和公司业绩的子查询。

将复杂的数学问题分成更小的、可解决的步骤。

分段解析大文本以进行详细分析。

不好的例子：

尝试在一个查询中分析复杂的财务场景。

尝试一步解决复杂的问题。

使用大文本重载模型进行分析而不进行分段。

7. 显式否定

告诉你的人工智能你不想要的答案是什么，确保它保持在正轨上。明确指定排除和限制会集中人工智能的响应。

好的例子：

“在不使用技术术语的情况下解释该过程。”

“提供一个摘要，但不要透露结局。”

“讨论该理论而不参考其他理论。”

不好的例子：

“解释一下过程。”

“提供一个摘要。”

“讨论一下理论。”

8. 顺序提示

与人工智能反复讨论，逐步完善答案。通过后续澄清问题来完善答复。第一次尝试后不要安定下来。反复请求澄清。

好的例子：

通过针对不明确的术语提出后续问题来完善翻译。

逐步请求有关某个主题的更多详细信息。

要求对看似不正确或不完整的答案进行澄清。

不好的例子：

接受第一个翻译而不质疑歧义。

一次请求所有详细信息，会导致大量信息。

不寻求对不清楚或不正确的答案的澄清。

9. 基准测试和 A/B 测试

测试不同的策略，找到最有效的策略 - 就像为您的提示准备一个试衣间一样！比较方法并微调参数以确定最佳的提示策略。

好的例子：

寻找最佳翻译策略

A：“将这段英文文本翻译成西班牙语。”

B：“这段文字用西班牙语怎么说？”

运行两者并比较哪一个提供更准确或更适合上下文的翻译。

A/B 测试各种创意写作风格：

A：使用高温（例如 0.8）可以获得更有创意、更自由的故事。

B：使用低温（例如 0.2）来实现重点突出、情节驱动的叙述。

比较结果以确定哪种温度设置最适合您的创意需求。

查询财务数据

A：“给我上个月的股票走势。”

B：“分析一下近30天的股票走势。”

运行两者并评估哪种措辞会产生更全面且易于理解的财务数据。

不好的例子：

使用相同的提示策略而不进行比较。

坚持默认温度设置而不进行测试。

没有分析领域启动对响应质量的影响。

10. 自定义标记化：

尝试如何分解文本，以帮助您的 AI 更好地理解复杂的查询。策略性的空格和标点符号指导人工智能的解析和理解。注意空格、逗号和句号。代币化很重要。

好的例子：

在关键术语周围添加空格以确保正确的标记化。科学查询

好：“告诉我 E=mc^2 的事。”

更好：“告诉我 E = mc ^ 2。”

后者确保方程被正确解析，避免误解。

2. 使用特殊字符分隔或强调提示中的元素。编程问题：

好：“如何在 Python 中编写 for 循环？”

更好：“如何在 Python 中编写 “for” 循环？”

在“for”周围使用反引号强调它是一个关键字，引导人工智能提供更针对编程的答案。

3.诗歌分析：

好：“分析一下‘To be or not to be’这句话。”

更好：“分析这句话：‘To be, or not to be’”

后者使用正确的标点符号，确保人工智能理解这是戏剧中的特定台词，可能会促使进行更细致的分析。

不好的例子：

忽视标记化问题会导致误解。

不使用特殊字符来指导标记化。

忽略标记化对模型理解和输出的影响。

Prompt工程一半是艺术，一半是科学。创造性地应用这些先进技术来释放您的人工智能的全部潜力！

作者：Liat Ben-Zur

⚠️

免责声明

📣 感谢您阅读本文！

如果您发现本文对您有所帮助，请与您的朋友和家人分享，以使更多人受益。

AI全面升级：探索前沿技术的“Agents”框架！

Tue, 26 Sep 2023 00:00:00 GMT

💡

摘要

由 AIWaves、浙江大学和苏黎世联邦理工学院的研究人员推出的 Agents 是一个用于构建语言代理的开源框架。这个框架提供了一个端到端平台，用于开发具有长期记忆、工具集成、网络导航、多代理协作和人机交互等高级功能的代理。亮点 • 📚 Agents 提供了多种高级功能来构建复杂的 AI 助手，包括长短期记忆、工具集成、网页导航、多智能体协作和人际交往。 • 💡 Agents 使用 SOP（标准操作程序）为代理行为提供结构和控制，使其更加可预测和可调。 • 🌐 Agents 提供了多种部署选项，包括命令行界面、可视化界面和 API 服务器，使代理系统能够实现现实世界的部署。 • 🚀 Agents 的模块化设计使其能够为专家和非专家用户提供友好的开发环境，促进了协作和快速构建各种智能助手。 • 🌍 Agents 的开源性质使其能够被广泛共享和定制，为人工智能的发展和应用带来了更大的潜力。 Agents 框架为开发人员和研究人员提供了一个强大的工具，以构建定制的语言代理，推动人工智能领域的全面升级。

介绍

由 Open AI Chat GPT-4 等大型语言模型 (LLM) 提供支持的自主代理是人工智能领域一个新兴且前景广阔的领域。最近的演示，如 Anthropic 的 Claude、Anthropic 的宪法人工智能和 Anthropic 的自我监控人工智能，展示了语言智能体成为有用助手的潜力，可以理解指令、收集信息、推理选项并采取行动。然而，对于大多数开发人员和研究人员来说，构建定制的语言代理仍然具有挑战性，尤其是那些可以展示规划、记忆、工具使用和协作等功能的语言代理。

为了更容易地开发有能力且可控的语言代理，AIWaves、浙江大学和苏黎世联邦理工学院的研究人员推出了 Agents，这是一个用于构建语言代理的开源框架。

Agents 提供了一个端到端平台，用于开发具有长期记忆、工具集成、网络导航、多代理协作和人机交互等高级功能的代理。目标是使人工智能专家和非专家能够更轻松地构建、定制、测试、部署和共享有用的语言代理。

关键词: 自主代理, 大语言模型 (LLM), GPT-3, Anthropic 的克劳德, Anthropic 的宪法人工智能, Anthropic 的自我监控人工智能, AIWaves, 开源框架, 语言代理, 长期记忆, 工具集成, 网页导航、多代理协作、人机交互、标准操作程序 (SOP)、代理中心。

Agents框架概述

Agents是围绕三个核心类设计的：代理、环境和 SOP（标准操作过程）。

Agent：

封装单个Agent，提供观察、动作、记忆的方法。代理人可以是人类或法学硕士。

环境：

定义代理可以观察哪些信息以及代理行为如何影响环境。

SOP：

指定状态和转换图，定义代理完成任务的高级工作流程。

这些组件通过简单的 JSON 文件进行配置，从而可以轻松定义新的代理系统。模块化设计使代理可以为高级研究人员扩展，同时保持对非专业用户的友好。

关键能力

Agents 提供了多种高级功能来构建复杂的 AI 助手：

长短期记忆

从矢量数据库存储和查询长期记忆

在自然语言草稿本中维护短期记忆

使代理能够跟踪交互中的上下文

工具集成

通过包装组件调用外部API和服务

将代理连接到现实世界的数据源和操作

网页导航

上网搜索相关信息

从网站抓取数据

收集决策信息

多智能体协作

在共享环境中协调多个专业代理

控制器代理根据角色和上下文动态调度操作

人际交往

人类可以被指定为代理之一

实现人类和人工智能代理之间的双向交互

通过 SOP 实现可控性

SOP 为代理行为提供高级控制和结构，与纯粹开放式的法学硕士相比，使其更加可靠和可调整

这些功能使 Agents 成为开发现实世界语言代理应用程序的独特多功能平台。该代码是开源的，可在 GitHub 上获取。

使用代理构建单代理系统

为了展示该框架，研究人员演示了几个使用代理构建的单代理系统示例：

Chit-chat bot

— 简单的会话代理

客户服务代理

— 由知识库和网络搜索提供支持的帮助台代理，用于回答用户问题

购物助理

— 推荐产品并回答有关电子商务目录的问题

销售代理

— 提供有关定价和融资选项的报价和信息

这些代理展示了如何在代理平台之上构建特定领域代理和通用代理，并根据其用途利用不同的工具集成。模块化的SOP结构可以轻松定制每个代理的工作流程和功能。

虽然简单，但这些示例说明了代理如何能够为不同领域快速构建各种智能助手，从而减少重新实现内存、对话管理和工具集成等基础组件的重复工作。

与代理的多代理协作

除了单个代理之外，代理还支持开发多代理系统，其中人类和人工智能代理组可以在共享环境中进行协作：

小说工作室

——多个特工扮演世界构建者、角色开发者和故事作家等角色，共同创作一个虚构的故事。

辩论队

——特工研究主题、提出论点，并参加与对方团队的辩论比赛。人类可以被分配代理角色。

软件公司

——代理扮演产品经理、软件架构师和编码员等角色，共同设计和实现新的软件组件。

Agents中的控制器Agent根据当前上下文和角色动态决定哪个Agent应该采取下一步动作，使得多Agent协作更加灵活和自然。

这些示例演示了如何使用代理来执行复杂的创意和分析任务，这些任务需要多个专家（例如现实世界的团队）之间的协调。分配人类角色的能力也为人类与人工智能的协作提供了有趣的机会。

通过标准操作程序实现可控性

代理框架的一个主要优点是通过使用标准操作程序 (SOP) 为代理行为提供结构和控制。

SOP 定义了代理的可能状态图以及状态之间的转换逻辑。这使得开发人员能够限制代理操作的范围并确保可靠的工作流程。

SOP 不是仅仅依赖广泛的指令和大型法学硕士的能力，而是通过指导代理完成所需的子任务步骤和有效的转换来实现目标，从而使代理的行为更加可预测和可调。

SOP 最初可以由法学硕士根据高级指令自动生成，然后由开发人员进行完善，以提高关键任务的性能。通过定制 SOP，用户可以塑造代理能力，而无需进行广泛的再培训模型。
SOP 结构平衡了底层法学硕士提供的灵活性与实际应用程序所需的控制。随着更强大的人工智能代理被部署在金融、医药和交通等敏感领域，这种可控性将变得至关重要。

代理的部署选项

许多人工智能代理的研究框架只关注本地原型设计，但代理提供了现实世界部署的途径：

命令行界面

通过 CLI 进行默认交互

可视化界面

通过 Gradio 提供基于 Web 的 GUI

API 服务器

可以使用 FastAPI 包装代理并将其用作 API 端点

API 服务器选项特别允许代理作为后端智能服务集成到业务应用程序中。这使得能够创建由人工智能代理支持的面向用户的产品。

可部署性有助于将代理系统从研究原型转变为实用的软件解决方案，从而加速对现实世界的影响。智能体的可访问性有助于传播人工智能的进步。

代理中心

为了促进协作，Agents 的创建者还推出了 Agent Hub——一个用于共享和发现 AI 代理设计的在线平台。

该中心允许他们在现有共享代理的基础上构建，而不是要求每个开发人员从头开始设计代理。用户可以将使用代理创建的代理发布到中心并下载其他人发布的代理。

这种交换可以通过促进代理组件的模块化重用来显着减少开发人工智能解决方案所需的工作量。它还可以通过开放共享架构来进行社区审查和改进代理设计。

随着时间的推移，该中心可能会成长为一个有价值的库，其中包含不同领域的可重用代理技能和行为。这种公共资产可以帮助加速人工智能技术的进步和采用。

对比分析

与 Anthropic 的宪法 AI 和 Cohere 的 Mosaic 等其他框架相比，Agents 的一些独特优势包括：

通过 SOP 结构更好地控制座席行为

从开发到部署的端到端支持

最先进的内存功能，例如长期向量内存

多智能体协作的动态动作调度

工具 API 和 Web 导航的集成

支持 CLI 交互和 API 部署

用于实现可控性的 SOP 方法和所提供功能的广度使 Agents 能够在实现复杂、可靠的现实世界代理方面脱颖而出。

它确实提供了迄今为止任何框架给出的最佳框架。

用例

尽管还处于早期阶段，Agents 已经被用来构建各种助手：

写作辅助

——帮助作者集思广益、概述故事并提供写作反馈。使用网络搜索进行研究。

团队合作 AI

——模拟代理团队在软件开发项目上的协作。代理商担任产品经理、工程师等角色。

奇幻游戏

——特工扮演游戏大师和玩家的角色，共同构建世界并扮演奇幻冒险游戏。

客户支持

——特定领域的代理为金融服务、电子商务商店等提供销售和支持。

这些初始应用展示了应用代理的广泛可能性，从创意到工程到娱乐和客户服务。

🛠 安装

Github 链接 — https://github.com/aiwaves-cn/agents

选项 1. 从源代码构建

选项 2. 通过 PyPI 安装

用法

🛠生成配置文件

选项1.手动填写配置模板

调整example/{Muti|Single_Agent}/{target_agent}/config.json

选项 2. 尝试使用WebUI来自定义配置文件。

http://www.aiwaves.cn/create-agent/

还没弄清楚如何编写 JSON 文件？查看文档！https://agents-readthedocsio.readthedocs.io/en/latest/index.html

代理中心

作者提供了一个 AgentHub，您可以在其中搜索我们或其他开发人员共享的有趣 Agent，尝试它们或使用它们作为定制您自己的 Agent 的起点。

用于自动上传您的定制代理的 WebUI 即将推出！

📷 示例和演示

作者在这里提供了单代理和多代理系统的示例配置文件、代码和演示。

https://github.com/aiwaves-cn/agents/tree/master/examples

网络演示

客户服务代表（https://www.aiwaves.cn/customer-service-agent/）

辩论（https://www.aiwaves.cn/debate/）

软件公司（https://www.aiwaves.cn/software-company/）

小说工作室（https://www.aiwaves.cn/fiction-studio/）

未来路线图

即将发展的代理计划可能包括：

与 Gmail、Google Sheets 等更多工具 API 集成。

支持虚拟或物理环境中的实体代理

可视化界面生成器可简化 SOP 图形创建

强化学习以优化 SOP 和工具集成

监控、可中断性和保密性等治理机制

促进无代码开发和部署的商业平台

目的是继续扩展功能，同时随着采用的扩展保持框架的可访问性和可信性。

结论

代理框架解决了将最新人工智能研究进展转化为实际代理应用的关键挑战。它简化了开发，同时保留了实际使用所需的高级功能。

通过将非专家的可访问性与研究人员的可扩展性相结合，Agents 旨在使人工智能代理在技术社区和更广泛的社会中更具影响力。开源生态系统可以帮助实现人工智能的民主化。

Agents 的初始版本提供了坚实的基础，其未来的方向将由社区参与决定。任何对推进和应用人工智能代理感兴趣的人都应该考虑参与其中。今天正在构建下一代智能助手。

参考

Zhou, Wangchunshu, et al. “Agents: An Open-source Framework for Autonomous Language Agents.” arXiv preprint arXiv:2309.07870 (2023).

文章来源：https://levelup.gitconnected.com/agents-framework-next-evolution-in-ai-you-must-know-13804158a1d3

⚠️

免责声明

📣 感谢您阅读本文！

如果您发现本文对您有所帮助，请与您的朋友和家人分享，以使更多人受益。

打造最佳教育未来：AI代理如何颠覆K-12教育？

Tue, 26 Sep 2023 00:00:00 GMT

💡

摘要卡

本文讨论了如何利用人工智能代理（AI Agent）颠覆 K-12 教育，并介绍了 AI Agent 在个性化学习、适应性学习、实时反馈、虚拟辅导和自动评分等方面的应用。 ✨ 个性化学习：AI Agent 可以根据学生的表现和学习风格创建个性化学习计划，提高学习效果。 ✨ 适应性学习：AI Agent 可以根据学生的进度和需求调整教学材料，帮助学生更好地学习。 ✨ 实时反馈：AI Agent 可以提供学生作业的即时反馈，帮助学生改进学习成果。 ✨ 虚拟辅导：AI Agent 可以为学生提供一对一的虚拟辅导，满足他们在特定学科上的需求。 ✨ 自动评分和评估：AI Agent 可以自动对学生作业进行评分和评估，减轻教师的工作负担。

人工智能（AI）正在迅速改变许多行业，教育也不例外。AI Agent是可以自主执行任务的软件程序，有可能以多种方式颠覆 K-12 教育。

K-12 教育应用

个性化学习

AI Agent在教育领域最令人兴奋的潜在应用之一是个性化学习。AI Agent可用于分析个别学生表现和学习风格的数据，为每个学生制定个性化的学习计划。这可以帮助所有学生更有效、更高效地学习。

例如，AI Agent可用于识别在特定科目上有困难的学生，并为他们提供额外的支持和资源。或者，可以使用AI Agent来创建根据每个学生的兴趣和学习需求量身定制的个性化课程计划。

适应性学习

AI Agent还可用于创建自适应学习平台。自适应学习平台能够根据每个学生的表现调整材料的难度和教学节奏。这可以帮助学生按照自己的节奏并以最适合其个人需求的方式学习。

例如，如果学生能够快速掌握概念，自适应学习平台可以为他们提供更具挑战性的材料。或者，如果学生在某个特定概念上遇到困难，自适应学习平台可以为他们提供更多支持和练习。

实时反馈

AI Agent还可以为学生提供作业的实时反馈。这可以帮助学生立即发现并纠正错误。这可以带来更好的学习成果。

例如，AI Agent可用于对学生论文进行评分，并提供有关语法、拼写和句子结构的反馈。或者，AI Agent可以用来对学生的数学问题进行评分，并就他们犯的错误提供反馈。

虚拟辅导

AI Agent还可用于为学生提供虚拟辅导。虚拟导师可以为学生提供任何学科的一对一支持和指导。这对于在特定科目上需要额外帮助或独立学习的学生特别有帮助。

例如，学生可以使用虚拟导师来获得解决困难数学问题的帮助或练习外语。

自动评分和评估

AI Agent还可用于自动对学生作业进行评分和评估。这可以让教师腾出时间专注于教学并为学生提供个性化支持。

例如，AI Agent可用于对多项选择测试进行评分或对论文进行评分。

其他潜在应用

除了上面列出的应用之外，AI Agent还可以用于以各种其他方式支持教育，例如：

提供管理支持：AI Agent可以帮助完成安排、评分和提供反馈等任务。这可以让教师有时间专注于教学和其他重要任务。

创建引人入胜的学习体验：AI Agent可用于创建交互式且引人入胜的学习体验，例如模拟和游戏。这可以帮助学生更有效、更愉快地学习。

支持有特殊需要的学生：AI Agent可用于为有特殊需要的学生提供支持和住宿。例如，人工智能驱动的文本转语音和语音转文本工具可以帮助有视觉障碍或阅读障碍的学生。

AI Agent对 K-12 教育的影响

将人AI Agent引入 K-12 教育有可能对学生的学习方式产生重大影响。AI Agent可以帮助个性化学习，适应每个学生的进度和学习风格，提供实时反馈，并提供虚拟辅导。这可以为所有学生带来更好的学习成果。

此外，AI Agent可以让教师腾出时间专注于教学，并为学生提供个性化支持。这也可以为学生带来更好的学习成果。

挑战和道德考虑

虽然AI Agent有可能彻底改变 K-12 教育，但也存在一些挑战和道德考虑需要解决。

一项挑战是AI Agent可能存在偏见。这是因为AI Agent是根据从现实世界收集的数据进行训练的，而现实世界是有偏见的。如果人工智能代理接受的数据训练对特定人群有偏见，那么AI Agent也会对该人群产生偏见。

另一个挑战是AI Agent可以用来自动化当前由教师执行的任务。这可能会导致一些教师失业。

在将AI Agent广泛部署到 K-12 教育中之前，解决AI Agent相关的挑战和道德考虑非常重要。

常问问题

问：在 K-12 教育中使用 AI Agent有哪些好处？

答：在 K-12 教育中使用 AI Agent的一些好处包括：

个性化学习：AI Agent可用于为每个学生创建个性化学习计划，基于

适应性学习：人工智能驱动的学习平台可以适应每个学生的节奏和学习方式。

实时反馈：人工智能可以为学生的作业提供即时反馈。

虚拟辅导：人工智能驱动的虚拟导师可以为学生提供一对一的支持和指导。

自动评分和评估：人工智能可以自动对学生作业进行评分和评估。

问：在 K-12 教育中使用人AI Agent有哪些挑战？

答：在 K-12 教育中使用AI Agent的一些挑战包括：

偏见：AI Agent可能存在偏见，这可能导致对学生的不公平待遇。

工作取代：AI Agent可以自动化当前由教师执行的任务，这可能导致一些教师失业。

成本：AI Agent的开发和部署成本可能很高。

问：在 K-12 教育中使用AI Agent有哪些道德考虑？

答：在 K-12 教育中使用AI Agent相关的一些道德考虑因素包括：

隐私：AI Agent收集学生数据，这些数据可用于在未经学生同意的情况下跟踪和监控学生。

透明度：对于学生和家长如何在教育中使用AI Agent，保持透明度非常重要。

问责制：制定问责措施非常重要，以确保AI Agent得到公平和合乎道德的使用。

结论

AI Agent有可能彻底改变K-12 教育。然而，在AI Agent广泛应用于教育之前，解决与AI Agent相关的挑战和道德考虑非常重要。

通过仔细规划和实施AI Agent的使用，我们可以确保所有学生都有机会从这项创新技术中受益。

作者：Santosh Kumar AV

资讯｜谷歌Bard推出全新功能，助您探索AI世界的无限可能性

Tue, 19 Sep 2023 00:00:00 GMT

谷歌今天宣布了Bard的新版本，这是一款功能更强大的生成式AI聊天机器人，与ChatGPT竞争。新的Bard版本带来了许多令人兴奋的功能，让用户能够更好地使用和探索AI技术。在AI技术的迅猛发展下，Google的Bard聊天机器人推出了全新的功能，让您能够更仔细地检查其答案，并与他人协作。这是Google在AI领域的最新突破，为用户带来了更多的便利和可能性。

Bard升级：更强大的模型

Bard的最新版本采纳了用户的反馈和建议，因此它更加直观、富有想象力，并且响应速度更快。无论您是需要Bard帮助您创作有趣且富有创意的内容，还是希望以40多种语言之一与Bard进行对话，亦或是需要深度编程协助，Bard都能够以更高的质量和准确度帮助您探索各种可能性。通过与谷歌搜索的强大功能结合，您现在可以使用G按钮核查Bard生成的回答。这意味着当Bard给出回答时，它会在回答中突出显示相应的陈述，并根据Google搜索结果对其进行评估。这样，您可以更加确信Bard给出的回答是准确和可靠的。另外，如果有其他人通过Bard的公共链接与您分享对话，您可以使用自己的账号继续与他们对话。这样，您可以更轻松地将他人分享的对话作为切入点，展开自己的创意探索。在多方协作中，灵感和创新的可能性更大。

深入了解Bard的功能

探索AI的巨大影响和潜在价值

通过Bard，我们可以看到AI技术在各个领域的应用和潜力。无论您是学生、科技爱好者还是企业决策者，都可以从这些最新的AI资讯和深入见解中获益。可以探索AI的巨大影响和潜在价值，激发对AI的好奇心和热情。

与谷歌应用程序和服务集成

最新版的Bard与谷歌的应用程序和服务集成，包括Gmail、Docs、驾车、地图、YouTube和Google航班和酒店。这意味着您可以直接在Bard中与这些应用程序和服务进行交互，实现更高效的工作和娱乐体验。

个人数据保护与安全

谷歌非常重视个人数据的保护与安全。在新的Bard版本中，个人数据不会用于强化学习，保护用户隐私。此外，用户在使用Bard时，可以随时撤销Bard与Gmail、Drive和Docs的交互权限，保持对个人数据的控制。

验证Bard的响应

为了确保Bard的回答准确可信，谷歌改进了Bard中的“Google it”按钮。它会根据Google搜索验证Bard写下的每个句子，以查看网络上是否有内容来证实答案。用户可以点击突出显示的短语，通过Google搜索了解更多信息。这个功能能够帮助用户更好地理解人工智能何时出现“幻觉”，即何时基于错误信息提供响应。

协作与共享

新的Bard版本还引入了协作与共享功能。当其他人通过公共链接与您共享Bard聊天时，您可以继续对话并向Bard询问其他相关问题。这使得团队合作变得更加便捷和高效。

多语言支持和智能镜头功能

Bard支持40多种语言，让您可以用自己熟悉的语言与其进行对话。此外，Bard还可以根据您的需求修改回答的简洁度、详细度、专业度或随意度。这些功能将帮助您更好地控制创意流程，激发新的想法，并将创意变为现实。

结语

以上是关于谷歌Bard的最新功能和用户体验的介绍。这个新版本的Bard与谷歌的应用程序和服务集成，保护用户个人数据的隐私与安全，并提供验证Bard响应的功能。同时，它还支持团队协作与共享。有了这些新功能，我们相信Bard将进一步推动人工智能技术的发展和应用。如果您对Bard的新功能感兴趣，可以在谷歌的官方博客(https://blog.google/products/bard)了解更多详情。

👉

本网站内容均由 Inevitable AI整理收录，仅供学习和研究使用。如有版权问题，请联系我们进行删除处理。

转载合作请务必得到我们的授权，并注明出处。未经授权擅自转载本网站内容的，我们将保留追究其相关法律责任的权利。