插件
插件功能是对模型能力的扩展和增强,让模型可以与外部数据和系统进行交互,每一种插件都封装了一种原子能力。
插件执行的原理是通过对用户提问的 意图识别 进行决策(也可设置为根据提问关建词进行决策)并调用对应的插件能力,比如当你问到关于最新的实时或者新闻时就会决策使用搜索插件,当你问到数学计算相关的问题就会使用计算器插件。
💻功能入口
本文是对内置插件及使用方法进行介绍,如需使用自定义的执行外部请求的插件能力,可查看自定义插件。
1. 内置插件
插件名称 | 介绍 | 触发条件 | 价格(积分) |
---|---|---|---|
当前时间 | 获取当前准确时间 | 识别用户询问的和时间有关的问题触发 | 0 |
计算器 | 可计算加、减、乘、除、次方 | 识别用户和数学运算相关的问题触发 或 设置关键词触发 | 0 |
文件生成 | 在工作流中根据输入的文本内容生成文件 | 在工作流中使用,运行到该插件节点即触发 | 0 |
默认搜索 | 通过整合大模型及爬虫能力,成本最低,时效性和准确性稍低 | 识别用户和实时信息或资讯有关的问题触发 或 设置关键词触发 | 5积分/次(不含大模型token) |
AI搜索 | AI增强搜索,结果更丰富、结构化,展示搜索结果来源,(网页端)一键跳转对应网页 | 识别用户和实时信息或资讯有关的问题触发 或 设置关键词触发 | 10积分/次(不含大模型token) |
谷歌搜索 | 使用谷歌搜索引擎获取最新信息 | 识别用户和实时信息或资讯有关的问题触发 或 设置关键词触发 | 10积分/次(不含大模型token) |
必应搜索 | 使用必应搜索引擎获取最新信息(支持用户托管自己的API Key,该Key只会被当前用户调用) | 识别用户和实时信息或资讯有关的问题触发 或 设置关键词触发 | 60积分/次(不含大模型token) |
网页速读 | 访问网页链接的内容 | 直接发送链接或者发送链接和问题 或 设置关键词触发 | 0(不含大模型token) |
内容总结 | 总结文件、微信公众号文章的内容并可开启对话 | 直接发送文件(PDF、docx、txt、微信文章)触发 | 6积分/千tokens |
豆包文生图 | 使用字节跳动豆包文生图模型进行画图 | 根据用户画图的意图触发 或 设置关键词触发 | 150积分/次 |
DALL-E文生图 | 使用Dall-E-3模型进行画图 | 根据用户画图的意图触发 或 设置关键词触发 | 200积分/次 |
Midjunery文生图 | 使用Midjunery(mj)模型进行画图 | 根据用户画图的意图触发 或 设置关键词触发 | 150积分/次 |
图像识别 | 根据图像输入进行问答 | 发送图片触发(可设置渠道端使用的触发条件:发送图即触发 或 发送图加文字提问触发) | 4o模型:1积分/15token;4-vision模型:1积分/10token claude模型:1积分/20token 千问模型:1积分/60token OCR:25积分/次 |
快递查询 | 查询指定快递单号的物流信息 | 识别提问中和快递物流查询有关的问题 或 设置关键词触发 | 5积分/次(不含大模型token) |
天气查询 | 查询指定城市的天气情况或未来天气预报 | 识别提问中和天气查询有关的问题 或 设置关键词触发 | 5积分/次(不含大模型token) |
新闻早报 | 获取昨日新闻快报 | 识别提问中获取实时新闻相关的问题 或 设置关键词触发 | 5积分/次(不含大模型token) |
2. 插件配置
在 "应用配置" - "插件配置" 模块可以配置应用需要开启的插件。每个应用在创建时会有几个自带插件,但默认是关闭的,可打开开关;同时可以点击 "添加插件" 按钮添加更多内置插件。
2.1 插件触发条件
内置插件的默认触发条件是通过对用户提问的意图识别,判断与插件能力之间的关联性。例如用户提问中带有搜索意图时会触发搜索插件。 自定义插件的触发条件是通过对用户提问的意图识别,判断与插件描述之间的关联性,具体可查看自定义插件。
也支持将插件的触发条件设置为关建词匹触发(前缀匹配、包含匹配、后缀匹配),以提高插件触发的成功率。
2.2 插件执行和思考过程
在开启插件执行过程后,执行时将会展示当前选择的插件;在开启思考过程时,同时会显示机器人分析问题和选择这个插件的思考过程。
2.3 插件执行策略
针对知识库应用,还支持选择插件执行策略:
策略说明:
- 知识库优先:对于用户问题优先去知识库中检索,未命中才会选择插件
- 插件优先:优先决策插件,插件未命中时才尝试检索知识库
- 知识库与插件同时执行:每次请求都会尝试检索知识库和选择插件,并将二者的结果汇总后进行问题回答
2.4 Agent多轮思考
对与单轮执行插件无法解决的问题,还提供了多轮思考的模式,通过多次重复 问题分析、插件执行、结果分析 的过程,最终实现目标。注意目前该功能处于实验室阶段,在插件更丰富以及意图识别优化后将会逐步加强稳定性。同时开启agent模式后将带来更多token的消耗 以及 回复的延时,请有选择地开启。
3. 外部调用
3.1 开源集成
通过 chatgpt-on-wechat 开源项目进行的集成,在该项目的1.4.0版本之后 也可以自动进行插件调用,并支持展示插件执行和思考过程。
3.2 API接入
外部接入LinkAI应用时,将同时无感支持插件能力,在 开放API 的响应中则会返回插件执行和思考过程字段,响应结构如下:
{
"agent": {
"status": "FINISHED",
"chain": [
{
"plugin_name": "谷歌搜索",
"thought": "该问题需要搜索电影《坚如磐石》的豆瓣评分,因此使用谷歌搜索引擎来获取相关信息。",
"plugin_icon": "🔎",
"plugin_input": "电影坚如磐石 豆瓣评分"
}
],
"need_show_plugin": true,
"need_show_thought": true
}
}