AI 服务(AI 网关)
👀 随着 AI 快速发展,不同 AI 供应商(包括开源和自托管模型)的 API 设计和调用方式不一致,导致开发人员和企业使用和管理 AI 服务的方式变得非常复杂。
✨ APIPark 的 AI Service (AI Gateway) 提供了对多个 AI 模型的统一接入管理,帮助开发者快速集成和调用各种 AI 模型。APIPark 通过统一的 API 格式来简化调用过程,减少切换模型的复杂性,并且支持将 Prompt 封装成标准 REST API,以便于 API 的复用和共享。APIPark 支持 API 全生命周期的管理,包括从设计、发布到调用和下线的全过程,同时还提供订阅审批机制,有助于提高数据安全性。
📍 使用 APIPark AI 服务有以下步骤:
- 设置 AI 模型供应商
- 创建并发布 AI 服务
- [可选] 创建消费者并订阅服务
- [可选] 调用 API
设置AI模型供应商
在开始创建 AI 服务之前,首先需要配置 AI 模型供应商。APIPark 支持超过100种 AI 模型,包括 OpenAI、Anthropic、AWS Bedrock、Google Gemini等。配置供应商后,您可以选择不同的模型来创建 AI 服务,并在 APIPark 中统一管理所有 AI 服务的授权信息和成本统计。
进入 系统设置 模块,在侧边栏中选择 AI 模型管理,在列表中可以看到 APIPark 支持的所有 AI 供应商。
以接入 OpenAI 为例,点击设置按钮,在弹窗中:
- 选择 默认的 AI 模型:后续在 AI 服务中创建 API 时,系统会自动为 API 设置默认的 AI 模型,减少用户操作的次数。
- 填写 供应商配置:每个供应商有不同的配置信息,系统会自动根据你选择的供应商来生成所需的配置信息。配置信息一般可以在供应商的 Open API 管理后台获得,你可以在弹窗左下角找到快速跳转到供应商官网的按钮。
💡 如果 APIPark 没有支持你使用的 AI 供应商,欢迎 🔗 给我们提交 Issue
创建并发布 AI 服务
1. 创建 AI 服务
进入 工作空间 模块,在侧边栏中选择 服务,然后 创建服务,填写:
- 服务名称
- 服务 ID:服务的唯一标识,一旦保存无法修改。
- 服务类型,选择 AI 服务:
- AI 服务:AI 网关,通过 APIPark 将不同的 AI 模型和 Prompt 转换为统一的 REST API。
- REST 服务:传统的 API 网关,可以接入微服务或者 HTTP REST API。
- 默认 AI 供应商:选择服务内的 API 默认使用哪个 AI 供应商。
- API 请求前缀:为该服务的所有 API 设置统一的请求前缀,一旦保存无法修改。
- 团队:如果你加入了多个团队,你需要设置哪个团队负责管理这个服务。
- 订阅审核:
- 无需审核:所有消费者都可以订阅和调用该服务。
- 人工审核:只有审核通过的消费者可以调用该服务。
- 服务分类:选择服务发布到 API 门户的哪一个分类。
2. 创建 API
创建服务之后,APIPark 会自动在服务里创建一个默认的 聚合 API(Unified API),你可以直接通过这个聚合 API 来调用 AI 服务。
如果你需要将 Prompt 提示词和 AI 模型组合成自定义的 AI API,在 API 页面点击 创建 API,填写:
- API 名称
- API 请求路径
- Prompt 提示词:定义AI需要执行的操作,比如你可以通过提示词将AI变成一个翻译API,或者是数据分析API。
- 变量:如果你希望将API的请求内容拼接在提示词中,就可以使用变量功能。提示词中可以使用
{{param}}
的方式定义变量,变量会作为API的请求参数。 - API 描述
- 超时时间:API 请求一般会限制超时时间,避免大量超时的请求影响 APIPark 的性能。
- 最大重试次数:当API请求超时,或者AI模型返回错误时,APIPark 会自动重试请求,如果超过最大重试次数,则 APIPark 会返回错误信息给调用方。
当你创建了 API,APIPark 会自动生成 API 文档,你可以在侧边栏选择 API 文档 查看。
3. 发布服务
✨ 如果服务的 API、API 文档、使用介绍、上游 发生了变化,你需要发布新版本让新配置生效。
在侧边栏选择 发布,然后点击 新建版本,填写:
- 版本号
- 版本说明
点击 确认 即可完成发布。
💡 如果这是首次发布服务,服务会出现在 API 门户,并且可以被 消费者 订阅。 💡 如果服务开启了 人工审核,订阅了服务的 消费者 需要等待 服务管理员 审核通过之后才能调用 API。
[可选] 创建消费者并订阅服务
APIPark 提供了 API 门户 功能,用户可以将服务发布到 API 门户并且被其他用户查看、订阅和调用。
为了保证安全、规范地使用 API,并且降低 API 的管理成本。用户需要先创建 消费者,并通过消费者订阅服务,然后再使用消费者的 授权证书 来调用 API。