📄️ 接入LLM供应商
在开始创建 AI 服务之前,首先需要配置 AI 模型供应商。APIPark 支持超过100种 AI 模型,包括 OpenAI、Anthropic、AWS Bedrock、Google Gemini等。
📄️ 一键部署开源LLM
APIPark 一键部署开源LLM能力支持用户通过可视化界面一键部署主流开源大语音模型(如DeepSeek、LLaMA、ChatGLM、QWen等),自动完成模型优化、服务部署、网关配置初始化等操作。开发者无需关注底层架构,数分钟内即可将开源模型在本地部署起来,并转化为符合openai请求和响应格式的API接口。可以支持集成至现有业务系统,显著降低AI应用落地门槛,助力企业快速构建智能化服务能力。
📄️ AI 模型灾备
AI 模型模型灾备是一种智能调度机制,旨在确保 AI 服务的高可用性和稳定性。当主要的 AI 供应商服务出现故障时,负载均衡能够自动将请求切换到备用的 AI 供应商上。通过这种方式,它能够有效避免因供应商问题导致的服务中断,保障 AI 应用的连续运行,提升用户体验。
📄️ APIKEY 资源池
APIKEY 资源池是一个集中管理和调配 APIKEY 的功能,为 AI 服务的稳定运行提供有力支持。在资源池中,用户可以查看和管理各个供应商的 APIKEY,包括其状态(如正常、超额、过期等)和调用优先级。通过拖拉操作,用户可以轻松调整 APIKEY 的优先级顺序,以适应不同的业务需求。当某个 APIKEY 出现超额或过期等问题时,系统自动按优先级启用其他 APIKEY ,确保AI服务的持续可用。
📄️ AI API 管理
AI API 管理用于集中展示和管理调用各个 AI 供应商的 API。用户可以通过该列表查看所有调用的 AI API 的详细信息和消耗token的情况。
📄️ 模型别名映射
通过APIPark输出的 AI 统一接口,支持全局model参数路由。可在任意已接AI接口中,通过model=供应商ID/模型名称的格式参数即可直接调用目标模型。并且自动完成渠道路由、鉴权参数传递、响应格式标准化。
📄️ 集成MCP(Model Context Protocol)
Anthropic 于 2024 年底推出了模型上下文协议(MCP)。作为一项新兴的开放协议,MCP 为 LLM 与外部应用之间构建了双向通信通道,就像是 AI 的“USB-C”接口,帮助模型发现、理解并安全调用各种外部工具或 API。这意味着: