gpt_server: gpt_server是一个用于生产级部署LLMs、Embedding、Reranker、ASR、TTS、文生图、图片编辑和文生视频的开源框架

作者 shell-nlp · LLM 插件 · ★ 253

最后更新： · 由 Agent Skills Hub 收录 · 每 8 小时同步一次

怎么安装 gpt_server

docker pull 506610466/gpt_server:latest # 如果拉取失败可尝试下面的方式
docker pull docker.xuanyuan.me/506610466/gpt_server:latest

命令取自这个项目在 GitHub 上的 README。

安全审计结论：安全 · 质量分 65/100

42 条规则都没有命中：没有凭证窃取，没有数据外泄，没有 curl | sh 式安装。按慢雾（SlowMist）agent 安全分类法建立的 42 条公开规则扫描，每 8 小时更新一次。

质量分综合九项启发式检查：完整度、清晰度、具体程度、示例、结构、对 agent 的友好度、分步内容、指令质量和安全提示。它衡量的是项目把自己讲清楚的程度，不是代码质量。

asrembeddingfastchatfunction-callinggptinfinityllamallmlmdeployopenai

基本信息

Star 数253
Fork 数23
语言Python
分类LLM 插件
许可证Apache-2.0
质量分65/100
未关闭的 Issue3
最后更新2026-05-09
创建时间2023-12-16
支持平台python
估计 Token 数~402k

关于 gpt_server

GPT Server [![License][license-shield]][license-url] [![Stars][stars-shield]][stars-url] [![Forks][forks-shield]][forks-url] [![Docker pulls][docker-pulls]][docker-pulls] [![CI Status][ci-shield]][ci-url] [![issue resolution][closed-issues-shield]][closed-issues-url] 本项目依托fastchat的基础能力来提供openai server的能力.

兼容技能

和 gpt_server 搭配使用的工具：

  • voicemode — semantic(0.23)+complementary+rare_topics+same_lang+similar_pop+shared_platform (62%)
  • safeclaw — semantic(0.21)+complementary+same_lang+similar_pop+shared_platform (52%)
  • ToolRegistry — semantic(0.17)+complementary+same_lang+similar_pop+shared_platform (51%)

gpt_server 的替代品：最接近的 6 个工具

想找 gpt_server 的替代品？在 Agent Skills Hub 收录的 LLM 插件里，下面 6 个项目和它最接近，按话题重合度、星数和社区热度排序。

  • smg 作者 smg-project · ⭐ 702

    Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpee

  • smg 作者 lightseekorg · ⭐ 424

    Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpee

  • cai 作者 ad-si · ⭐ 203

    User friendly CLI tool for AI tasks. Stop thinking about LLMs and prompts, start getting results!

  • ha-claude 作者 Bobsilvio · ⭐ 86

    Home Assistant add-on: Claude Code, OpenAI/GPT, Gemini

  • chatgpt-cli 作者 kardolus · ⭐ 961

    ChatGPT CLI is a powerful, multi-provider command-line interface for working with modern LLMs. It supports Ope

  • samples 作者 strands-agents · ⭐ 926

    Agent samples built using the Strands Agents SDK.

更多 LLM 插件

其他热门的 LLM 插件：

查看全部 LLM 插件 →

热门 Python Agent 工具

这个安全评级是怎么来的

评级来自基于 SlowMist agent 安全分类法的规则扫描：42 条公开规则，覆盖凭证窃取、数据外泄、curl | sh 安装等。它是第一层扫描，不是人工审计 — 我们如实说明，不夸大。

问题规模有独立研究佐证：Liu et al. (2026) 对 31,132 个 agent skill 的研究发现，26.1% 含有安全漏洞。我们自己的全目录普查已作为可引用的开放数据集发布。

信源与负责人：

在 GitHub 上查看 → 浏览 LLM 插件