File tree 2 files changed +3
-2
lines changed
2 files changed +3
-2
lines changed Original file line number Diff line number Diff line change 15
15
本项目依托fastchat的基础能力来提供** openai server** 的能力.
16
16
17
17
1 . 支持** Chat** 、** Embedding** 、** ReRanker** 、** text-moderation(文本审核,分类)** 、** ASR** 、** TTS(支持声音克隆)** 模型的 ** openai** 规范 接口服务。
18
- 2 . 支持** vLLM** 、** LMDeploy** 和** SGLang** 多种加速推理后端引擎。
18
+ 2 . 支持** HF ** 、 ** vLLM** 、** LMDeploy** 和** SGLang** 多种加速推理后端引擎。
19
19
20
20
如果 GPT Server 对您有帮助,欢迎留下一个 ⭐ Star!
21
21
<br >
25
25
26
26
## 特色✨
27
27
28
- 1 . 支持多种推理后端引擎,** vLLM** 、** LMDeploy** 和** SGLang** ,** LMDeploy** 后端引擎,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍
28
+ 1 . 支持多种推理后端引擎,** HF ** 、 ** vLLM** 、** LMDeploy** 和** SGLang** ,** LMDeploy** 后端引擎,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍
29
29
2 . 支持了Infinity后端,** Embedding** 推理速度大于onnx/tensorrt,支持动态组批
30
30
3 . 支持所有兼容sentence_transformers的语义向量模型(Embedding和Reranker)
31
31
4 . 支持guided_decoding,强制模型按照Schema的要求进行JSON格式输出。
Original file line number Diff line number Diff line change @@ -21,6 +21,7 @@ model_worker_args:
21
21
# model worker 的配置参数
22
22
host : 0.0.0.0
23
23
controller_address : http://localhost:21001 # # 将模型注册到 控制器的 地址
24
+ log_level : WARNING
24
25
25
26
models :
26
27
- qwen :
You can’t perform that action at this time.
0 commit comments