Skip to content

Commit d2188d5

Browse files
committed
update config_example
1 parent 59285cd commit d2188d5

File tree

2 files changed

+3
-2
lines changed

2 files changed

+3
-2
lines changed

README.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -15,7 +15,7 @@
1515
本项目依托fastchat的基础能力来提供**openai server**的能力.
1616

1717
1. 支持**Chat****Embedding****ReRanker****text-moderation(文本审核,分类)****ASR****TTS(支持声音克隆)** 模型的 **openai**规范 接口服务。
18-
2. 支持**vLLM****LMDeploy****SGLang** 多种加速推理后端引擎。
18+
2. 支持**HF****vLLM****LMDeploy****SGLang** 多种加速推理后端引擎。
1919

2020
如果 GPT Server 对您有帮助,欢迎留下一个 ⭐ Star!
2121
<br>
@@ -25,7 +25,7 @@
2525

2626
## 特色✨
2727

28-
1. 支持多种推理后端引擎,**vLLM****LMDeploy****SGLang****LMDeploy**后端引擎,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍
28+
1. 支持多种推理后端引擎,**HF****vLLM****LMDeploy****SGLang****LMDeploy**后端引擎,每秒处理的请求数是 vLLM 的 1.36 ~ 1.85 倍
2929
2. 支持了Infinity后端,**Embedding**推理速度大于onnx/tensorrt,支持动态组批
3030
3. 支持所有兼容sentence_transformers的语义向量模型(Embedding和Reranker)
3131
4. 支持guided_decoding,强制模型按照Schema的要求进行JSON格式输出。

gpt_server/script/config_example.yaml

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -21,6 +21,7 @@ model_worker_args:
2121
# model worker 的配置参数
2222
host: 0.0.0.0
2323
controller_address: http://localhost:21001 # # 将模型注册到 控制器的 地址
24+
log_level: WARNING
2425

2526
models:
2627
- qwen:

0 commit comments

Comments
 (0)