iProbe/Docs
0
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity

更新 Others/根据gpu使用率调度/readme.md

Browse source
This commit is contained in:
iProbe 2024-01-25 16:13:44 +08:00
parent 3233105131
commit f95d974c68
1 changed files with 2 additions and 2 deletions
Download patch file Download diff file Expand all files Collapse all files

4
Others/根据gpu使用率调度/readme.md
View file

@ -1,3 +1,3 @@
## 思路： ## 思路：
1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis 1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis
2.使用openresty+lua，获取redis中的最合适副本链接 2.使用openresty+lua，获取redis中的最合适副本链接