iProbe/Docs
0
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity
Docs/Nginx/根据gpu使用率调度/readme.md

174 B
Raw Blame History

思路：

1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis
2.使用openresty+lua，获取redis中的最合适副本链接