iProbe/Docs
0
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity
Docs/Others/根据gpu使用率调度/readme.md

170 B
Raw Blame History

思路：

1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis 2.使用openresty+lua，获取redis中的最合适副本链接