iProbe/Docs
0
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity
Docs/Others/根据gpu使用率调度
History
iProbe 3233105131 添加 Others/根据gpu使用率调度/readme.md
2024-01-25 16:13:25 +08:00
..
readme.md 添加 Others/根据gpu使用率调度/readme.md 2024-01-25 16:13:25 +08:00
获取gpu使用率脚本.md 添加 Others/根据gpu使用率调度/获取gpu使用率脚本.md 2024-01-25 16:10:38 +08:00

readme.md

思路：

1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis 2.使用openresty+lua，获取redis中的最合适副本链接