iProbe/Docs
0
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity
Docs/Nginx/根据gpu使用率调度
History
iProbe f2d623e4a5 更新 Nginx/根据gpu使用率调度/readme.md
2024-01-29 16:01:28 +08:00
..
openresty配置.md 更新 Nginx/根据gpu使用率调度/openresty配置.md 2024-01-29 16:00:54 +08:00
readme.md 更新 Nginx/根据gpu使用率调度/readme.md 2024-01-29 16:01:28 +08:00

readme.md

思路：

1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis
2.使用openresty+lua，获取redis中的最合适副本链接