Docs/Nginx/根据gpu使用率调度 at 28753ed290e4a2f7038e054b1a294b9478b2be0c - iProbe/Docs

History

iProbe 28753ed290 更新 Nginx/根据gpu使用率调度/获取redis中链接的lua脚本.md		2024-01-29 16:02:31 +08:00
..
openresty配置.md	更新 Nginx/根据gpu使用率调度/openresty配置.md	2024-01-29 16:00:54 +08:00
readme.md	更新 Nginx/根据gpu使用率调度/readme.md	2024-01-29 16:01:28 +08:00
获取redis中链接的lua脚本.md	更新 Nginx/根据gpu使用率调度/获取redis中链接的lua脚本.md	2024-01-29 16:02:31 +08:00

思路：

1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis
2.使用openresty+lua，获取redis中的最合适副本链接