Docs/Others/根据gpu使用率调度 at 113cb0b49d8de8c7ffc2d872b31a393b5751bb11 - iProbe/Docs

History

iProbe 113cb0b49d 添加 Others/根据gpu使用率调度/openresty配置.md		2024-01-25 16:15:16 +08:00
..
openresty配置.md	添加 Others/根据gpu使用率调度/openresty配置.md	2024-01-25 16:15:16 +08:00
readme.md	更新 Others/根据gpu使用率调度/readme.md	2024-01-25 16:13:44 +08:00
获取gpu使用率脚本.md	添加 Others/根据gpu使用率调度/获取gpu使用率脚本.md	2024-01-25 16:10:38 +08:00
获取redis中链接的lua脚本.md	添加 Others/根据gpu使用率调度/获取redis中链接的lua脚本.md	2024-01-25 16:14:39 +08:00

思路：

1.使用python获取gpu使用率，推送绑定gpu的大模型副本链接及使用率到redis
2.使用openresty+lua，获取redis中的最合适副本链接