-
Notifications
You must be signed in to change notification settings - Fork 13
Open
Description
背景說明
想請問分散式推論系統時,預計將一台配備 RTX 4090 的主機,和另一台配備雙 RTX 4060 的主機一起組成一個分散式推論集群。
根據一般對「木桶效應」與瓶頸風險的理解。
問題描述
裝置配置:
主機A:RTX 4090 x1
主機B:RTX 4060 x2
推論任務分配:採用自動或平均分配,每台主機各自負責一部分推論工作。
疑問:
在這種異質GPU混合分散式推論情境下,最終推論速度是否會受到較慢4060(甚至4060中較慢的一張)的影響?
4090 的運算優勢是否會被 4060 的效能拉低,使得整體推論速度趨近於 4060 主機的效能?
參考說明
木桶效應: 整體推論速度取決於節點中最慢的裝置
瓶頸風險: 如果有一個裝置特別慢,例如加入了一個僅有CPU沒有GPU的裝置,任務很可能會都卡在那個裝置上
建議: 使用性能相近的設備組成分散式網路,避免性能差異過大
Metadata
Metadata
Assignees
Labels
No labels