全分布式動態附載平衡
我們今天有m個job n個process
每個process先處理floor(m/n)個
除不盡的話最後一個node先多領一點
然後每個process有另一個thread
負責回報剩餘工作並交付給其他process
如果有process做完了 會先輪詢這些thread找剩最多的 跟他領一個job
另外還有一個thread在rank0接收其他process處理完的結果
然而
process一多 不知道怎麼就動不了了= =
好像是回收資料的時候會炸
怪

這樣萬一新的job需要相依前面的計算結果 但是前面還沒做完不就炸了

不需要 無記憶性