• The University of Tokyo / RIKEN
  • tsuzukums.k.u-tokyo.ac.jp

NCCL2.3

今日のニュースと言えばNCCLのオープンソース化ですね。 気合いを入れれば読み切れそうな分量だったので読むかもリストに入れたけれど 結局読まない気もする。 NVIDIAがチューニングしたライブラリなのでこれを読むだだけで 分散GPGPUに関してかなりの知見が得られそうで読むコスパは良さそう。
github
blog

同時にPFNの方からもall-reduceのprototypeが発表されてアツい。 僕もこういうコンピュータサイエンスやってる感の強いバイトをしてみたさがある。
github
blog