生成AI研究を、要点から追う。

性能か分散対応か――レイアウト抽象

モデルの「分散」と「カーネル最適化」は、同じ言葉で語れないまま別々に進化してきたのでは？ 分散はデバイスメッシュの上で語られ、カーネルはスレッドやメモリ階層の上で語られる──その“距離”が、最適化の議論そのものを難しくしているようにも見えます。