LLMの事後学習におけるパラメータサーバの再考

要約

大規模言語モデル（LLM）の事後学習において、シーケンス長のばらつきによるワークロードの不均衡が課題となっている。従来のFSDPは同期バリアによって速度低下を招くため、パラメータサーバーの概念を応用した「On-Demand Communication (ODC)」を提案。ポイントツーポイント通信と非同期処理により、最大36%の高速化を実現した。

全文は有料プランで閲覧できます。