[奨励賞] 長沼 大樹 / Université de Montréal

Hiroki Naganuma, Ph.D.

[分野:コンピュータ・情報科学]

論文リンク

Pseudo-Asynchronous Local SGD: Robust and Efficient Data-Parallel Training | OpenReview

論文タイトル

Pseudo-Asynchronous Local SGD: Robust and Efficient Data-Parallel Training

掲載雑誌名

Transactions on Machine Learning Research

論文内容

本研究の主眼は、昨今の ChatGPT など大規模な言語モデル(LLM)を、データセンターや大陸間で効率的に学習するための分散学習アルゴリズムについてです。

研究の背景として、昨今のLLM は膨大な計算リソースが必要になっており、一つのデータセンターでは足りず、複数のデータセンターを地域、国、大陸を跨いで学習する方法が必要となることが予想されています。

ただし、膨大なデータ量を持つLLMをこれらのデータセンター間を跨いで逐次データ通信を行うことがボトルネックとなります。また、単に通信頻度を落としてしまうと、モデルの性能が劣化してしまうトレードオフが存在します。

本研究では、このデータ通信頻度を落としつつ、個々のデータセンターでそれぞれモデルの学習を行い、それらの学習の進捗を、低い頻度で同期することで、同期を抑えつつ高品質なモデルを学習するアルゴリズムを考案しました。

キーとなるアイディアとして擬似的な通信効果をアルゴリズムに組み込むことで、モデルの性能劣化を抑えつつ、通信も削減します。

理論的な解析結果だけでなく、いくつかの公開データでのベンチマークで、アルゴリズムを比較した結果、我々の提案手法が、トレードオフを大幅に緩和し、通信頻度を95%以上抑え、23%近い学習の高速化を達成しました。

受賞者のコメント

この度はUJA論文賞をいただき、大変光栄に思います。本研究はMicrosoft Researchでのインターン中に着想を得て、Milaの指導教員や共同研究者の方々と共に長い時間をかけて完成させたものです。海外で挑戦する若手研究者を支援してくださるUJAの皆様、そして日々支えてくれている共同研究者・家族に心から感謝いたします。

審査員コメント

矢部 貴大先生

より効率的な大規模モデルのトレーニングを実現するための非同期並列処理アルゴリズムを提案した論文である。筆者らが挙げる比較手法との精度・計算時間の比較が丁寧に整理されており、分野外の私にも理解しやすい内容であった。近年は生成画像や動画などの成果が注目されがちだが、こうした基盤的な要素技術の重要性を改めて認識させられた。

正田 哲雄先生

大規模モデルの学習において課題となる通信のボトルネックに対し、疑似同期（Pseudo-synchronization）という確率的なアプローチで解決を図った点が大変興味深かったです 。個々の計算機が自律的に動きつつ全体としての整合性を保つメカニズムは、生命現象にも通じる美しさがあり、通信コストの削減と精度維持のトレードオフを見事に克服している点を高く評価いたします 。

師子鹿 大悟先生

本論文は、大規模分散環境における機械学習の学習効率向上を目的として、通信頻度を抑えつつモデルの整合性を維持する手法を提案した研究です。特に、確率的にグローバルモデルへと引き寄せる仕組みにより、通信コストと性能のトレードオフを緩和している点が興味深いと感じました。提案手法については、理論的な裏付けが明確に示されているとともに、実験面からも説得力のある結果が得られており、印象的でした。大規模言語モデル（LLM）に代表される近年の機械学習では、分散学習における通信コストが重要なボトルネックとなっており、本研究はその課題に対する有効なアプローチを示していると評価できます。

１）研究者を目指したきっかけ

高校1年の時、東日本大震災のビッグデータを活用して二次災害を防ごうとする取り組みを知り、大きな影響を受けました。「大規模なデータをコンピュータで高速に処理すれば、社会の問題を解決できるかもしれない」と感じたのがきっかけです。高校で実際にデータ処理の研究を卒業論文としてまとめ、その後、高性能計算の分野で最も研究テーマが近い教授が所属していた東京工業大学に進学しました。大学では化学や物理のシミュレーションだけでなく、人工知能の学習を速くする研究にも出会い、「スーパーコンピュータの力で世の中の課題を解決したい」という思いが研究者を目指す原動力になりました。

２）現在の専門分野に進んだ理由

現在取り組んでいるのは、深層学習（ディープラーニング）の学習を複数のコンピュータで効率よく行う「分散学習」の研究です。ChatGPTのような大規模AIモデルの学習には何千台ものコンピュータが必要ですが、コンピュータ同士の通信がボトルネックとなり、台数を増やしても思うように速くなりません。この通信の壁をどう乗り越えるかという問題は、学士課程から修士課程にかけて高性能計算と機械学習の両方を学ぶ中で自然と興味を持ったテーマです。数学的な理論と実際の大規模実験の両面からアプローチできる点に魅力を感じ、世界トップクラスの深層学習理論の研究機関であるMilaに進学して本格的に取り組んでいます。

３）この研究の将来性

本研究で提案したPALSGDという手法は、AIモデルの学習時にコンピュータ間の通信回数を大幅に減らしながら、学習の質を保つことができます。これにより、大規模AIモデルの学習にかかる時間とコストを削減でき、医療画像の解析、気象予測、創薬など、膨大な計算を必要とするAI応用の実現を加速できる可能性があります。特に、地理的に離れたデータセンター間での学習（例えば日本とアメリカのスーパーコンピュータを同時に使う場合）において、通信遅延の影響を軽減できるため、国際的な研究協力や計算資源の効率的な活用に貢献することが期待されます。

留学中のサポートやコミュニティについて

北米での博士課程の生活では、モントリオールアカデミー会やシアトル日本人研究者の会をはじめとする海外日本人研究者コミュニティの存在が大きな支えになっています。分野を超えた日本人研究者同士の情報交換や交流は、異国での研究生活における精神的な支柱であり、キャリアに関する相談ができる貴重な場です。

留学や研究生活にまつわるエピソード

カナダ・モントリオールのMilaに博士課程で留学し、世界中から集まる研究者たちと切磋琢磨する日々を送っています。本研究はMicrosoft Researchでのインターン中に共同第一著者の同僚と出会い、アイデアを議論する中から生まれました。異なるバックグラウンドを持つ研究者との協働は、一人では思いつかない視点を与えてくれます。留学前は高性能計算の分野にいましたが、海外に出たことで統計数理や最適化理論の観点から自分の研究を見直す機会を得て、研究の幅が大きく広がりました。留学を目指す方へ――慣れない環境に飛び込むことは大変ですが、その分、予想もしなかった出会いや発見が待っています。ぜひ一歩を踏み出してみてください。