Day 4 (11/10)

招待講演：田仲正弘 (Anyscale)

題目

生成AIを支える大規模計算

概要

本講義では、ChatGPT に代表される生成 AI の開発と運用を支える大規模計算技術について解説する。分散深層学習フレームワーク DeepSpeed を例に、膨大な計算資源を用いて巨大な深層学習モデルを学習するための並列化手法を紹介し、実際の大規模モデル学習事例を通して深層学習基盤の最前線を俯瞰する。さらに、急速に注目を集める深層強化学習についても取り上げ、従来の大規模深層学習との違いやシステム設計上の課題などを概説する。

発表者紹介

Anyscale ソフトウェアエンジニア。大規模分散深層学習システムの研究開発に従事。分散深層学習フレームワーク DeepSpeed のコアコントリビュータおよびTechnical Steering Committeeメンバーとして、長系列学習のための DeepSpeed-Ulysses など主要機能を開発。また、Microsoftにおいて、Phi-3 や MAI-DS-R1 など、2000GPU超を使用したフラグシップモデル開発にも携わる。これまでに PyTorch Annual Hackathon First Place、産経新聞社先端技術大賞 最優秀賞、ドコモ・モバイル・サイエンス賞 など多数の賞を受賞。博士（情報学）。