# 大規模言語モデル演習 (2025)


:::{admonition} お知らせ
:class: tip
- [2025.11.17] day7 - 10を公開しました。
- [2025.11.11] day5, 6を公開しました。
- [2025.11.06] day3を公開しました。
- [2025.11.04] day2を公開しました。[day4の招待講演情報](lectures/day4.md)を追加しました。
- [2025.10.29] 講義HPを公開しました。
:::

## 講義概要
本ウェブサイトは、東京大学工学部電子情報工学科・電気電子工学科の３年生向け後期実験「大規模言語モデル演習」に関するものです。

本演習では、ChatGPTといった自然言語で応答するAIシステムの基礎である大規模言語モデル（Large Language Model; LLM）について、その基礎と応用を演習を通じて学びます。これにより、LLMの仕組みを理解し、LLM自体を改良したり、あるいはLLMをツールとして用いてあらたな価値を生み出すことが出来るようになることを目指します。

本演習の受講にあたり、Python、PyTorch、uv、Hugging Face、および深層学習の基礎について既習であることを想定します。

## 講義の時間・場所
- 講義時間：3, 4限（13:00 - 16:40）
- 場所：電気系会議室4（二号館12F）
- 日程：
    - 第2ターム。全10回
    - 講義+演習（Day 1 - 3, 5）: 講義と演習を行います。
    - 招待講演（Day 4）: 招待講演を行います。 **【2025/11/4追加】**
    - 自由課題（Day 6 - 9）: チームあるいは個人で、自由課題に取り組みます。
    - 成果発表会（Day 10）: 成果発表会を行います。
- 質疑対応
    - 学科Slackの`#2025a-後期実験-大規模言語モデル演習`チャンネルでTAが対応します。



## 講義担当
- [松井 勇佑](https://yusukematsui.me/index_jp.html)（`matsui [at] hal.t.u-tokyo.ac.jp`）
- [白 定勳](https://jeonghunbaek.notion.site/Jeonghun-Baek-5e50812ade674698bdffe7f4eac5c745)（`baek90 [at] g.ecc.u-tokyo.ac.jp`）

## TA
- [M2 豊岡 真知](https://github.com/mashi6n) (`toyooka [at] hal.t.u-tokyo.ac.jp`)
- [M2 小栗 悠太郎](https://github.com/maronuu) (`oguri [at] hal.t.u-tokyo.ac.jp`)
- [M2 坂野 達郎](https://tatsubanno.github.io/) (`banno [at] iis.u-tokyo.ac.jp`)
- [M2 池内 健心](https://k3ngo314.github.io/) (`kikeuchi [at] iis.u-tokyo.ac.jp`)
- [M1 武田 朋久](https://github.com/tktm04) (`t_takeda [at] hal.t.u-tokyo.ac.jp`)
- [M1 西下 享佑](https://github.com/244t)(`nishishita [at] hal.t.u-tokyo.ac.jp`)
- [M1 川田 高輝](https://github.com/kawadakoki)(`kawada [at] nii.ac.jp`)
- [M1 奥村 亮太](https://github.com/RyotaOkumura) (`okumura [at] hal.t.u-tokyo.ac.jp`)



## 講義の目標
- 大規模言語モデルの基本的な概念と実装を理解する
- ローカル実行、クラウド実行、ファインチューニング、APIコールといった、大規模言語モデルを実行する様々なバックグラウンドについて理解する
- 大規模言語モデルを用いたアプリケーション開発の基礎を習得する

## 前提知識
Python, PyTorch, Jupyter Notebook, Hugging Face, uv, 深層学習の基礎, 

## 参考書籍
- [Alammar、Grootendorst、「直感LLM―ハンズオンで動かして学ぶ大規模言語モデル入門」、オライリージャパン、2025](https://www.oreilly.co.jp/books/9784814401154/)
- [Alammar and Grootendorst, "Hands-On Large Language Models", Oreilly & Associates Inc, 2024](https://www.oreilly.com/library/view/hands-on-large-language/9781098150952/)



## 自由課題（最終課題）
- Day 6 - 9で自由課題に取り組み、Day 10で発表会を行います。
- Day 10ではスライドを準備し、発表してください。


## スケジュール

```{toctree}
:maxdepth: 2

lectures/day1
lectures/day2
lectures/day3
lectures/day4
lectures/day5
lectures/day6
lectures/day7
lectures/day8
lectures/day9
lectures/day10
```