NEWS / SEMINAR
セミナー「LLMの中身を
体系的に学ぶ講座」を開催
LLM（大規模言語モデル）の仕組みを基礎から体系的に学ぶセミナーを開催しました。自然言語処理の歴史をたどりながら、ChatGPTに至る技術の積み重ねを解説しました。
OVERVIEW
LLMの中では、
何が行われているのか。
2025年11月5日、LLMの仕組みを基礎から体系的に学ぶセミナー「LLMの中身を体系的に学ぶ講座」を開催しました。本セミナーでは、現在広く利用されているChatGPTなどのLLMが、どのような技術の積み重ねによって生まれたのかを、自然言語処理の歴史をたどりながら解説しました。数式やプログラムの詳細に入る前に、「LLMの中では何が行われているのか」を全体像から理解することを目的とし、初期の自然言語処理からTransformer、GPT、ChatGPTに至るまでを体系的に紹介しました。
BACKGROUND
使うだけでなく、
仕組みを理解するために。
生成AIの普及により、ChatGPTをはじめとするLLMを業務で利用する機会は急速に増えています。一方で、「なぜLLMは文章を生成できるのか」「Transformerとは何なのか」「GPTはどのように学習しているのか」といった、その背景にある仕組みに触れる機会はまだ多くありません。本セミナーでは、LLMを単なるツールとして使うだけではなく、その背景にある自然言語処理・機械学習技術について理解することで、AIをより深く理解するためのきっかけを提供することを目指しました。
SEMINAR CONTENTS
講座では、自然言語処理技術の発展を時系列でたどりながら、主に以下のテーマを取り上げました。
01
Bag-of-Wordsによる文章表現
02
Word2Vecと単語の埋め込み表現
03
ニューラルネットワークを用いた言語モデル
04
RNN・LSTMによる時系列データの処理
05
Attentionメカニズムの登場
06
Transformerの仕組みとその目的
07
事前学習とファインチューニング
08
BERTとGPTの仕組みと違い
09
GPT-2・GPT-3と大規模言語モデルの発展
10
RLHF（人間のフィードバックによる強化学習）
11
InstructGPTからChatGPTへ至る学習プロセス
12
ハルシネーションや推論など、LLMが抱える課題
単に個々のモデルを紹介するのではなく、Bag-of-Words → Word2Vec → RNN / LSTM → Attention → Transformer → BERT / GPT → ChatGPTという技術の流れを追うことで、「なぜ次の技術が必要になったのか」を理解できる構成としました。
WHY IT MATTERS
「ChatGPTの中身」を、
技術の流れから理解する。
現在のLLMの中心となっているTransformerは、突然登場した技術ではありません。文章をどのように数値として表現するか、単語の意味をどのようにモデルに学習させるか、長い文章の文脈をどのように保持するか、大量のデータをどのように効率的に学習するか――。自然言語処理では、こうした課題に対する研究が積み重ねられてきました。本セミナーでは、それぞれのモデルが解決しようとした課題を順番に追うことで、TransformerやGPTが登場した背景、そしてChatGPTがどのように人間の指示に応答する対話型AIへと発展したのかを解説しました。
NEXT
今後について
FinoSight Analyticsでは、LLMをはじめとしたAI技術とデータ分析・可視化技術を組み合わせ、企業や金融に関する情報をより効率的に分析できる仕組みの研究・開発を進めています。今後も、AI・自然言語処理・データ分析などの技術について、実際の活用だけでなく、その背景にある仕組みについても理解を深められる機会を提供していきます。