LLMとは？言葉を操るAIの正体
学習目標
✅LLM（Large Language Model/大規模言語モデル）の基本を理解する。
こちらの「AI用語事典」でも解説していますので、ご一読を・
LLMとは？
「LLM」って聞いたことありますか？
これは日本語では、大規模言語モデルと呼ばれています。
AIにテキスト（文章）を読み込ませ、単語間のパターンを探させていたところ、膨大な量を読み込ませると、突然賢くなりました。
「言葉を大量に覚えたAI脳」ってところです。
以下の特徴があります。
- 図書館全体を丸暗記したような知識量
- 人間の会話パターンを学習
- 単語のつながりを確率で計算
例えば、「空は」と入力すると「青い」が85%、「飛ぶ」が10％のように予測します。
この技術がChatGPTなどの基礎になっています。
トークン
LLM（大規模言語モデル）では、テキスト（文章）を「トークン」と呼ばれる単位で扱います。
英語の場合には、単語はスペース（空白）で区切られるので明白ですが、日本語の場合には、少し複雑です。
たとえば：
東京 5トークン
東京都 4トークン
東京都中央区 11トークン
また、モデル（GPT-4o, GPT-3oなど）でもトークン数が違います。
LLMは、入力されたプロンプト（質問、指示文）をトークンに分解し、文脈情報を数値化して文章を扱います。
まとめ
文章生成AIは、LLM（Large Language Model/大規模言語モデル）と呼ばれる。
大量のテキストデータを学習している。
単語の繋がりを確率計算する。
コメント