第17回 トークン化

AIが言葉を分解する方法

1. トークン化とは？

「AIは文章をパズルみたいに分解して理解する！」
この分解作業をトークン化（Tokenization）といいます。

2. トークンって何？

AIにとっての1単位です。
文章はそのまま読んでいるのではなく、「細かいかけら（＝トークン）」に分解してから理解します。

例	分解結果（トークン化）
今日は晴天	「今日」「は」「晴天」
Hello!	「Hello」「!」
😊	「😊」

3. 日本語も英語もルールが違う？

英語は「単語ごと」に分けるのが基本

Hello! → Hello, !

日本語は「文字ごと」「単語ごと」「助詞まで」バラバラ

今日は晴天 → 今日, は, 晴天

✅ 言語によってトークン化のルールが変わる！

4. これも知ってた？絵文字や記号もトークン

文字・記号	トークン数
😊	1トークン
🎉🍣	2トークン
スーパーカリフラジリスティック（長い単語）	5～7トークン
12345	1トークン
12,345円	3～4トークン

✅ 単語の長さ＝トークン数 ではないので注意！
✅ 記号や絵文字もちゃんとカウントされる！

5. トークン数を数えてみよう！（体験コーナー）

下のリンクで自分の名前や好きな言葉を入れて、トークン数をチェックしよう！

👉 OpenAI公式トークンカウンター
※スマホでも使えるよ！

実験してみよう

• 自分のフルネームは何トークン？
• 「AIって面白い！」は何トークン？
• 好きなアニメタイトルは何トークン？

まとめ

✅ トークン＝AIが文章を分解した“かけら”
✅ 文字数とトークン数は違う（特に日本語は要注意！）
✅ 絵文字・記号もトークンとして数える

チャレンジクイズ

次の文は何トークンになるでしょう？

2025年のAIはすごい！

① 8トークン
② 10トークン
③ 12トークン

✅ 答え合わせはトークンカウンターで！

おわりに

「トークン」を知っていると、AIに伝わりやすい文章のコツがわかるようになる！
「なるべく短く・わかりやすく」伝える練習をしてみよう。