Distillation（知識蒸留）とは？

ソフトラベルとハードラベルの違いを具体例で解説

ソフトラベルとハードラベルは、AIモデルの学習方法を大きく変える「答えの表現形式」です。それぞれの特徴や役割を、具体例は以下となります。

1. ハードラベル（Hard Label）

「明確な正解だけ」を教えるシンプルな方法

• 特徴:
• 正解が「1つのクラス（カテゴリ）」に明確に割り当てられる。
• 例: 画像分類で「犬: 100%、猫: 0%、狐: 0%」と完全に決めつける。
• メリット:
• データの準備が簡単（正解ラベルだけあればよい）。
• シンプルな問題（例: 数字認識）で効果的。
• デメリット:
• 「微妙な判断」や「類似クラスの関係性」を学べない。
• 例: 「柴犬」と「秋田犬」の違いをハッキリ区別できない場合、モデルが混乱する。

---

2. ソフトラベル（Soft Label）

「確率的なニュアンス」まで教える高度な方法

• 特徴:
• 正解を確率分布で表現（例: 「犬: 80%、猫: 15%、狐: 5%」）。
• モデルの「自信度」や「クラス間の類似性」を反映する。
• メリット:
• 先生モデルの「判断の過程」を生徒に伝えられる。
• 例: 「これは犬だが、猫に似た特徴も一部ある」という情報を学習可能。
• 蒸留の核心: ソフトラベルがモデルの「知識の濃縮」を可能にする。
• デメリット:
• 正解データだけでなく、確率分布を生成する手間がかかる。

---

なぜソフトラベルが蒸留に有効なのか？

例: 「犬 vs 猫 vs 狐」の分類タスク

• ハードラベルの場合:
• 正解は「犬: 100%」のみ。
• 生徒モデルは「犬と他の動物の境界」を学べない。
• ソフトラベルの場合:
• 先生モデルが「犬: 80%、猫: 15%、狐: 5%」と出力。
• 生徒は以下の情報を同時に学習:
  • 主な正解は「犬」
  • 「猫」との類似性も考慮すべき
  • 「狐」はほとんど関係ない

→ 「絶対的な正解」だけでなく「相対的な関係性」まで学べるため、汎用性が向上します。

---

温度パラメータ（Temperature）の役割

ソフトラベル生成時には、温度パラメータという調整値が使われます。

• 低温（例: T=1）: 確率分布が鋭く（例: 「犬: 99%、猫: 1%」）。
• 高温（例: T=10）: 確率分布が平滑化され（例: 「犬: 60%、猫: 30%、狐: 10%」）、クラス間の関係性が強調される。

蒸留では、高温設定でソフトラベルを生成し、生徒モデルに「より豊富な情報」を伝えます。

---

実際の学習プロセス

蒸留では、2つの損失関数を組み合わせて生徒モデルを訓練します:

1. ハードラベル損失: 正解データとの誤差（例: 交差エントロピー）。
2. ソフトラベル損失: 先生モデルの出力との誤差（例: KLダイバージェンス）。

→ 生徒は「正解を外さないようにしつつ、先生の判断スタイルも真似る」というバランスを学びます。

---

応用例：半教師あり学習

ソフトラベルは、ラベル付けされていないデータの活用にも使われます。

• 教師モデルが未ラベルデータにソフトラベルを生成
• 生成されたソフトラベルで生徒モデルを追加学習

→ 人手のラベル付けコストを削減しつつ、性能を向上させられます。

---

まとめ

• ハードラベル: 「絶対的な正解」だけを伝えるシンプルな方法。
• ソフトラベル: 「確率分布」で判断のニュアンスまで伝える高度な方法。
• 組み合わせ効果: 蒸留では両方を活用し、生徒モデルに「正確さ」と「柔軟性」を同時に授けます。

蒸留の強力さは、この「ソフトラベルが持つ豊富な情報」を圧縮できる点にあります 🎯