21 AI駆動名無し 2024/05/21(火) 10:30:15.15 ID:aiOMAJI
最近のAIってスマホアプリとかにも普通におるよな
ワイの頭の中やとスパコンがｳｨｨｨﾝって唸ってるイメージなんやが、どうやってあんな小さいとこに押し込んどるんや？
25 AI駆動名無し 2024/05/21(火) 10:32:45.82 ID:wakaTTA
＞＞21
ええ質問やなニキ
それが今日のお題、「蒸留」っちゅー技術や
一言でいうと「クソデカくて賢い親AIの知恵を、生まれたての赤ちゃんAIに叩き込む英才教育」やで
29 AI駆動名無し 2024/05/21(火) 10:35:11.30 ID:aiOMAJI
＞＞25
英才教育…？
なんかもうちょいこう…ワイにも分かるように頼むわ
33 AI駆動名無し 2024/05/21(火) 10:38:02.59 ID:wakaTTA
＞＞29
しゃーないな
まず、生まれたての赤ちゃんAI（生徒モデル）をお宮参りに連れて行くとこから想像せえ
「この子が賢くなりますように」ってな
で、ここからが本番や
百戦錬磨の親AI（教師モデル）が、ただ「これはリンゴやで」と答えを教えるだけやない
「これは9割方リンゴやけど、残り1割は梨かもしれん。形がちょっと違うからな」みたいに、どうしてそう考えたのか、その思考プロセスまで全部教え込むんや
38 AI駆動名無し 2024/05/21(火) 10:41:28.19 ID:wakaTTA
正月の初売りで、おかんが「あそこのデパートは福袋の中身がええけど、死ぬほど並ぶで。駅前の店はすぐ入れるけど中身は期待すんな」って攻略法を教えてくれるやろ？
あんな感じや
答え（＝良い福袋）だけやなくて、他の選択肢がなんでアカンのか、その判断基準（ソフトラベル）を学ぶことで、赤ちゃんAIは親の膨大な知識の「大事なエッセンス」だけを吸収して、スリムやけど賢く育つんや
45 AI駆動名無し 2024/05/21(火) 10:44:50.44 ID:naruhodone
＞＞38
はえ～、なるほどな
デカい親の脳みそを丸ごとコピーするんやなくて、生きる知恵だけをチューチュー吸い取るわけか
そら小さくても賢くなるわな
スマホでサクサク動いてくれるんは、いわばAIの親孝行ってことやな！サンガツ！
51 AI駆動名無し 2024/05/21(火) 10:48:19.99 ID:dasenKUMU
AI界の師弟関係で打線組んでみた
1 (中) BERT → DistilBERT
2 (二) ResNet-152 → ResNet-18
3 (遊) GPT-4 → 小規模特化モデル
4 (一) クソデカ教師モデル
5 (三) 軽量生徒モデル
6 (右) 思考プロセス（ソフトラベル）
7 (左) パラメータ削減
8 (捕) スマホやエッジデバイス
9 (投) Googleニキ
蒸留（Distillation）の端的な解説
大規模で高性能なAIモデル（教師モデル）が持つ知識を、より小規模で軽量なAIモデル（生徒モデル）に転移させる技術のこと。教師モデルが出力する正解ラベル（ハードラベル）だけでなく、「各選択肢がどのくらい正解に近いか」という確率分布（ソフトラベル）も一緒に学習させる。これにより、生徒モデルは教師モデルの「思考の癖」や「判断基準」を模倣でき、サイズが小さいながらも高い精度を維持することが可能になる。この技術のおかげで、スマートフォンなどのリソースが限られたデバイス上でも高度なAIを動作させることができる。
« 用語一覧に戻る