18 AI駆動名無し 2024-10-26 11:42:15.18 ID:MoEwakaran
最近のAI賢すぎんか？
なんか「Mixture of Experts」とかいうのがヤバいらしいけど、名前からして意味不明や
魔法の呪文かなんかか？
25 AI駆動名無し 2024-10-26 11:45:03.45 ID:GAFAMdehataraku
＞＞18
お、ええところに気づいたな。ワイ、外資テック企業勤務やけど解説したるわ
簡単に言うと、デカいAIの中にいろんな専門家を飼っておくって技術や
31 AI駆動名無し 2024-10-26 11:48:22.91 ID:GAFAMdehataraku
例えば、お前の「義実家」を想像してみろ。
そこには色んな親戚がおるやろ？
・普段は部屋に引きこもりやけど、ゲームの話だけは饒舌なニートの兄貴
・難しい話はからっきしやけど、地震保険の話になると専門家顔負けの叔父さん
・仕事はできんが、失恋した子の話を聞くのだけは得意な従姉妹
こいつらが「専門家（Experts）」や。
39 AI駆動名無し 2024-10-26 11:51:10.73 ID:MoEwakaran
＞＞31
草。ワイの義実家、なんで知っとるんや…
で、それがどうAIに関係あるんや？
44 AI駆動名無し 2024-10-26 11:53:59.02 ID:GAFAMdehataraku
ええか？お前が義実家に行って「最近、彼女にフラれてもうて…」って相談するとするやろ。
そしたら、まずお義父さん（門番役）が「ほう、その話はあいつの出番やな」って判断するんや。
で、地震保険の叔父さんや引きこもりニキは寝かせたまま、失恋話のプロである従姉妹だけを呼び出す。
これがMoEの仕組みや。全員が話を聞くんじゃなくて、司令塔が最適な専門家を選んで、そいつだけを働かせるんや。
52 AI駆動名無し 2024-10-26 11:56:41.33 ID:nantonakuwkatta
はえ〜、なるほどな！
全員が毎回集まって会議するより、適材適所で担当者だけ呼んだほうが効率ええもんな。
AIもサボるやつがおるんか。
つまり、普段はみんな「引きこもり」状態で、出番が来たら叩き起こされるってことか！
60 AI駆動名無し 2024-10-26 11:59:05.11 ID:GAFAMdehataraku
＞＞52
まさにそれや。だからAIの頭脳（パラメータ数）はめちゃくちゃデカいのに、動かすときは一部しか使わんから省エネで高速なんや。
従来のモデルが「全員参加のクソ長い朝礼」やとしたら、MoEは「担当者だけ呼んで秒で終わる打ち合わせ」みたいなもんやな。
まあ、ワイの職場じゃ当たり前の技術やけどな（ﾄﾞﾔｧ
Mixture of Experts (MoE)の端的な解説
AIモデルのアーキテクチャの一種。モデル内部に「エキスパート」と呼ばれる複数の専門家ネットワークを持つ。入力されたタスクに応じて、「ゲート」と呼ばれる司令塔が最適なエキスパートをいくつか選び、そのエキスパートだけを活性化させて処理を行う。これにより、モデル全体の規模を巨大にしながらも、推論時の計算コストを低く抑えることができ、効率性と高性能を両立させる技術として注目されている。
« 用語一覧に戻る