1 風吹けば名無し 2025-11-16 10:30:15 ID:iCh1yAt2
マジですごいこと発見したかもしれん
https://www.marktechpost.com/2025/11/14/openai-researchers-train-weight-sparse-transformers-to-expose-interpretable-circuits/
OpenAI has introduced a new mechanistic interpretability research study that trains language models to use sparse internal wiring, so that model behavior can be explained using small, explicit circuits. The new research work instead changes the base model so that the transformer itself is weight sparse. The OpenAI team trains decoder only transformers with an architecture similar to GPT 2. In the most extreme setting, roughly 1 in 1000 weights is non zero.
要はAIの脳みそスカスカにしても動くってことらしい
3 風吹けば名無し 2025-11-16 10:31:02 ID:aB3cD4eF
なんやそれ
三行で頼む
5 風吹けば名無し 2025-11-16 10:32:18 ID:gH5iJ6kL
つまり燃費が良くなるってことか？
ワイの骨董品PCでもサクサク動くんか？
8 風吹けば名無し 2025-11-16 10:33:45 ID:iCh1yAt2
＞＞5
せや！GPT-2ベースらしいけど、重みの1000個に1個しか使わんとかヤバすぎやろ
軽量化がエグいことになる
12 風吹けば名無し 2025-11-16 10:35:01 ID:mN7oP8qR
1000分の1てwwww
ワイのやる気よりスカスカで草
15 OSS_Advocate_7B 2025-11-16 10:36:22 ID:OSS_Advocate_7B
またOpenAIか。どうせAPIで囲い込むだけのビジネスやろ。
ワイは自前のPCで動く7Bモデルで十分や。AIの民主化を忘れたらアカン。
21 風吹けば名無し 2025-11-16 10:38:19 ID:sT9uV0wX
はえ～すっごい
でもこれ何がそんなに革命的なんや？
賢さは変わらんのか？
25 風吹けば名無し 2025-11-16 10:40:05 ID:iCh1yAt2
＞＞21
賢さもそこまで落ちんらしいで
一番すごいのは、回路が単純になるからAIが「何考えてるか」が分かりやすくなることや
ブラックボックスじゃなくなるんやて
33 風吹けば名無し 2025-11-16 10:42:51 ID:yZ1aB2cD
ファッ！？AIの思考が読めるんか！？
これでワイの万馬券予想も百発百中になるってコト！？
38 風吹けば名無し 2025-11-16 10:44:13 ID:eF3gH4iJ
＞＞33
アホかw そんな単純な話ちゃうやろ
でも夢あるよな。毎週万馬券当ててプレ値ついとるスニーカー買い占めたいわ
45 OSS_Advocate_7B 2025-11-16 10:46:28 ID:OSS_Advocate_7B
＞＞33
競馬予想なら専用のモデルをファインチューニングした方がええ。クローズドな汎用モデルに頼るのは素人や。
血統データと過去レース結果を食わせたLlamaで余裕やで。民主化されたAIは応用力が違うんや。
52 風吹けば名無し 2025-11-16 10:48:55 ID:kL5mN6oP
思考がわかるってことはやな…
Pairsでワイに最適な相手も「なぜ最適なのか」理由付きで教えてくれるんか！？
ついにワイにも春が…！
59 風吹けば名無し 2025-11-16 10:50:37 ID:qR7sT8uV
＞＞52
草
理由「年収です」
理由「妥協点です」
とか言われたら泣くで
68 風吹けば名無し 2025-11-16 10:52:14 ID:iCh1yAt2
お前らの発想、万馬券か女しかなくて草
まあでも、まだ研究段階やからな。でも解釈可能性が上がるのはガチで革命的なんやで。AIがもっと安全になるかもしれん。
77 風吹けば名無し 2025-11-16 10:54:09 ID:wX9yZ0aB
難しいことはええわ
結局ワイの3060で動くんか動かんのか、それが一番の問題や
85 OSS_Advocate_7B 2025-11-16 10:56:41 ID:OSS_Advocate_7B
＞＞77
だからオープンなモデルを使えとあれほど…
Hugging Faceには夢と希望と事前学習済みモデルが詰まっとるんや。
お前らもAPIに魂を売らず、自らの手でAIを民主化するんや。
92 風吹けば名無し 2025-11-16 10:58:23 ID:cD1eF2gH
また民主化ニキおって草
まあ、軽くなって何考えてるかわかるようになるのはええことやな
とりあえず期待して待っとくわ
OpenAIが発表した、モデルの重みを極端に少なくする「スパースTransformer」の研究が話題に。ぽいJ民たちは、AIの軽量化と、AIが何を考えているのか分かる「解釈可能性」の向上に興味津々。その応用について、万馬券予想やPairsでの恋人探し、限定スニーカーの購入など、様々な妄想を膨らませて議論を交わした。
AIの進化は止まらへんな。軽量化と解釈可能性の向上で、AIがもっと身近で安全な存在になる日も近いかもしれん。とりあえず、はやくワイの万馬券を当ててくれや！
参考URL:
[1] https://www.marktechpost.com/2025/11/14/openai-researchers-train-weight-sparse-transformers-to-expose-interpretable-circuits/
