AIさん「次に来る単語はこれやでw」←この仕組みが単純すぎて草

1 風吹けば名無し 2025-09-07 10:30:01 ID:GPTStudy
最近話題のAI、GPTの仕組みを解説した記事読んだんやが、意外とやってること単純で草生えたわ
要は「次の単語当てゲーム」を延々とやってるだけらしい

賢いと思ってたのに、やってること地味すぎんか？

3 風吹けば名無し 2025-09-07 10:31:25 ID:abcdeFG1
ファッ！？マジでそれだけなんか？
もっとこう…魔法みたいなもんやと思ってたわ

5 風吹けば名無し 2025-09-07 10:32:48 ID:hijklMN2
はえ〜、単純な仕組みなんやな
つまりワイらが文章書くのと同じってことか？

8 風吹けば名無し 2025-09-07 10:33:10 ID:opqrST3
記事にある「損失」ってなんや？
ワイの人生みたいなもんか？

12 風吹けば名無し 2025-09-07 10:35:05 ID:GPTStudy
＞＞8
正解とのズレのことやで
最初はランダムやから滅茶苦茶な単語予測して損失がデカいんやけど、学習進むとだんだんマシな予測になって損失が減っていくんや
理論的な初期損失が-ln(1/50257)で約10.82になるらしい。不思議やな

15 風吹けば名無し 2025-09-07 10:36:51 ID:uvwXYZ4
＞＞12
サンガツ！
つまり間違いまくって成長していくんか
赤ちゃんと一緒やんけ

25 風吹けば名無し 2025-09-07 10:40:18 ID:AbcdeF5
同じデータばっか学習させるとそれに特化しすぎる「過学習」ってのもあるらしいな
飲み会で毎回同じ自慢話する部長みたいなもんかｗ

28 風吹けば名無し 2025-09-07 10:41:33 ID:GhijkL6
＞＞25
その例え草
新しい話題振られても「ワシの若い頃は〜」に繋げるアレやな

31 風吹けば名無し 2025-09-07 10:42:55 ID:MnopQR7
＞＞25
わかるわ
SDGsの標語だけ覚えさせられて、本質的な意味を理解してない学生みたいなもんやな
応用が利かなくなるんや

36 風吹けば名無し 2025-09-07 10:45:01 ID:GPTStudy
せやせや。だからDataLoaderってので毎回違うデータのかけらを見せてあげるんやと
これで汎用的な言語パターンを学ぶらしいで
うちの部長にもDataLoader導入したいンゴ…

42 風吹けば名無し 2025-09-07 10:48:22 ID:StuvWX8
なるほどなー
これ弁護士AI作るときに六法全書だけ過学習させたら、判例とか世間の常識とかガン無視のトンデモ判決下しそうやなw

49 風吹けば名無し 2025-09-07 10:51:40 ID:YzAbCD9
＞＞42
ありそうで怖い
「法律ではそうなっとるんで」で押し切るAI弁護士とか嫌すぎるやろ

58 風吹けば名無し 2025-09-07 10:55:11 ID:EfGhIJ0
結局は地道な間違い探しの繰り返しなんか
ワイらが勉強するのと根本は変わらんのやな
それを超高速でやってるのがAIのすごいとこか

61 風吹けば名無し 2025-09-07 10:57:29 ID:KlMnOP1
ワイの人生の損失も誰か最適化してクレメンス…

65 風吹けば名無し 2025-09-07 10:59:03 ID:GPTStudy
せやな。記事の続きで「高度な学習テクニック編」やるらしいから楽しみやわ
Flash Attentionとかいう厨二病っぽい名前の技術もあるらしいで

70 風吹けば名無し 2025-09-07 11:01:15 ID:QrStUV2
名前かっこよくて草
どんどん賢くなるんやなあ
もう人間いらんやん

最近話題のGPTの学習の仕組みについて語るスレが立った。一見複雑そうなAIだが、その基本は「次の単語予測」というシンプルな作業の繰り返しだという。その裏にある「損失」や「過学習」といった概念に、住民たちは興味津々。飲み会やSDGs、弁護士などに例えながら、AIの学習プロセスについて議論が白熱した。

AIの仕組み、意外と泥臭いんやな。でもこの地道な積み重ねであれだけの性能が出るのはロマンあるわ。ワイらも日々の積み重ね、頑張っていきたいもんやで。

参考URL:
[1] https://qiita.com/keishi_irisa/items/a99cba2f0f0405ca7e71