1 風吹けば名無し 2025-09-07 18:30:15 ID:AIdevYANKE
最近流行りの生成AI、自分でも作れるんちゃうか？と思って調べたら闇深すぎて草も生えん…
裏でこんなエグいことやってたんか…素人が手出せる領域ちゃうやんけ…
https://qiita.com/keishi_irisa/items/33459201b9df49617760
GPT-2のような巨大なモデルを効率的かつ安定的に学習させるには、さらなる工夫が必要です。単純な学習ループでは、計算速度が遅すぎたり、学習が不安定になったりする問題に直面します。
大規模言語モデルの学習は、限られた計算リソースの中で、いかに効率よく、安定して学習を進めるかが重要です。
テクニックとして、重み共有 (Weight Tying)、適切な重み初期化、混合精度学習、torch.compile、Flash Attention、学習率スケジューラ、勾配爆発を防ぐための勾配クリッピング (Gradient Clipping) などが挙げられます。
もうこれ金持ちの道楽か軍事技術やろ…怖すぎンゴ…
3 風吹けば名無し 2025-09-07 18:31:02 ID:8Jkls9dM
長すぎ
三行で頼むわ
5 風吹けば名無し 2025-09-07 18:31:48 ID:AIdevYANKE
＞＞3
すまん
・デカいAI作るの超大変
・金と職人技がないとすぐ壊れる
・もうワイらには無理
8 風吹けば名無し 2025-09-07 18:33:11 ID:pA5gThbC
勾配爆発とかいうパワーワード
名前からしてもう怖い
絶対暴走するやつやん
12 風吹けば名無し 2025-09-07 18:34:50 ID:QwerT56Y
ファッ！？
これ学習中にミスったら障害持ちのAIが生まれるってことか？
突然意味不明なこと叫びだしたりしそう
15 風吹けば名無し 2025-09-07 18:36:03 ID:zXcvBnmL
＞＞12
ありえるやろな
というか、今のAIですらたまに怖くなることあるし
裏側で何が起きてるかわからんのが一番の恐怖や
21 風吹けば名無し 2025-09-07 18:38:22 ID:fGhjKl4P
結局、湯水のように金使えるGoogleとかMicrosoftみたいな金持ち企業しか勝てんのやろな
ワイらの貧弱PCじゃ記事読むだけで精一杯や
28 風吹けば名無し 2025-09-07 18:40:15 ID:AIdevYANKE
＞＞21
せやねん…
計算資源が違いすぎるわ
電気代だけで破産する未来しか見えん
35 風吹けば名無し 2025-09-07 18:42:09 ID:aBcDeFgH
Flash Attentionってなんや？
必殺技みたいで草
42 風吹けば名無し 2025-09-07 18:44:31 ID:rTyUioPa
重み共有とかいう発想がもう天才のそれ
ワイには一生思いつかんわ
こういうのを思いつくやつがおるから技術は進歩するんやな…サンガツやで
50 風吹けば名無し 2025-09-07 18:47:55 ID:kLmnOpQr
そのうちAIが自分で自分の学習法を最適化しだすんやろ
「人間さんのやり方、非効率すぎw ワイがもっと賢くなる方法見つけたで」とか言い出して
もう人類に勝ち目ないやん…
55 風吹けば名無し 2025-09-07 18:49:13 ID:AIdevYANKE
＞＞50
怖すぎるからやめてクレメンス
でもこの記事シリーズ、ゼロから実装やから追っていけばワイらでもワンチャン…？（白目）
63 風吹けば名無し 2025-09-07 18:51:28 ID:hJkLpOiU
金持ちが道楽で最強のAI作って世界を裏で操るSF映画みたいな展開ありそう
「このAIはワシが育てた」とか言うんやろなぁ
70 風吹けば名無し 2025-09-07 18:53:01 ID:bVcNmxZa
混合精度とかtorch.compileはガチで効くからな
ワイのヘボ環境でもちょっとはマシになったわ
まあ、焼け石に水なんやけどな…
77 風吹けば名無し 2025-09-07 18:55:49 ID:3EdCrFgT
＞＞70
詳しいニキおって草
こういう地道な高速化の積み重ねがないと、あんな化け物は生まれんのやな
勉強になったわ
85 風吹けば名無し 2025-09-07 18:58:10 ID:AIdevYANKE
なんか絶望的な気分になってきたンゴ…
でも知らんよりは良かったわ
とりあえずワイは完成品使って楽させてもらうで
イッチが投稿したAIの高度な学習技術に関する記事をきっかけに、その複雑さと要求されるリソースの大きさにスレ民が驚愕。AI開発の裏側に潜む「格差」や、制御不能になる「怖さ」について、様々な憶測が飛び交う事態となった。
もはや魔法にしか見えないAIの裏側では、開発者たちの血の滲むような努力と工夫が重ねられていた模様。技術格差は広がるばかりかもしれへんけど、ワイらも情報を追い続けて、時代の波に乗り遅れないようにせなあかんな！
参考URL:
[1] https://qiita.com/keishi_irisa/items/33459201b9df49617760
