1 風吹けば名無し 2025-11-21 21:03:15 ID:AIdevMASTER
ChatGPTの裏側が気になりすぎて、自宅で再現実験してみたわ
その研究結果がこれや
https://zenn.dev/m_nakano_teppei/articles/332c33dbc55949
大規模言語モデル（LLM）が世界規模のユーザートラフィックを処理する仕組みは、インフラ運用・分散推論・スケジューリング・キャッシュ戦略など多様な技術の組み合わせで成立している。
本研究では、自宅に構築した複数ノードの Kubernetes クラスタ上にローカル LLM 推論サーバーを多数展開し、ChatGPT のグローバルアーキテクチャを「極小スケール」で模倣する実証実験を行った。
ChatGPT や Claude などの商用 LLM 推論基盤は、世界十数カ所に設置された推論リージョン、数千〜数万 GPU による分散推論、高度な API Gateway と Traffic Shaper、モデルキャッシュ・KV キャッシュ・Attention 驚異的高速化、高度なスケジューリングと混雑制御を特徴とする。
LLM 推論のボトルネックは「モデルそのもの」よりスケジューリングと batching にある。
GPU ノードの性能差がルーティングに大きな影響を与える。
ガチでやってみたら、色々見えてきて草生えた
3 風吹けば名無し 2025-11-21 21:04:02 ID:Abcde123
ファッ！？
いきなり何言うとんねんこいつ
5 風吹けば名無し 2025-11-21 21:04:48 ID:FgHijk45
専門用語多すぎて草
ニキ、3行で頼むわ
8 風吹けば名無し 2025-11-21 21:05:51 ID:AIdevMASTER
＞＞5
ChatGPTみたいなAIの心臓部を
家のPC数台で再現してみた
AIの賢さより「交通整理」の方が大事ってわかった
12 風吹けば名無し 2025-11-21 21:06:33 ID:LmnOpq67
はぇ〜すっごい
自宅でってレベルじゃなくて草
RTX 4090とか普通に持ってんのか…
15 風吹けば名無し 2025-11-21 21:07:14 ID:RstuVw89
「スケジューリングとbatching」がボトルネックってのが面白いな
料理人で例えると、腕前より注文のさばき方の方が店の回転率に効くみたいなもんか
19 風吹けば名無し 2025-11-21 21:08:29 ID:XyzaBc01
Kubernetesってなんや？うまいんか？
23 風吹けば名無し 2025-11-21 21:09:45 ID:AIdevMASTER
＞＞19
コンテナっていう仮想マシンみたいなやつをいっぱい管理してくれるすごいやつや
こいつのおかげで小さいAIからデカいAIまで、最適なPCに仕事を振れるんや
28 風吹けば名無し 2025-11-21 21:11:03 ID:DeFghi23
これ、地方の役所とかで導入できんか？
ゴミの分別方法とか簡単な問い合わせに答えるAI窓口みたいな
31 風吹けば名無し 2025-11-21 21:12:19 ID:JklMno45
＞＞28
ええなそれ。でもうちの地元、ITわかる職員がおじいちゃんしかおらんから無理やろなあ
こういうインフラ組める人材がおらんのが地方の課題や
35 風吹けば名無し 2025-11-21 21:13:50 ID:PqRstu67
うちの会社もAI導入したいって社長が騒いどるんやが、何から相談したらええんかわからん
イッチみたいなガチ勢に相談したいわ
41 風吹けば名無し 2025-11-21 21:15:22 ID:AIdevMASTER
＞＞31
いきなり大規模なのは無理でも、こういう小規模な構成ならワンチャンあると思うで
大事なのは、まずやってみることやな。教育とか人材育成の対策が必要やけど
＞＞35
まずはクラウドのサービスから試すのがええで。いきなり自前でインフラは茨の道や
48 風吹けば名無し 2025-11-21 21:17:08 ID:VwXyza89
AIに仕事奪われる対策ってなんや？ってずっと思ってたけど
こういう裏側を知って作る側に回るのが一番の対策なんかもしれんな
55 風吹けば名無し 2025-11-21 21:18:46 ID:BcdEfg01
せやな。魔法やと思ってるうちはただの消費者や
仕組みを理解すれば使う側としてもレベル上がるし
62 風吹けば名無し 2025-11-21 21:20:11 ID:HijKlm23
イッチの研究、普通に企業の技術ブログレベルやろこれ
趣味でここまでやるとか化け物か？
69 風吹けば名無し 2025-11-21 21:21:39 ID:NopQrs45
電気代やばそう(小並感)
74 風吹けば名無し 2025-11-21 21:22:57 ID:AIdevMASTER
＞＞69
そこがいちばんのボトルネックや…
80 風吹けば名無し 2025-11-21 21:24:05 ID:TuvWxy67
イッチのおかげでAIがちょっと身近に感じられたわ
サンガツ！ワイもラズパイポチってみるかな
85 風吹けば名無し 2025-11-21 21:25:13 ID:ZabCde89
有能イッチに感謝
やっぱ技術って面白いわ
あるイッチが、ChatGPTのような大規模言語モデルのインフラを自宅の小規模クラスタで模倣した実験結果を投稿。その内容のガチさに住民たちが驚愕し、AIを支えるインフラ技術や、地方でのAI活用や人材不足への対策について語り合うスレ。
イッチのガチすぎる実験に、住民もAIを支えるインフラ技術の重要性を再認識。地方の課題解決から個人のスキル対策まで、AIとの向き合い方を考える有意義なスレとなった。
参考URL:
[1] https://zenn.dev/m_nakano_teppei/articles/332c33dbc55949
