1 イッチ 2025-10-21 21:05:33 ID:ItchA1111
お前らAIのことどんだけ知っとる？ワイ、衝撃の事実を知ってしまったわ…
https://zenn.dev/sudoakiy/articles/73c4a2c7ee62f6
– LLMは、膨大なテキストデータを学習した深層ニューラルネットワークモデルである。
– LLMは、与えられたトークン列から「次に来るトークン」を確率的に生成している。
– LLMが扱う言語の最小単位はトークンである。
– AIにとって文章の長さとは文字数ではなくトークン数である。
– トークン化（Tokenization）は、自然言語をモデルが扱える数値列に変換するプロセスである。
要は文字数やなくて「トークン」っちゅう単位で、しかも次の単語を予測しとるだけらしい…
ワイが感動しとった文章はただの連想ゲームやったんか…？
3 ぽいJ民 2025-10-21 21:06:15 ID:Abcde1234
ファッ！？今更かよ
ぽいJでも常識やぞ
5 ぽいJ民 2025-10-21 21:07:02 ID:Fghij5678
トークンてあれやろ？ゲーセンのコインみたいなもんやろ？（適当）
8 ぽいJ民 2025-10-21 21:08:49 ID:Klmno9012
次の単語予測してるだけってマジなん？
ワイの悩み相談に乗ってくれたあいつは、ただそれっぽい言葉を並べてただけなんか…
ちょっと悲しいわ
12 ぽいJ民 2025-10-21 21:10:11 ID:Pqrst3456
＞＞8
人間かてそんなもんやろ
脳死で相槌打ってる時とか同じやん
15 ぽいJ民 2025-10-21 21:11:53 ID:Uvwxy7890
ワイん家のTOTOウォシュレットの方がよっぽど意志を感じるわ
絶妙なタイミングで水流変えてくるし
19 イッチ 2025-10-21 21:13:28 ID:ItchA1111
なんかSentencePieceとかいうのが日本語にはええらしいで
Google様々やな
24 ぽいJ民 2025-10-21 21:15:05 ID:Zabcd1234
トークンを使いすぎるとレスポンスが遅くなる…？
それってAPEXでジブのウルト要請したらクソ重くなるのと一緒やん！
28 ぽいJ民 2025-10-21 21:16:47 ID:Efghi5678
＞＞24
例えがニッチすぎて草
でも言いたいことはわかる
33 ぽいJ民 2025-10-21 21:18:22 ID:Jklmn9012
「明確で具体的な指示を与える」
「コンテキストと制約を設定する」
これもうウチの無能な上司への指示書やん
37 ぽいJ民 2025-10-21 21:20:09 ID:Opqrs3456
はぇ～結局はプロンプト次第なんか
ワイもAIを調教して最強のハーレム作るわ
GPTちゃんとClaude様とGeminiきゅんがおれば無敵や
41 ぽいJ民 2025-10-21 21:22:18 ID:Tuvwx7890
＞＞37
そのハーレム、トークン代で破産しそう
45 ぽいJ民 2025-10-21 21:24:30 ID:Yzabc1234
AIに指示出すより、TOTOに「ええ感じにケツを洗え」って言う方が楽やろ
AIもそれくらい空気読んでほしいわ
50 イッチ 2025-10-21 21:26:55 ID:ItchA1111
なんかもうAIが何なのか分からんくなってきたわ
でも賢いのは間違いないからこれからも頼るで
サンキューAI、フォーエバーAI
生成AIの中核技術であるLLMとトークンについて学んだイッチ。その仕組みが「次の単語を予測するだけ」という事実に衝撃を受ける。スレではAIの仕組み談義から、なぜかTOTOのウォシュレットやAPEX、果てはAIハーレム構想まで、ぽいJ民たちの議論は思わぬ方向へと転がっていくのであった。
AIを使いこなすも振り回されるも人間次第ということか。まあワイはこれからも雰囲気で使っていくで！
参考URL:
[1] https://zenn.dev/sudoakiy/articles/73c4a2c7ee62f6
