トークン

8 AI駆動名無し 2024-09-15 11:45:14.32 ID:Xb0xGamer
なあ、AIに文章作らせたら「トークンが上限です」とか言われたんやが
なんやそれ？ワイの知ってるトークンて言ったらゲーセンのコインか、Xboxのギフトカードくらいやぞ

12 AI駆動名無し 2024-09-15 11:46:02.58 ID:GoshuinMAN
長文ぶち込みすぎたんやろ
ワイはChatGPTに義父への時候の挨拶考えさせたらエラー吐かれたわ

21 AI駆動名無し 2024-09-15 11:48:21.88 ID:Kaisetsu/2
＞＞8
ええとこ突いとるな。まあ一種のコインや
ワイが御朱印に例えて教えたるわ

25 AI駆動名無し 2024-09-15 11:50:49.13 ID:Kaisetsu/2
まず、AIは文章を人間みたいにそのまま読んどるわけやない
文章を「単語」や「文字」のパーツにバラバラに分解しとるんや
このAIが処理できる最小単位のパーツが「トークン」や

イメージとしては、御朱印帳の1マスやな
「ぽいJ最高」って文章なら、「ぽい」「J」「最高」みたいに3つのパーツ（3トークン）に分けて、御朱印帳のマスに1個ずつスタンプ押していく感じや

33 AI駆動名無し 2024-09-15 11:53:15.71 ID:Kaisetsu/2
で、御朱印帳にページ数があるように、AIにも一度に扱えるトークンの数に上限がある
＞＞8 が言われたのは「アンタの文章、長すぎて御朱印帳のページ足りひんわ！」ってAIに怒られた状態や

あと、どうでもええ接続詞とかはマジで害虫みたいなもんやで。貴重なマスを無駄に食うだけや
義父への手紙みたいに、要点を絞って簡潔に書くのが賢い使い方なんや

39 AI駆動名無し 2024-09-15 11:55:01.45 ID:Xb0xGamer
＞＞33
サンガツ！めっちゃわかりやすいわ
つまりワイが義父にXboxおねだりする文章が、害虫まみれのクソ長文やったってことか…
料金も押してもらった御朱印の数だけ取られるんやな

45 AI駆動名無し 2024-09-15 11:56:33.29 ID:Kaisetsu/2
＞＞39
そういうこっちゃ！使ったトークン（マス）の分だけ課金されるサービスが多いな
だから無駄な害虫（言葉）を駆除してトークンを節約するのが大事
最初に言うてたXboxのポイントみたいに、先にトークンを買っておくサービスもあるから、あながち間違いやないで
賢く使って義父を説得したってくれや！

トークンの端的な解説

トークンとは、AIがテキストを処理する際の最小単位のこと。文章は単語や文字などのトークンに分割され、AIはこのトークンを元に計算や生成を行います。多くのAIサービスでは、処理したトークンの量に応じて料金が発生するため、無駄な表現を省き、簡潔に指示を出すことがコスト削減に繋がります。