1 風吹けば名無し 2025/11/21(金) 18:30:15 ID:AIexpert1
なんか凄そうな記事見つけたんやが、詳しいニキおるか？
完全に異次元の戦いで草も生えんのやが…
https://www.marktechpost.com/2025/11/19/vllm-vs-tensorrt-llm-vs-hf-tgi-vs-lmdeploy-a-deep-technical-comparison-for-production-llm-inference/
– Production LLM serving is now a systems problem, not a generate() loop.
– vLLM improves throughput by 2–4× over systems like FasterTransformer and Orca at similar latency, with larger gains for longer sequences.
– On H100 with FP8, TensorRT-LLM reaches over 10,000 output tokens/s at peak throughput for 64 concurrent requests, with ~100 ms time to first token.
– On long prompts with more than 200,000 tokens, a conversation reply that takes 27.5 s in vLLM can be served in about 2 s in TGI v3.
– ‘LMDeploy delivers up to 1.8× higher request throughput than vLLM’, with the support from persistent batch, blocked KV, dynamic split and fuse, tensor parallelism and optimized CUDA kernels.
3 風吹けば名無し 2025/11/21(金) 18:31:02 ID:abcdefgh
なんやこの呪文…
3行で頼むわ
5 風吹けば名無し 2025/11/21(金) 18:32:18 ID:ijklmnop
英語と専門用語で全くわからん
誰か翻訳してクレメンス
8 風吹けば名無し 2025/11/21(金) 18:33:45 ID:qrstuvwx
ワイ関関同立卒、FP8が何の略かすら分からず咽び泣く
12 風吹けば名無し 2025/11/21(金) 18:35:01 ID:yzABCDEF
H100とかいう一般人には縁のない代物
一枚何百万すると思っとるんや…
15 風吹けば名無し 2025/11/21(金) 18:36:22 ID:GHIJKLMN
要するにAIを動かすソフトの速さ比べや
vLLM、TensorRT-LLM、TGI、LMDeployの四強対決やと思えばええ
18 風吹けば名無し 2025/11/21(金) 18:38:11 ID:OPQRSTUV
＞＞15
なるほどな
で、どれが一番すごいの？
21 風吹けば名無し 2025/11/21(金) 18:39:50 ID:GHIJKLMN
＞＞18
記事読む限り、NVIDIAのGPU「H100」で動かすなら純正のTensorRT-LLMが頭おかしいレベルで速い
1秒間に10000トークン出力とかいう意味不明な数字を叩き出しとる
24 風吹けば名無し 2025/11/21(金) 18:41:03 ID:WXYZabcd
10000トークン/s！？
もう人間が文字打つのがアホらしくなるレベルやん…
27 風吹けば名無し 2025/11/21(金) 18:42:30 ID:efghijkl
これ使って情報商材屋が「AI自動ブログで不労所得！」とかやりだすんやろなあ
騙されるやつおるんか？
31 風吹けば名無し 2025/11/21(金) 18:44:15 ID:mnopqr
＞＞27
ワイがまさにそれ系の商材買いかけたわ
危なかったンゴ
35 風吹けば名無し 2025/11/21(金) 18:46:09 ID:stuvwxyz
でもvLLMが27.5秒かかる処理をTGI v3は2秒で終わらせるって書いてあるぞ
長文ぶち込むならこっちが最強なんか？
40 風吹けば名無し 2025/11/21(金) 18:48:21 ID:AIexpert1
＞＞35
ほんまや、条件次第で序列変わるんやな
奥が深い世界や…
44 風吹けば名無し 2025/11/21(金) 18:50:55 ID:12345678
はえーすっごい…
こういうのが進化したらゼルダのNPCがマジで生きてるみたいに会話できるようになるんか？
村人Aに話しかけたら人生相談されそう
49 風吹けば名無し 2025/11/21(金) 18:52:13 ID:87654321
＞＞44
敵キャラが「なぜ我々は戦わねばならないのか…」とか哲学語りだしたら笑うわ
56 風吹けば名無し 2025/11/21(金) 18:55:02 ID:abcdefgH
LMDeployってやつもvLLMより1.8倍速いって書いてあるし、もう何が何だか
群雄割拠やな
63 風吹けば名無し 2025/11/21(金) 18:57:39 ID:IJKLMNOP
結局、金持ちがH100を大量に買ってぶん回すゲームやろこれ
ワイのRTX4060じゃお話にならんわ
70 風吹けば名無し 2025/11/21(金) 19:00:10 ID:QRSTUVWXYZ
ワイらがスレでレスバしてる間にAIはとんでもない速度で進化しとるんやなって
78 風吹けば名無し 2025/11/21(金) 19:03:25 ID:abcdefgZ
仕事でコード書いとるけど、もう全部AIに書かせた方が速くて正確な未来が見えるわ
ワイ、失業…ｗ
85 風吹けば名無し 2025/11/21(金) 19:05:48 ID:AIexpert1
スレ立てたイッチやが、想像以上に盛り上がってて草
みんな詳しすぎやろ
ワイも時代に乗り遅れんように勉強するわ、サンガツ
92 風吹けば名無し 2025/11/21(金) 19:08:00 ID:lastonep
もう人間はAI様の進化を眺めるだけの存在になるんや
はよシンギュラリティこい
LLMの推論速度を競う主要な4つのフレームワーク、vLLM、TensorRT-LLM、TGI、LMDeployの比較記事が話題に。H100で10000トークン/秒を叩き出すTensorRT-LLMの圧倒的な性能や、特定の条件下で強みを発揮する各フレームワークの進化に、未来を感じる住民が続出。技術の進歩はどこまで続くのか。
技術の進化は止まらんな。ワイらも置いていかれんようにせんとアカンな…。
参考URL:
[1] https://www.marktechpost.com/2025/11/19/vllm-vs-tensorrt-llm-vs-hf-tgi-vs-lmdeploy-a-deep-technical-comparison-for-production-llm-inference/
