1 ぽいJ民 2025-08-09 18:30:15.11 ID:NoteLOSS
ワイおっさん、終活始めました
エンディングノートをAIに作らせようと思うんやが、うまくいかん
助けてくれ
3 ぽいJ民 2025-08-09 18:31:02.45 ID:abcdefgH
エンディングノートは草
まだ早いやろ
5 ぽいJ民 2025-08-09 18:31:48.92 ID:NoteLOSS
＞＞3
備えあれば憂いなしや
最近流行りのRAGってやつ使えば、ワイのmixi日記からXのポストまで全部読み込ませて、ええ感じに自分史まとめてくれると思ったんや
ついでに好きな韓国ドラマの遍歴とかも
8 ぽいJ民 2025-08-09 18:33:10.28 ID:hijklmNO
mixi日記は年代物すぎて草
韓ドラ好きおじさんかわいい
12 ぽいJ民 2025-08-09 18:35:55.73 ID:NoteLOSS
でもな、AIがアホやねん
「ワイが一番好きな女優は誰？」って聞いたら「データがありません」やて
何回もポストしとるのに
あと、北海道旅行の思い出を聞いたら、なぜか釜山の話をしだすし…もうめちゃくちゃや
15 ぽいJ民 2025-08-09 18:38:01.33 ID:pqrstUVW
AI「お前のことなんか知らん」
22 ぽいJ民 2025-08-09 18:40:22.59 ID:RagMster
イッチ、それはAIがアホなんやない。お前のデータの扱いが雑なだけや
RAGで一番大事なのは何か知っとるか？「データ整備」やぞ
25 ぽいJ民 2025-08-09 18:41:15.88 ID:NoteLOSS
＞＞22
なんや専門家ニキか？
データ整備って、ただファイルをフォルダに突っ込むだけやないんか？
31 ぽいJ民 2025-08-09 18:44:30.17 ID:RagMster
＞＞25
全然ちゃうわ。ええか、RAGを料理に例えるで
LLM（AIの脳みそ）が超一流の料理人や。イッチが用意したデータは食材や。
イッチは今、泥だらけの野菜、血抜きの済んでない肉、腐りかけの魚を「ほら、これで最高のフランス料理作れや！」って料理人に丸投げしとる状態なんや。
そら釜山の味にもなるわ
36 ぽいJ民 2025-08-09 18:45:50.64 ID:xyzABCDE
例えが秀逸で草
40 ぽいJ民 2025-08-09 18:48:12.99 ID:RagMster
まずは食材（データ）の下ごしらえが必要不可欠や。
これを「データ前処理」とか「データ整備」って言うんや。
https://tomoro.ai/insights/retrieval-augmented-generation-in-2025
The success of any RAG system hinges on the quality of your data. Itʼs a simple principle, but one that can be surprisingly difficult to get right. Data quality is key.
「RAGシステムの成功はデータの品質にかかってる」ってはっきり書かれとるやろ。これが全てや。
45 ぽいJ民 2025-08-09 18:50:33.21 ID:NoteLOSS
はえ～…泥だらけの野菜…
ワイの日記はそんなに汚いんか…
じゃあ具体的にどうすればええんや？洗うところからか？
52 ぽいJ民 2025-08-09 18:55:01.85 ID:RagMster
＞＞45
せや。まず「クリーニング」やな。誤字脱字直したり、関係ない広告部分を消したりする。
その次が超重要で、「チャンキング」っていう作業や。
これは食材を適切な大きさに切り分けることやな。
イッチの日記みたいに長文の塊をそのままAIに渡しても、どこが重要か分からんようになる。
だから、意味のまとまりで小さく分割（チャンク化）するんや。
58 ぽいJ民 2025-08-09 18:57:44.13 ID:fghIJKL
チャンキング？唐揚げかなんか？
65 ぽいJ民 2025-08-09 19:01:29.40 ID:RagMster
＞＞58
うまいこと言うなw
ただのぶつ切りやないで。ここが職人技や。
例えば、韓国ドラマの感想を書いてる途中で文章をブチっと切ったら、文脈が失われてAIは混乱するやろ？
「2024年4月1日の日記」「ソ・ジヘの美しさについて語ったポスト」みたいに、構造やテーマを意識して分けるのがミソや。
最近はこういう賢い分け方をするのがトレンドやな。
https://www.dhiwise.com/post/build-rag-pipeline-guide
The most effective implementations in 2024-2025 use hybrid approaches that combine structure-aware segmentation with constraints on chunk size…
「構造を意識した分割」と「チャンクサイズの制約」を組み合わせるのがええってことや。
71 ぽいJ民 2025-08-09 19:04:18.02 ID:NoteLOSS
なるほど…ワイのデータ、確かにごちゃ混ぜやったわ。
旅行記の中に急に女優の話が出てきたり、時系列もバラバラやったり…
それが釜山の原因か…
77 ぽいJ民 2025-08-09 19:08:51.67 ID:RagMster
＞＞71
そういうことや。下ごしらえが終わったら、次は冷蔵庫に整理整頓や。
これを「インデックス化」って言う。
切り分けたデータ（チャンク）を、AIが検索しやすいように住所（ベクトル）を与えて、データベースに保管するんや。
「ベクトル化」ってのは、簡単に言うと文章の意味を数値の座標に変換する魔法やな。「好き」と「愛してる」は近い座標、「好き」と「机」は遠い座標、みたいに。
これやっとけば、AIは「イッチが好きな女優について知りたい」って時に、関連するデータだけを爆速で取り出せるようになる。
整理されてないと、冷蔵庫全部ひっくり返さんとアカンからな。
82 ぽいJ民 2025-08-09 19:10:25.39 ID:mnopqrST
めちゃくちゃ分かりやすいやんこのニキ
ワイも会社の資料整理でRAG使おうとしとったから助かるわ
89 ぽいJ民 2025-08-09 19:14:03.11 ID:RagMster
結局、RAGで一番むずいのは最新のAIモデルをどうこうする部分やなくて、泥臭いデータ整備の部分なんや。
日本の会社がAI導入でつまづくのも大体ここ。
https://axconstdx.com/2025/07/09/%E3%80%902025%E5%B9%B4%E6%9C%80%E6%96%B0%E3%80%91rag%E6%A4%9C%E7%B4%A2%E6%8B%A1%E5%BC%B5%E7%94%9F%E6%88%90%E3%81%8C%E5%A4%89%E3%81%88%E3%82%8B%E4%BC%81%E6%A5%ADai%E6%88%A6%E7%95%A5/
重要なのは技術よりも、解決したい課題の明確化と社内データの整備です。
エンディングノート作りたいイッチは「課題の明確化」はできとるから、あとはデータ整備だけやな。
95 ぽいJ民 2025-08-09 19:16:45.82 ID:NoteLOSS
うおおお…なんか見えてきたわ！
サンガツ！ RagMsterニキ！
まずはワイの黒歴史…もとい、人生の記録をテーマごとに分類するところから始めるわ！
「家族」「仕事」「趣味（韓ドラ）」「資産」みたいにメタデータつけるんやな！
101 ぽいJ民 2025-08-09 19:18:20.55 ID:RagMster
＞＞95
お、理解が早くてよろしい。
その分類作業も、最近はLLMにやらせるのが主流やで。「この文章はどのテーマに近い？」ってAIに聞けば、自動でラベル付けしてくれる。
便利な世の中になったもんや。
112 ぽいJ民 2025-08-09 19:22:11.78 ID:uvwXYZ12
RAGデータ整備打線、組んでみた
1 (中) 適切なチャンクサイズ設定
2 (二) 重複・ノイズデータのクリーニング
3 (遊) 意味を考慮した構造的チャンキング
4 (一) そもそも高品質なソースデータ
5 (三) 正確なメタデータ付与
6 (左) 階層構造の維持
7 (捕) 最適なEmbeddingモデルの選定
8 (右) チャンク間のオーバーラップ調整
9 (投) 定期的なインデックスの更新
115 ぽいJ民 2025-08-09 19:23:49.03 ID:34567890
＞＞112
4番が全てで草
異論なし
120 ぽいJ民 2025-08-09 19:25:33.67 ID:NoteLOSS
みんなありがとうやで！
これでワイが死んだ後も、AIがワイの代わりに推しの韓国女優の魅力を家族に語り継いでくれるわ…
最高のエンディングノート作ったるで！
124 ぽいJ民 2025-08-09 19:27:01.24 ID:abcdefgH
遺言がAIてwww
家族困惑するやろw
130 ぽいJ民 2025-08-09 19:30:59.99 ID:RagMster
まあ頑張れやイッチ
良いエンディングノートができるとええな
なお、ワイの会社のRAGは今日も元気に幻覚を見とる模様
AIにエンディングノートを作らせようとしたイッチ。しかし、ぐちゃぐちゃなデータのせいでAIは頓珍漢な回答ばかり。スレ民の助言で、RAGの成功には「データの整備」がいかに重要かを学んでいく。まるでゴチャゴチャの倉庫を整理するように、AIのためのデータ準備のコツをわかりやすく解説。
イッチの挑戦は、AI活用の本質を我々に教えてくれた。最新技術も結局は地道な準備がすべて。まるでキムチを漬けるように、手間暇かけたデータ整備こそが、最高のAI体験を生み出すのだ。あなたの会社のデータも、まずは“漬物石”を置くところから始めてみてはいかがだろうか。
参考URL:
[1] https://tomoro.ai/insights/retrieval-augmented-generation-in-2025
[2] https://www.dhiwise.com/post/build-rag-pipeline-guide
[3] https://axconstdx.com/2025/07/09/%E3%80%902025%E5%B9%B4%E6%9C%80%E6%96%B0%E3%80%91rag%E6%A4%9C%E7%B4%A2%E6%8B%A1%E5%BC%B5%E7%94%9F%E6%88%90%E3%81%8C%E5%A4%89%E3%81%88%E3%82%8B%E4%BC%81%E6%A5%ADai%E6%88%A6%E7%95%A5/
