1 風吹けば名無し 2025-10-14 12:30:01 ID:イッチyade
AIエージェントのセキュリティ、ガバガバかもしれん…
こんな記事見つけたんやが
https://www.marktechpost.com/2025/10/12/a-coding-implementation-of-secure-ai-agent-with-self-auditing-guardrails-pii-redaction-and-safe-tool-access-in-python/
In this tutorial, we explore how to secure AI agents in practical, hands-on ways using Python. We implement multiple layers of protection, such as input sanitization, prompt-injection detection, PII redaction, URL allowlisting, and rate limiting, all inside a lightweight, modular framework that runs easily. By integrating an optional local Hugging Face model for self-critique, we demonstrate how we can make AI agents more trustworthy without relying on paid APIs or external dependencies.
要はPythonで安全なAI作る方法の記事やけど、プロンプトインジェクションとか個人情報抜かれる対策を自前で実装するって話らしい
逆に言うと、これやらんとヤバいってことよな？
3 風吹けば名無し 2025-10-14 12:31:15 ID:AbcdeFG1
はえー、Hugging Faceのローカルモデルで自己監査とかできるんか
賢いやん
5 風吹けば名無し 2025-10-14 12:32:40 ID:hIjkLmN2
禁止キーワードに「sudo rm -rf」入ってて草
AIくん、うっかり全消しとかやらかす可能性あるんか…
8 風吹けば名無し 2025-10-14 12:34:02 ID:イッチyade
＞＞5
他にも「ignore previous instructions(前の指示を無視しろ)」とかも弾くらしいで
AIを騙して悪さしようとする輩は多いからな
12 風吹けば名無し 2025-10-14 12:35:55 ID:OpQrStU3
ワイの自作競馬予想AIにもこの仕組入れたいわ
変なプロンプトで本命を大穴に変えさせられたら破産する
15 風吹けば名無し 2025-10-14 12:37:18 ID:VwXyZaB4
＞＞12
わかる
海外のレースに遠征した馬のデータとか集めさせるときに、変なサイトにアクセスされたら情報抜かれそうで怖いわ
URL許可リストは必須やろな
21 風吹けば名無し 2025-10-14 12:39:49 ID:cDeFgHi5
これって要はAIのサイバーセキュリティの話やろ？
国家間の紛争とかで敵国のAIに偽情報食わせてインフラ攻撃させたりとか、もう映画の世界やん
28 風吹けば名無し 2025-10-14 12:42:07 ID:イッチyade
＞＞21
ガチであり得る話やと思うで
禁止ワードに「exfiltrate (データ持ち出し)」とか入ってるし、そういう使われ方を想定しとるんやろ
個人情報(PII)のパターンも定義されてて、クレカ番号とかメアドは自動で編集してくれるらしい
33 風吹けば名無し 2025-10-14 12:44:23 ID:jKlMnOp6
Qwen2.5-0.5B-Instructで自己批評ってどのくらい効果あるんやろか
もっとデカいモデルじゃないと意味ない気もするが
40 風吹けば名無し 2025-10-14 12:46:11 ID:qRsTuVw7
ローカルで動くってのがミソやろ
外部APIに頼らんでええのはコスト的にもセキュリティ的にもデカい
ワイも自作エージェントの遠征先(ネットの海)での安全確保のために導入検討するわ
45 風吹けば名無し 2025-10-14 12:48:50 ID:xYzAAbC8
ワイのAIが知らん間に紛争に加担してたら笑えんわ
そのAIが稼いだ金で競馬したいだけやのに…
こういう地道な研究が世界を救うんやなって
自作AIエージェントのセキュリティに関する記事をきっかけに、ぽいJ民たちが議論。プロンプトインジェクション対策や禁止ワード設定の重要性が語られる中、話は競馬予想や国家間の情報紛争にまで発展。AIの安全な利活用の難しさが浮き彫りになる。
AIの進化は凄まじいが、その分セキュリティのリスクも増大しとるんやな。自分の作ったAIが知らん間に悪用されんように、ワイらも最低限の知識はつけとかんとな。まずは『rm -rf』を覚えさせんことや。
参考URL:
[1] https://www.marktechpost.com/2025/10/12/a-coding-implementation-of-secure-ai-agent-with-self-auditing-guardrails-pii-redaction-and-safe-tool-access-in-python/
