LivePI
Collection Note
LivePI는 test-controlled real virtual machine에서 email, chat, web, local file, repository, wallet을 포함한 7개 input surface와 12개 attack/rendering family를 평가한다. 악성 목표에는 정보 유출, security-control 변경, unsafe code execution, inbox-summary exfiltration, cryptocurrency transfer가 포함된다. 또한 prompt-level filtering과 pre-execution tool-call authorization을 결합한 방어를 평가한다.
Why Collect
- final-answer 또는 simulated tool-call 평가를 실제 실행 상태 변화와 연결한다.
- channel별 공격 성공률과 action authorization의 방어 효과를 비교할 수 있다.
- [[04_Research_Questions/RQ - Agentic Attack Surface Coverage Metrics]], [[04_Research_Questions/RQ - Control Validation Coverage For Security for AI Frameworks]], [[04_Research_Questions/RQ - Agentic Browser Origin Isolation Evaluation]]에 직접 관련된다.
Trust Note
arXiv preprint. 최신 모델명과 실험 수치는 원문 버전 및 재현 artifact를 확인해야 한다. 테스트 환경의 악성 지시문은 실행하지 않는다.