프롬프트 인젝션의 개념과 위험성

이 게시물은 AI 시스템의 자연어 처리 방식을 노리는 프롬프트 인젝션 공격의 원리, 유형, 실제 사례 및 방어 전략을 설명합니다.

프롬프트 인젝션의 원리

• LLM이 시스템 프롬프트와 사용자 입력을 하나의 연속된 자연어 시퀀스로 처리
• 악성 지시를 포함하는 입력을 그대로 수용하여 의도하지 않은 동작 유발

공격 유형

• 고전적 직접 인젝션, 페르소나 탈옥, 난독화/회피
• 간접 프롬프트 인젝션, 멀티모달 인젝션
• 고도화된 공격: 토픽 공격, 토큰 브레이크, 정책 조작, 장기 메모리 조작 등
• Prompt Injection 2.0과 AI 웜 및 다중 에이전트 감염

실제 사례

• 상용 LLM 시스템 프롬프트 유출
• Morris-II AI 웜의 자가복제 공격
• GitHub Copilot의 코드 주석 악성 프롬프트로 인한 정보 유출

방어 전략

• 안전한 프롬프트 엔지니어링 및 입력 분리
• 출력 정제, 권한 관리, 샌드박스 격리 등 인프라 강화
• 가드레일 서비스와 중앙 정책 관리 도입
• 지속적 보안 모니터링과 적대적 훈련, 레드팀 활동