AI 탈옥이란? 뜻·사례·원리와 업무에서의 대응

01탈옥이라는 말에 섞인 서로 다른 문제

NIST는 탈옥을 모델의 출력 제한이나 거부 행동을 우회하려는 직접 프롬프트 공격으로 정의합니다. 프롬프트 인젝션은 공격자의 지시가 어디로 들어오는지까지 살피는 개념이고 샌드박스 탈출은 실행 환경의 기술적 격리와 관련됩니다.

정의: NIST 용어집 · 경로와 방어: Claude 공식 문서

02잘 답하려는 학습과 거절하려는 학습이 충돌할 때

모델은 많은 글을 학습한 뒤, 지시를 따르고 위험한 요청을 거절하도록 추가 학습합니다. 안전 학습은 위험한 지식을 모두 지우는 작업과 다릅니다. 낯선 문맥에서 도움을 주려는 행동과 거절하려는 행동이 충돌하면 안전 규칙이 충분히 작동하지 않을 수 있습니다.

2023년 연구는 목표 충돌과 일반화의 불일치를 주요 원인으로 분석했습니다. 다른 연구는 일부 모델의 안전 정렬이 답변 첫 부분에 집중된 현상을 지적했습니다. 이는 안전 학습의 한계를 설명하는 연구 결과이며 모든 모델에 같은 구조가 있다는 단정은 아닙니다.

도식은 학습 순서를 설명하는 비유입니다. 안전장치가 실제로 한 겹의 덮개처럼 붙어 있다는 뜻은 아닙니다. Jailbroken 연구 · 안전 정렬의 깊이 연구

03공격에서 반복되는 네 가지 패턴

공격 문구는 다양하지만 역할과 문맥을 바꾸거나 반복 시도로 취약한 입력을 찾는 흐름이 자주 나타납니다.

Microsoft의 Skeleton Key·Crescendo 연구와 Anthropic의 Many-shot 연구는 서로 다른 공격 경로를 보여줍니다. 특정 금지어만 찾는 방식으로는 모든 문맥을 판별하기 어렵습니다.

Microsoft 보안 연구 · Anthropic Many-shot 연구

0489%와 4.4%, 숫자 앞에 조건부터 확인하세요

아래 두 연구는 평가 모델과 데이터, 공격 방식이 다릅니다. 수치를 합쳐 순위를 매기거나 현재 제품의 사고 확률로 해석할 수 없습니다.

별도의 공개 도전은 2025년 2월 3~10일 진행됐습니다. 339명이 참여했고 4명이 8개 문항을 모두 통과했습니다. Anthropic은 그중 1명의 범용 탈옥을 인정했습니다. 자동 평가에서 큰 개선을 보였어도 새로운 공격이 나올 여지는 남았습니다.

05실제 공격과 보안 평가 사고를 구분해서 읽기

Anthropic 7월 발표 · 9월 후속 평가 · Meta 공식 회고

06에이전트에서는 잘못된 답이 행동으로 이어집니다

답변만 만드는 챗봇과 메일·파일·코드 실행 도구를 연결한 에이전트는 권한이 다릅니다. 잘못된 지시가 도구 실행으로 이어지면 외부 발송, 정보 노출, 파일 변경 같은 피해가 생길 수 있습니다.

위 흐름은 위험을 이해하기 위한 가상 업무 예시이며 특정 사용자의 실제 사고 기록이 아닙니다. 공식 에이전트 방어 안내

07한 겹이 실패해도 피해를 줄이는 다층 방어

안전 학습, 검사, 실행 권한 제한을 함께 적용합니다. 어느 한 단계도 완벽하다고 가정하지 않고 실패가 다음 행동으로 번지는 경로를 줄이는 방식입니다.

업무에 연결하기 전 여섯 가지 점검

점검표는 공식 방어 문서를 업무에 맞게 정리한 권고입니다. 체크 상태는 이 화면에서만 표시되며 저장되지 않습니다. Claude 공식 방어 문서

08자주 묻는 질문