일반 해킹과 AI 해킹, 원리부터 막는 법까지

01AI 해킹은 무엇을 뜻하나요?

‘AI 해킹’이라는 말은 두 가지 뜻으로 쓰입니다. 하나는 챗봇·AI 비서·학습 데이터 같은 AI 시스템을 공격하는 것이고 다른 하나는 AI를 도구로 써서 기존 공격을 돕는 것입니다. 이 자료에서는 첫 번째, 그중에서도 문장으로 AI의 행동을 바꾸는 공격을 중심으로 설명합니다.

프롬프트 인젝션, 탈옥, 샌드박스 탈출도 구분해야 합니다. 프롬프트 인젝션은 입력 내용으로 AI의 행동을 의도치 않게 바꾸는 공격입니다. 탈옥은 모델의 안전 제한을 우회하는 데 초점을 둡니다. 샌드박스 탈출은 프로그램을 격리한 실행 환경 밖으로 접근하는 별도의 문제입니다.

OWASP는 탈옥을 프롬프트 인젝션의 한 형태로 설명합니다. 두 개념은 겹칠 수 있으며 부적절한 답변이 나왔다고 곧바로 운영체제 권한까지 얻은 것은 아닙니다. OWASP 정의 · NIST의 AI 공격 분류

02원리: 취약점과 지시의 혼동

일반적인 공격은 소프트웨어 결함, 잘못된 설정, 탈취한 계정, 사람의 실수 등을 노립니다. 입력값 검사가 빠진 코드도 문제지만 정상 로그인 권한을 훔쳐 들어오는 경우도 있습니다. 따라서 일반 해킹을 ‘코드 버그만의 문제’로 보면 방어 범위를 놓칩니다.

AI 앱에는 이런 기존 위험에 더해 믿을 수 없는 자료를 지시로 받아들이는 문제가 생깁니다. 사용자의 요청, 검색한 웹페이지, 메일 본문이 같은 대화 맥락에 들어오면 외부 문장이 작업 방향에 영향을 줄 수 있습니다. 출처를 표시하거나 지시의 우선순위를 학습시키는 방어가 있지만 그것만으로 모든 상황의 안전을 보장하지는 못합니다.

OWASP 웹 앱 위험 목록 · OpenAI의 프롬프트 인젝션 설명

03메일을 읽다가 일이 바뀌는 과정

사용자가 AI 비서에게 “새 메일을 요약해 주세요”라고 맡겼다고 가정해 보겠습니다. 그중 한 메일에 사용자가 요청하지 않은 행동을 유도하는 문장이 섞여 있습니다. AI가 이를 메일의 내용으로만 다루면 요청한 요약을 마칩니다. 작업 지시로 받아들이면 다른 자료를 찾거나 외부로 보내려 할 수 있습니다.

이처럼 웹페이지·문서·메일 같은 외부 자료를 통해 들어오는 공격을 간접 프롬프트 인젝션이라고 합니다. 직접 공격에서는 공격자가 AI의 입력창에 직접 지시를 넣습니다. 이와 달리 간접 공격의 경우 사용자는 평범한 자료를 읽어 달라고 했을 뿐일 수 있습니다.

메일 한 통을 읽는 것만으로 모든 AI에서 정보가 새는 것은 아닙니다. 읽기만 가능한 요약 도구와 파일 검색·메일 발송까지 가능한 비서는 피해 가능성이 다릅니다. 외부 콘텐츠의 출처와 실행 권한을 함께 봐야 합니다.

설명을 위한 가상 업무 사례입니다. NCSC의 프롬프트 인젝션과 신뢰 경계 설명 · OpenAI의 외부 콘텐츠 사례

04난이도와 비용은 조건에 따라 다릅니다

일부 프롬프트 공격은 문장으로 시도할 수 있어 전문 장비 없이 시작할 수 있습니다. 실제 피해를 만드는 공격까지 쉽거나 무료하다고 볼 수는 없습니다. 대상의 자료에 접근하고 모델과 도구의 방어를 우회하고 원하는 행동이 일어나는지 검증하는 데 시간과 자원이 들 수 있습니다.

‘일반 해킹은 수십억, AI 해킹은 0원’처럼 한 숫자로 비교하면 서로 다른 수준의 공격을 섞게 됩니다. 시작 비용, 연구·반복 비용, 필요한 접근 권한을 나눠 보세요. 이 자료는 공격별 평균 비용이나 성공률을 제시하지 않습니다.

위 표는 공격 유형의 조건을 비교한 설명입니다. NIST AI 공격 분류 · CISA 피싱 안내

05한 번 막았다고 끝나지 않는 이유

일반 프로그램도 버전, 설정, 실행 상태와 공격 시점에 따라 결과가 달라집니다. ‘같은 공격은 언제나 같은 결과를 낸다’고 단정할 수는 없습니다. AI 앱은 여기에 모델 버전, 대화 내용, 출력의 확률적 특성, 검색 결과와 연결 도구의 상태까지 영향을 받습니다.

따라서 한 번 거절했는지보다 사용자가 허용하지 않은 행동을 실제로 막는지를 확인해야 합니다. 업무와 비슷한 여러 사례를 반복해서 점검하고 모델·도구·권한을 바꾸면 다시 검토하세요.

연구에서 보고한 성공률도 실험 조건과 함께 읽어야 합니다. 특정 모델과 과제의 결과를 모든 AI 비서의 보안 수준으로 옮길 수 없습니다. OWASP의 ‘LLM01:2025’는 프롬프트 인젝션을 위험 목록의 첫 항목으로 표시한 이름이며 실제 사고 빈도가 1위라는 통계는 아닙니다.

OpenAI 지시 우선순위 연구 · OWASP LLM01:2025

06일반 보안 위에 AI 방어를 더합니다

업데이트, 안전한 설정, 다중 인증, 접근 권한 관리와 복구 준비는 AI 앱에도 필요합니다. 알려진 취약점을 고치면 해당 공격 경로를 줄일 수 있지만 계정 탈취나 다른 설정 문제까지 한꺼번에 해결해 주지는 않습니다.

프롬프트 인젝션에는 모델 학습, 외부 콘텐츠 식별, 입출력 검사, 실행 권한 제한 등을 겹쳐 적용합니다. “문서 속 지시를 무시하라”는 안내는 도움이 될 수 있어도 완전한 차단 장치로 보기는 어렵습니다. AI가 잘못 판단하더라도 민감한 행동을 실행하기 전에 시스템에서 막을 수 있어야 합니다.

CISA 기본 보안 수칙 · OWASP 과도한 권한과 기능 · OpenAI 다층 방어

07AI 비서의 권한과 업무 체크리스트

AI에게 일을 맡기기 전에 ‘무엇을 읽는가’와 ‘무엇을 실행하는가’를 따로 정하세요. 메일 요약에는 메일 발송 권한이 꼭 필요한 것은 아닙니다. 보고서 초안에는 회사 전체 저장소 대신 필요한 문서만 연결해 볼 수 있습니다.

위 지침은 작업 범위를 설명하는 예시입니다. 연결 도구의 실제 권한과 승인 설정도 함께 적용해야 합니다. 문장만 입력한다고 기술적인 접근 제한이 생기지는 않습니다.

연결하기 전에 확인할 6가지

체크 표시는 현재 화면에서만 유지됩니다. 실제 계정의 설정이나 보안 상태를 자동으로 확인하는 기능은 아닙니다.

08자주 묻는 질문과 공식 출처