지난 5월 22일 미국 국방부 영내에서 폭발 사고가 발생했다는 사진 게시물이 사회관계망서비스를 통해 확산됐다. 이 게시물은 트위터에서 유료 인증을 받은 한 계정에 처음 게시됐고 이후 러시아 관영매체인 RT가 “펜타곤 근처에서 폭발이 일어났다”며 사진을 트윗했고, 유명 블로거 등이 연이어 ‘펜타곤 근처 폭발’이라는 설명과 함께 사진을 게시하면서 온라인으로 퍼졌다. 사진이 유포된 몇 시간 사이 미 금융시장은 일시적으로 출렁였고, 안전자산인 미국 국채와 금값은 상승했다. 이 사진은 생성형 AI가 만들어낸 것이었다.

또한 최근에는 사이버범죄에 특화된 생성형 AI가 발견됐다. 이메일 보안기업인 슬래시넥스트가 사이버범죄 포럼에서 생성형 AI 범죄도구 ‘웜GPT’를 발견했다고 밝혔는데, 이에 따르면 웜GPT는 챗GPT와 비슷한 형식의 챗봇으로 개인화된 피싱(phishing), 비즈니스 이메일 침해 공격 등 사이버범죄를 쉽게 실행하기 위해 만들어졌다. 이처럼 생성형 AI의 확산으로 사이버보안의 위협요소가 크게 증가하고 있다.

AI 기술과 사이버보안의 관계는 크게 두 가지 측면에서 살펴볼 수 있다. 첫째는 AI 기술을 이용해 사이버보안을 강화하는 측면이며(Security by AI), 둘째는 AI 기술이 사이버 공격에 이용되는 경우이다(Cyber attack by AI). AI 기술을 사이버보안에 이용하는 대표적인 예가 AI 기반 보안 관제이다. 사람이 하루에 수백만 건에 달하는 보안 위협을 분석하는 것은 불가능한데, AI 기술은 사람의 개입 없이 보안사고로 이어질 가능성이 큰 보안 위협을 찾아내서 해당 위협의 원인과 추후 공격 양상 그리고 잠재적인 공격자 등을 식별하는데 이용될 수 있다. 다음 AI를 이용한 사이버 공격의 경우, AI가 공격 대상 조직의 정보시스템의 취약성을 찾고 이 취약성을 이용한 공격 방법을 찾아 사이버 공격을 감행하는 데 이용된다. 자동화된 대규모 공격을 감행하기 위한 공격 수단을 개발하는 것이다.

문제는 생성형 AI의 출현으로 비전문가에 의한 사이버 공격이 훨씬 쉬워졌다는 것이다. 공격 측면에서 보면 챗GPT를 활용하여 악성도구를 개발하는 사례가 확인되고 있다. 생성형 AI가 자연스런 언어능력을 가짐으로써 피싱 메일이 증가할 수 있다는 것이다. 게다가 번역능력은 해외공격자의 언어적 한계를 극복할 수 있게 한다. 또한 생성형 AI는 코딩 능력이 매우 우수한 것으로 알려져 있다. 이에 전문지식이 부족한 공격자도 랜섬웨어와 같은 악성코드 생성, 웹페이지 공격 수단 검색, 취약점 분석, 공격스크립트 생성을 통해 해킹 공격을 할 수 있다.

한편 이용자 측면에서는 질문(prompt)에 개인정보나 영업비밀을 포함함으로써 보안상 심각한 문제를 일으킬 수 있다. 이에 따라 기업이나 공공공기관들이 챗GPT 사용을 금지하는 사례가 증가하고 있다. 또한 보다 근본적 문제로 생성형 AI 모델의 신뢰성에 타격을 주는 경우가 있다. 딥페이크와 같이 가짜 영상을 쉽게 만들어 사회적 혼란을 초래할 수 있으며, 또한 학습데이터를 조작하여 AI 모델의 정확도를 낮추거나 오류를 유발하는 데이터 오염 공격으로 인해 신뢰성에 해칠 수 있다.

생성형 AI의 사이버보안에 대한 위험에 대응하는 방안으로는 첫째, 조직 내부 차원에서 AI의 공격에 대비해 광범위하고 정기적으로 보안환경을 업데이트하고, 직원들에게 공격자들이 사용하는 전술을 교육해 항상 보안에 유의하도록 해야 한다. 특히, 개인정보를 노린 피싱 공격이 가장 많은 만큼 경영진이나 비즈니스 관계자를 사칭한 외부 이메일이 도착했을 때 자동으로 경고하는 시스템을 갖추어야 할 것이다.

둘째, 생성형 AI가 만들어내는 가짜뉴스로 인한 우려와 관련 현재 기술로서는 이를 원천적으로 막는 것이 어려운 것이 현실이다. 결국 이용자의 AI 리터러시를 배양하는 것이 대안이지만, 법적 규제에 대해서도 고민할 필요가 있다. 특히, 사회적, 국가적 법익을 침해하는 가짜뉴스의 경우 규제의 공백이 있는바, 이에 대한 사회적 논의가 필요한 시점이다.

셋째, 생성형 AI에 대한 가이드라인 제정이다. 이미 지난 6월 국정원은 생성형 AI 기술을 안전하게 이용하기 위한 보안수칙으로 비공개·개인정보 등 민감 정보 입력 금지, 생성물에 대한 정확성·윤리성·적합성 등 재검증, 생성물 활용시 지적 재산권·저작권 등 법률 침해·위반여부 확인, 연계·확장프로그램 사용시 보안 취약여부 등 안전성 확인, 로그인 계정에 대한 보안설정 강화 등을 제시한 가이드라인을 배포했다. 또한 행정안전부도 지난 5월 챗GPT에 사용시 주의사항을 담은 안내문을 기관에 배포했다. 해당 안내문에는 의사결정이 완료되지 않거나 공표되지 않은 정보는 생성형 AI에 입력하지 않을 것과 행사 참석자와 민원인들의 정보와 같이 업무 처리 과정에서 수집한 개인정보도 챗GPT와 공유하지 않을 것을 명시했다. 챗GPT의 답변의 진실성도 유의사항으로 제시됐다. 민간분야에 적용가능한 가이드라인도 마련할 필요가 있다.

끝으로 작년 11월 국가사이버안보기본법안이 제안된 이후 아직 입법화가 지지부진한 상황이다. 동 법안은 대통령 소속 국가사이버안보위원회의 위원장을 국가안보실장이 맡는 등 국가안보실이 컨트롤타워 역할을 하고 여러 중앙행정기관이 역할을 분담하도록 하고 있다. 조속히 사이버안보법제가 마련되어 사이버위협에 대한 체계적 대응이 이루어지도록 해야 할 것이다.

집을 나설 때 현관문을 잠그는 것이 당연한 일상인 것처럼 사이버 공간에서의 보안도 이제 당연한 것으로 받아들여야 하지만, 아직 조직의 리더는 물론 일반 국민도 보안의식이 일천한 상황이다. 아마도 아직은 사이버 공격의 피해가 사회 전반으로 확대된 경험은 없었기 때문일 것이다. 그러나 점점 강화되는 사이버공격이 물리적 피해로 이어지고 그 규모도 전 국민의 피해로 확대되지 않도록 사전에 철저한 대비가 필요하다. 또한 생성형 AI 시대를 맞이하여, AI를 이용한 보안 기술의 발전이라는 긍정적 효과를 극대화할 필요가 있지만, AI를 이용한 사이버 공격이라는 부정적 효과를 최소화하기 위한 노력도 중요하다. 이성엽 고려대 기술경영전문대학원 교수/기술법정책센터장