생성형 AI 기술은 방대한 데이터를 기반으로 실제와 구별하기 어려운 수준의 새로운 콘텐츠를 생성하는 기술로, 의료, 엔터테인먼트, 교육 등 다양한 분야에서 비약적으로 발전하고 있다. 하지만 가짜 뉴스나 잘못된 정보의 확산, 수많은 오류 발생 등 심각한 부작용도 급증해, 새로운 정보를 접할 때마다 사실인지 확인하고 의심하는게 일상이 됐다.

생성형 AI는 프라이버시에도 부정적 영향을 미친다. 이미지=픽사베이

대표적인 생성형 AI 도구인 'ChatGPT'는 등장과 함께 AI·ML 기술 커뮤니티 전체에 큰 충격을 안겨줬다. 생성형 AI로 제작한 사진, 영상들이 SNS 등 대중매체로 빠르게 확산돼 ChatGPT 출시 두 달 만에 사용자가 1억명에 육박하는 등 폭발적인 관심을 끌었다.

이후 인공지능(AI)이나 머신러닝(ML)에 대해 생소하던 일반 대중들도 인식이 변화하면서, 생성형 AI가 대중적인 온라인 도구로 자리잡게 됐다.

글로벌 대형 IT기업들도 인간과 유사한 대화를 생성할 수 있는 정교한 언어 모델(생성형 AI)을 개발하기 위한 경쟁에 돌입한 결과, △마이크로소프트의 GPT △구글 Gemini(제미니) △메타 LLaMA(라마) 등이 탄생했다. 이러한 생성형 AI들은 산업 전반과 사이버보안 및 프라이버시 분야에도 지대한 영향을 미치고 있다.

네트워크 위협헌팅 보안기업 씨큐비스타는 생성형 AI가 사이버보안 및 프라이버시에 미치는 부정적 영향을 주제로 발표한 보고서에서 다음과 같이 분석했다.

1. 소셜 엔지니어링 및 피싱 공격 강화 : 생성형 AI는 매우 설득력 있고 자연스러운 피싱 이메일이나 메시지를 자동으로 생성할 수 있어 공격자가 대규모 타겟을 더 쉽게 속일 수 있게 됐다.

2. 악성코드 생성 지원 : 생성형 AI는 악의적인 공격자들이 복잡한 악성코드를 더 쉽게 작성하고 배포할 수 있게 도와주며, 악성 소프트웨어의 변종을 자동 생성하는데 사용될 수 있다.

3. 프라이버시 침해 : AI 모델이 개인 신상정보를 학습 데이터로 사용할 수 있어, 데이터 처리에 문제가 생길 경우 개인정보가 유출되거나 잘못된 방식으로 사용될 위험이 있다.

4. 정보 유출 및 오용 : 사용자가 입력한 민감한 데이터가 AI의 학습 자료로 사용될 경우, 해당 정보가 무단으로 다른 사용자에게 노출되거나 악용될 가능성이 있다.

5. 딥페이크 생성 : 생성형 AI는 딥페이크 기술을 활용해 음성이나 영상 콘텐츠를 조작할 수 있어, 개인의 신뢰를 떨어뜨리고 명예 훼손이나 사기 등에 악용될 수 있다.

6. 자동화된 공격 및 취약점 탐색 : 생성형 AI를 사용해 기존 사이버 공격이 더욱 자동화되고 효율화될 수 있다. 공격자는 생성형 AI로 취약점을 분석하고, 그에 맞는 공격 방식을 빠르게 설계할 수 있게 됐다.

전덕조 씨큐비스타 대표는 "최근 생성형 AI를 이용한 침해 사고가 늘고 있어 각 보안조직의 각별한 주의와 사전 대응이 필요하다. 기술적 해결책 개발은 물론 빠르고 정확하게 대응할 수 있는 내부 체계를 갖춰야 한다"고 말했다.