전문가들은 범죄자들이 음성 복제, 피싱 및 ChatGPT와 같은 기술을 사용하여 사람들을 속이기 때문에 AI 사기가 증가하고 있다고 말합니다.

올해 초 마이크로소프트는 사람의 말을 3초만 들어도 그 사람의 목소리를 재현할 수 있는 새로운 인공지능(AI) 시스템을 공개했다.

그것은 AI가 누군가의 신원의 핵심 부분을 설득력 있게 복제하는 데 얼마나 빨리 사용될 수 있는지를 보여주는 신호였습니다.

다음은 시스템에 입력된 누군가의 3초 음성 프롬프트의 예입니다.

그리고 다음은 VALL-E로 알려진 AI가 다음 문구를 말하면서 그 사람의 목소리를 재현하라는 요청을 받았을 때 생성된 것입니다.

부기자 Joseph Cox는 나중에 유사한 AI 기술을 사용하여 자신의 목소리를 AI로 복제한 버전으로 은행 계좌에 액세스한 것으로 알려졌습니다.

지난 3월 가디언 오스트레일리아(Guardian Australia) 저널리스트 닉 에버셰드(Nick Evershed)는 AI 버전의 자신의 음성을 사용하여 자신의 Centrelink 셀프 서비스 계정에 액세스할 수 있었다고 말했고, 이는 일부 보안 전문가의 우려를 불러일으켰습니다.

음성 복제는 이미 사기꾼에 의해 악용되고 있지만 전문가가 AI를 활용하는 유일한 방법은 아닙니다.

기술이 어떻게 사용되고 있는지, 자신을 보호하는 최선의 방법을 살펴보겠습니다.

AI는 모든 사람의 목소리를 복제할 수 있습니다.
Guardian의 조사에 따르면 Centrelink와 ATO(Australian Tax Office)에서 사용하는 “음성 지문” 보안 시스템(“호주에서는 내 목소리가 나를 식별합니다”라는 문구 사용)이 속을 수 있습니다.

1992년 영화 ‘스니커즈’에서 로버트 레드포드의 캐릭터가 녹음된 누군가의 목소리를 이용해 보안 검색대를 통과하는 장면처럼 느껴졌다.

Services Australia는 2021-22년 연례 보고서에서 하루에 56,000건 이상의 통화와 Centrelink의 주요 비즈니스 번호로 걸려오는 통화의 39%를 인증하는 데 음성 생체 인식이 사용되었다고 밝혔습니다. 또한 성문은 “지문만큼 안전하다”고 말했습니다.

ATO는 “다른 사람이 귀하의 성문을 모방하여 귀하의 개인 정보에 접근하는 것은 매우 어렵다”고 말했습니다.

RMIT 대학의 정보 과학 교수인 리사 기븐 박사는 AI가 생성한 목소리가 사람들이 자신이 아는 사람과 대화하고 있다고 믿게 만들 수도 있다고 말합니다.

“시스템이 내 목소리를 합리적으로 복사하고 공감을 더할 수 있다면 사기꾼이 ‘엄마, 전화를 잃어버렸어요’라는 문자를 보내는 것에서 전화를 걸거나 실제로 그 사람의 목소리를 만들려고 시도한 음성 메일”이라고 그녀는 말합니다.

지난 달 미국 연방거래위원회(Federal Trade Commission)는 AI가 생성한 음성 복제를 사용하는 가짜 가족 긴급 전화에 대해 소비자들에게 경고했습니다. FBI는 또한 가상 납치 사기에 대한 경고를 발령했습니다.

이러한 우려로 인해 전문가들은 사람들이 음성 복제로부터 자신을 보호하기 위해 사용할 수 있는 몇 가지 기본 전술을 제안했습니다.

친구나 가족에게 직접 전화를 걸어 신원을 확인하거나 실제 비상 상황을 확인하기 위해 전화로 말할 수 있는 안전한 단어를 생각해 내십시오.
발신자 번호가 위조될 수 있으므로 아는 사람이 걸려온 전화라도 예상치 못한 전화에 주의하십시오.
주소, 생년월일 또는 중간 이름과 같은 개인 식별 정보를 공유하라는 요청을 받는 경우 주의하십시오.
사이버 보안 소프트웨어 회사인 Gen Digital의 아시아 태평양 전무이사인 Mark Gorrie는 AI 음성 생성기가 사람과 보안 시스템 모두를 속이는 데 계속해서 더 좋아질 것이라고 말했습니다.

“수년 동안 ‘로보스캠’은 들리는 방식만으로 쉽게 감지할 수 있었습니다.”라고 그는 말합니다. “그러나 음성 기반 AI는 더 좋아질 것이고, 그것이 사용하는 텍스트는 분명히 더 좋아질 것입니다.”

AI가 생성한 텍스트와 가짜 제품 리뷰로 사람들을 속이는 사기꾼
AI 시스템이 개선됨에 따라 OpenAI의 인기 있는 챗봇 ChatGPT와 같은 대규모 언어 모델(LLM)은 인간과 유사한 응답을 더 잘 에뮬레이션할 수 있습니다. 이것은 사기꾼이 이메일, 문자 메시지 및 자신이 만들 수 있는 다른 챗봇에서 재현하려고 시도하는 것입니다.

기븐 박사는 “인간으로서 사람들과 관계를 구축할 때 사용하는 공감과 사회적 단서라는 개념은 사기꾼들이 시스템에 사용하고 구축할 수 있는 속임수와 정확히 일치한다”고 말했다.

사기꾼은 피싱 사기에 AI를 사용하고 있습니다. 피싱 사기에는 일반적으로 합법적인 출처에서 온 것으로 위장한 이메일 또는 문자 메시지가 포함되지만 결국 사회 공학을 사용하여 개인 정보를 얻습니다. 일부 메시지는 링크를 사용하여 사용자를 위험한 웹사이트로 보낼 수도 있습니다.

기븐 박사는 챗봇과 LLM을 사용하여 “언어를 완벽하게 만들고” 메시지를 보다 개인적으로 보이게 함으로써 피싱 캠페인을 더욱 설득력 있게 만들 수 있다고 말합니다.

“과거에는 피싱 이메일이 입력 오류와 사실이 아닌 세부 정보로 가득 차 있었습니다. 사람들이 ‘이 이메일은 누구에게서 온 것입니까? 이것은 무엇입니까?’라고 말할 정도로 충분했습니다. 최근 몇 년 동안 문자 메시지 사기와 더 많은 플랫폼을 사용하는 사기꾼이 증가했습니다.”라고 그녀는 말합니다.

사이버 보안 회사인 Darktrace는 정교하고 새로운 사회 공학이 135% 증가했다고 밝혔습니다

2023년 첫 달에 발생한 공격은 ChatGPT의 광범위한 채택과 일치한다고 말했습니다.

“동시에 링크나 첨부 파일이 포함된 악성 이메일이 감소했습니다. 이 추세는 ChatGPT와 같은 생성 AI가 위협 행위자가 정교하고 표적화된 공격을 속도와 규모로 만들 수 있는 수단을 제공하고 있음을 시사합니다.” 말했다.

Mr Gorrie는 Gen Digital이 그러한 사기가 기술적인 능력이 거의 없는 사람들이 생성하기 쉽기 때문에 계속해서 증가할 것이라고 예측한다고 말합니다.

“더 이상 메시지를 보는 것만으로 그것이 진짜인지 가짜인지 식별할 수 있다고 가정하지 마십시오.”라고 그는 말합니다. “당신은 당신이 보고 있는 것에 대해 의심하고 비판적으로 생각해야 합니다.”

Darktrace의 최고 제품 책임자인 Max Heinemeyer는 회사가 AI 기반 사기를 식별하는 데에도 AI를 사용하고 있다고 말했습니다.

“AI 기반 공격이 증가하는 세상에서 우리는 더 이상 인간이 수신하는 통신의 진실성을 판단할 책임을 인간에게 맡길 수 없습니다. 이제 이것은 인공 지능의 일입니다.”라고 그는 말했습니다.

또한 AI는 가짜 제품 리뷰를 온라인에 게시하는 데 사용되고 있지만 AI가 생성한 콘텐츠를 찾기 위해 설계된 일부 도구는 이를 지속적으로 식별하는 데 어려움을 겪고 있다고 Gorrie는 말합니다.

“나타나는 것의 품질을 보면 분명히 감지하기가 훨씬 더 어렵다는 것을 알 수 있습니다

사기꾼은 AI를 사용하여 악성 컴퓨터 코드를 생성하고 암호를 해독할 수 있습니다.
소프트웨어 엔지니어와 매니아들은 AI를 사용하여 앱과 웹사이트 같은 것을 빠르게 구축했지만 이 기술은 다른 컴퓨터를 해킹하는 데 사용할 수 있는 코드를 생성하는 데에도 사용되었습니다.

Gorrie는 “악성 코드 작성에 익숙하지 않은 기술 지식이 없는 사람이 악의적인 목적을 위해 기본적인 코드를 작성할 수 있다는 사실을 일부 해커 포럼에서 이미 확인했습니다.”라고 말했습니다. “따라서 진정한 해커가 되기 위한 진입 장벽이 확실히 바뀌고 있습니다.”

AI 프로그램은 암호를 해독하려는 시도에도 사용되어 전문가들이 사람들에게 암호를 강화하고 가능한 경우 이중 인증을 사용하도록 촉구했습니다.

일부 전문가들은 Google Docs 및 Microsoft Excel과 같은 생산성 애플리케이션에 곧 추가될 AI 기능에 대해서도 우려하고 있습니다. 사기꾼이나 해커가 대량의 훔친 데이터를 손에 넣으면 AI 도구를 사용하여 귀중한 정보를 빠르게 추출할 수 있다고 우려합니다.

호주 규제 당국은 AI가 사기를 ‘식별하기 어렵게 만든다’고 밝혔습니다.
호주경쟁소비자위원회(ACCC)는 AI의 사용을 구체적으로 지적한 사기에 대한 보고는 받지 못했지만 이 기술이 “커뮤니티가 사기를 식별하기 어렵게 만든다”는 점을 알고 있다고 말했습니다.

대변인은 “신기술의 출현으로 [ACCC의] Scamwatch는 사기 접근 방식이 계속해서 정교해지고 있으며 AI가 제공하는 위험에 대해 경계하고 있습니다.”라고 말했습니다.

“우리는 사기를 감지하고 차단하는 방법을 식별하기 위해 통신 및 디지털 플랫폼 산업 파트너와 계속 협력하고 있습니다.

“커뮤니티는 개인 정보나 돈에 대한 요청에 계속해서 주의를 기울여 접근하고 하이퍼링크를 클릭할 때 주의를 기울여야 합니다.”

호주의 사기에 대해 자세히 알아보기:
호주에는 ‘Hi Mum’ 사기가 만연해 있습니다. 전문가가 작동 방식과 주의해야 할 징후에 대해 설명합니다.
소기업 소유주인 Monique는 전화 사기에 빠질 줄은 꿈에도 생각하지 못하다가 휴일에 전화를 받았습니다.
마크는 중고차에 17,000달러 선불을 거부한 것에 대해 법적 위협을 받았습니다. 이제 그의 개인 정보는 사기꾼에게 있습니다.
호주 기업들이 사기를 방지하려고 노력함에 따라 보고서에 따르면 규제에 대한 신뢰도가 낮다고 합니다.
컨설팅 회사인 KPMG와 호주정보산업협회가 지난 3월 발표한 보고서에 따르면 호주인의 3분의 2는 안전하지 않은 AI 사용으로부터 자신을 보호할 법이나 규정이 충분하지 않다고 느꼈다.

일부 호주 은행 및 통신 회사는 이미 AI를 사용하여 시스템에서 잠재적 사기 및 사이버 위협을 탐지하고 있다고 말합니다.

AFCA(Australian Financial Complaints Authority)는 2021-22년 약 340건에서 매월 약 400건의 사기 관련 민원을 접수하고 있다고 밝혔습니다.

AFCA의 최고 옴부즈맨 겸 최고 경영자인 David Locke는 일부 기업들이 사기를 탐지하고 방지하기 위해 협력하고 있지만 더 많은 조치가 필요하다고 말합니다.

“스캠의 광범위하고 정교한 특성은 업계가 새로운 기술에 기꺼이 투자하고 신속하게 대응할 수 있는 능력이 필요하다는 것을 의미합니다.”라고 그는 말합니다.

기븐 박사는 AI가 많은 긍정적인 구현을 가지고 있지만 AI 기반 사기의 표적이 되지 않는 사람은 아무도 없다고 말합니다.

“나는 사람들이 이것이 모든 사람에게 영향을 미치고 있다는 것을 깨달아야 한다고 생각합니다. 당신이 기술에 대해 얼마나 전문가인지 초보자인지는 중요하지 않습니다.”라고 그녀는 말합니다.

“기술을 가지고 노는 것은 실제로 매우 건강하고 긍정적입니다. 기술이 작동하는 방식을 이해하고 관련 내용을 읽고 사람들과 이야기하고 자녀와 이야기하는 것입니다.

“사람들은 가능한 한 비판적이어야 하며 동시에 AI가 완전히 위험하거나 문제가 있는 것은 아니라는 점을 이해해야 합니다.”

사기의 표적이 되었거나 피해를 입은 적이 있습니까? 당신의 이야기를 들려주세요
선택 사항으로 표시되지 않는 한 모든 필드는 필수입니다.