어느 날 당신의 회사 컴퓨터에 백그라운드로 돌아가는 정체불명의 프로그램이 설치되어 있다고 상상해 보자. 이 프로그램은 당신이 언제 웹 브라우저를 켜는지, 어떤 사이트를 방문하는지 기록하는 수준이 아니다. 당신이 엑셀에서 마우스를 이동시키는 궤적의 각도, 버튼을 클릭하기 전 머뭇거린 0.5초의 딜레이, 스크롤을 내리는 속도의 변화, 심지어 오타를 내고 백스페이스를 누르는 리듬까지 초당 수백 번씩 밀리초 단위로 수집한다. 누군가는 “직원들의 근태를 감시하려는 악덕 기업의 횡포”라며 분노하겠지만, 최근 메타(Meta)를 비롯한 실리콘밸리 빅테크 기업들이 막대한 서버 비용을 들여가며 직원들의 ‘미세한 행동 데이터(Micro-behavior Data)’를 쓸어 담는 진짜 목적은 훨씬 더 거대하고 소름 돋는 곳에 있다. 바로 API 없이도 스스로 화면을 보고 조작하는 ‘대형 행동 모델(Large Action Model, LAM)’ 기반의 자율형 AI를 완성하기 위해서다.
지금까지의 인공지능, 즉 LLM(대규모 언어 모델)은 텍스트라는 추상적인 세계 안에 갇힌 뇌에 불과했다. 이들이 외부 세계의 소프트웨어와 소통하려면 반드시 개발자가 뚫어놓은 정해진 통로(API)가 필요했다. 하지만 우리가 실무에서 사용하는 수많은 사내 맞춤형 프로그램이나 구형 시스템들은 API가 존재하지 않는다. 인공지능이 진정한 의미의 ‘자율형 노동자’가 되기 위해서는 인간처럼 화면을 눈으로 보고(Vision), 직관적으로 마우스를 움직여 버튼을 클릭할 수 있는 물리적인 ‘손’이 필요했다. 그리고 그 손의 감각을 학습시키기 위한 유일한 교재가 바로 수만 명의 인간 직원들이 매일 화면 위에서 만들어내는 엄청난 양의 마우스와 키보드 조작 데이터인 것이다.
“2026년 MIT 테크놀로지 리뷰의 심층 분석에 따르면, 차세대 AI의 핵심은 언어 이해를 넘어선 ‘UI(사용자 인터페이스) 탐색 및 조작 능력’입니다. 메타와 같은 기업들은 UI 상에서 오류가 발생했을 때 인간이 어떻게 대처하는지, 숨겨진 메뉴를 찾기 위해 어떻게 마우스를 배회하는지에 대한 10페타바이트(PB) 이상의 행동 데이터를 학습시켜, 사람의 개입 없이도 모든 종류의 소프트웨어를 자유자재로 다루는 완벽한 자율형 에이전트를 구축하고 있습니다.”
내가 몸담았던 기술 프로젝트에서도 이러한 데이터 수집의 위력을 실감한 적이 있다. 단순한 매뉴얼 텍스트 수만 장을 학습시킨 AI는 예외적인 팝업창이 뜨면 그대로 멈춰버렸다. 하지만 ‘인간이 팝업창의 X 버튼을 찾아 누르는 마우스 궤적 비디오 데이터’를 학습한 AI는 처음 보는 레이아웃의 프로그램에서도 능숙하게 팝업을 끄고 본래 업무로 복귀했다. 직원들의 마우스 움직임은 단순한 감시의 대상이 아니라, AI에게 직관과 임기응변을 가르치는 살아있는 교과서였던 셈이다. 직원의 입장에서는 자신이 매일 하는 업무의 궤적을 AI에게 바치며, 스스로 자신의 대체자를 훈련시키고 있는 기묘하고도 잔인한 역설이 성립된다.
이러한 ‘자율형 AI’의 미래는 우리에게 빛과 그림자를 동시에 던진다. 긍정적인 면(Bright side)은 폭발적인 범용성이다. 이제 API 연동 개발에 수개월을 쏟지 않아도 된다. 그저 AI에게 “이 사내 프로그램에 들어가서 지난달 재무 데이터를 다운로드해”라고 말하면, AI가 화면의 구조를 인식해 스스로 마우스를 움직여 클릭하고 다운로드한다. 소프트웨어의 장벽이 완전히 무너지는 것이다.
하지만 그림자(Dark side)는 훨씬 더 서늘하다. 가장 큰 문제는 궁극의 프라이버시 침해와 노동의 도구화다. 데이터 수집 과정에서 개인의 매우 사적인 행동 패턴과 생체 리듬(피로도에 따른 클릭 속도 저하 등)까지 모두 노출된다. 더 나아가, 이 자율형 AI가 완성되는 순간 화이트칼라 노동력의 가치는 바닥을 칠 것이다. 이를 대비하기 위해 우리는 어떻게 행동해야 할까?
- 기계적인 UI 조작 업무의 과감한 포기: 마우스를 클릭하고 화면을 이동하며 데이터를 옮겨 적는 식의 업무는 가장 먼저 LAM에 의해 대체된다. 화면 캡처만으로 흉내 낼 수 있는 물리적 조작 업무에서 최대한 빨리 손을 떼라.
- 절차화되지 않는 ‘비정형 문제 해결 능력’ 집중: AI가 마우스 움직임으로 배울 수 없는 것은 ‘왜 그 버튼을 클릭했는가’에 대한 정치적, 전략적 판단이다. 시스템 외부에 존재하는 인간관계, 협상, 예외적인 리스크 관리 능력을 키우는 것만이 AI의 시야(Vision) 밖에서 살아남는 길이다.
- 자율형 에이전트를 감독하는 감사자(Auditor)로의 전환: 스스로 움직이는 AI는 치명적인 사고(잘못된 송금, 중요 파일 삭제 등)를 칠 확률도 높다. 마우스의 통제권을 잃은 인간이 가져야 할 새로운 권력은 이 자율형 AI들의 행동 로그를 분석하고, 통제하고, 윤리적/보안적 승인을 내리는 ‘마지막 관리자’의 역할이다.
메타가 당신의 마우스 포인터 궤적을 훔쳐보는 이유는 당신을 해고하기 위해서가 아니다. 당신을 영원히 복제하기 위해서다. 우리는 지금 컴퓨터 모니터라는 작은 유리창을 통해, 인류 역사상 가장 정교하고 거대한 기계의 신경망을 맨손으로 짜내려 가고 있는 중이다. 이 거대한 지각변동 속에서 스스로를 단순한 ‘학습용 데이터 생성기’로 전락시킬 것인지, 아니면 완성된 자율형 AI를 부리는 설계자가 될 것인지는 오직 당신의 선택에 달려 있다.
#마우스데이터 #메타감시 #자율형AI #LAM #대형행동모델 #AI에이전트 #빅테크 #업무자동화 #프라이버시 #데이터수집 #미래노동 #인공지능의미래
답글 남기기