오픈AI Codex가 맥에서 직접 클릭하기 시작했다, 이번엔 코드보다 앱 조작이 먼저 달라진다

오픈AI가 Codex 앱에 Computer Use를 붙이면서, 이제 Codex가 맥 화면을 보고 직접 클릭하고 입력하는 흐름이 열렸다. 이번 업데이트의 핵심은 단순히 코드를 더 잘 짜는 게 아니라, 브라우저와 데스크톱 앱까지 실제로 만지면서 일을 이어갈 수 있다는 점이다. 다만 시작부터 다 되는 건 아니다. 현재 기준으로는 macOS 전용이고, 유럽경제지역(EEA)·영국·스위스에서는 출시 시점에 바로 쓸 수 없다.

제 기준에는 이 기능이 왜 괜찮아 보이냐면, 개발자가 원래 가장 귀찮아하던 마지막 구간을 건드리기 때문이다. 터미널과 코드만으로는 끝나지 않는 작업이 늘 있다. 실제 앱에서 버튼 눌러 보기, 설정창 열기, 브라우저에서 흐름 확인하기, GUI에서만 터지는 버그 재현하기 같은 일이다. 오픈AI는 Codex가 이런 구간에서 맥의 그래픽 인터페이스를 직접 보고 조작할 수 있다고 설명했다.

한눈에 보기

개발자가 제일 귀찮아하는 구간이 어디냐면

그동안 에이전트형 코딩 도구는 코드를 만들고 수정하는 데는 빨라졌지만, 실제 화면에서 제대로 움직이는지 확인하는 단계는 결국 사람이 많이 붙어야 했다. 오픈AI가 예시로 든 것도 비슷하다. macOS 앱 테스트, iOS 시뮬레이터 흐름 확인, 브라우저 작업, 설정 변경, GUI에서만 보이는 문제 재현 같은 일이다. 이번 변화는 개발 생산성의 앞단보다 뒤단을 줄이는 성격이 더 강하다.

이게 중요한 이유는 실제 업무 병목이 대개 여기서 생기기 때문이다. 버튼 하나 위치가 어긋나는지, 온보딩 화면이 막히는지, 결제 페이지가 마지막에 깨지는지는 로그만 봐서는 끝나지 않는 경우가 많다. Codex가 여기까지 들어오면, 사람은 아예 안 봐도 되는 게 아니라 “계속 붙어서 반복 클릭해야 하는 시간”을 꽤 줄일 수 있다.

설치 전에 뭐부터 걸리냐면

좋아 보이는 기능이긴 하지만, 바로 막 던져 쓰면 불편할 수도 있다. 우선 Computer Use 플러그인을 설치해야 하고, macOS가 묻는 Screen Recording 권한과 Accessibility 권한을 각각 허용해야 한다. 그래야 Codex가 화면을 보고, 클릭하고, 타이핑하고, 이동할 수 있다. 권한을 안 주면 사실상 기능 절반이 막힌다.

또 하나는 승인 구조다. macOS 시스템 권한과 Codex 내부 앱 승인 정책은 별개다. 화면 접근 권한을 줬다고 해서 아무 앱이나 자동으로 열어 쓰는 건 아니고, Codex가 어떤 앱을 만질지에 대해 따로 허용하는 흐름이 있다. 자주 쓰는 앱은 Always allow로 넘길 수 있지만, 이건 진짜 믿을 수 있는 앱만 넣는 게 맞다.

좋아 보여도 아직은 “관리형 자동화”에 가깝다

오픈AI 문서를 보면 경계선도 명확하다. Computer Use는 브라우저에 로그인된 계정으로 페이지를 눌러 작업할 수 있고, 보이는 화면과 스크린샷, 열어둔 파일을 맥락으로 처리할 수 있다. 반대로 말하면 민감한 창을 열어둔 상태에서 무심코 쓰면 생각보다 넓은 정보가 같이 들어갈 수 있다는 뜻이다. 결제, 보안, 개인정보, 네트워크 설정, 자격증명 관련 작업은 사용자가 곁에서 직접 보는 전제를 깔고 있다.

게다가 터미널 앱이나 Codex 자체는 자동화할 수 없고, 관리자 인증이나 보안·개인정보 권한 승인도 대신 못 한다. 그래서 이 기능은 “완전 자동 비서”보다는 “사람이 옆에서 감독하는 맥용 작업 대행”에 더 가깝다. 그 대신 범위를 좁혀 쓰면 꽤 실용적이다. 예를 들어 크롬에서 변경 사항 확인, 데스크톱 앱 설정 확인, 시뮬레이터 재현 같은 작업은 바로 그림이 그려진다.

처음 던져보면 어디서 차이가 나냐면

실제로는 설치부터 짧게 점검하는 편이 좋다. 제 기준 추천 순서는 이렇다. 먼저 Codex 설정에서 Computer Use 플러그인을 설치한다. 그다음 macOS가 요청하는 Screen Recording과 Accessibility 권한을 허용한다. 이후 자주 확인하는 앱 하나만 골라 좁은 작업을 맡긴다. 예를 들면 크롬에서 특정 페이지 열기, 로컬 앱 설정 한 군데 확인, 시뮬레이터에서 온보딩 한 번 재현하기 같은 식이다.

처음부터 여러 앱을 넓게 열어두는 것보다, 앱 하나와 창 하나만 지정하는 편이 훨씬 안전하다. 문서에도 같은 맥락이 나온다. 오픈AI는 한 번에 하나의 명확한 앱이나 흐름을 주고, 민감한 창은 닫아두고, 계정·결제·보안 관련 작업은 사용자가 직접 지켜보라고 안내한다.

누가 바로 써보고 누가 아직 기다려야 하냐면

맥으로 프런트엔드나 앱 테스트를 자주 하는 사람, 브라우저와 데스크톱 앱을 오가며 확인 작업이 많은 사람, API가 없어서 결국 화면을 눌러야 하는 업무가 있는 사람은 한 번 써볼 만하다. 반대로 윈도우 중심 환경이거나, 회사 보안 규정상 화면 권한 부여가 까다로운 팀이라면 지금은 구경 단계가 더 맞다.

저는 이번 Codex Computer Use를 “AI가 코드를 짜준다”보다 “AI가 맥에서 마지막 확인 작업까지 대신 들어온다”는 신호로 보는 편이 맞다고 본다. 이 차이가 꽤 크다. 최근 크롬 AI 모드처럼 화면 옆에서 보조하는 흐름이 늘고 있었는데, 이제는 아예 브라우저 옆 보조를 넘어서 맥 앱 조작까지 들어온 셈이다. 검색과 앱 접근이 더 가까워지는 흐름은 구글 앱의 윈도우 확장에서도 보였고, 앱 안 존재감이 커지는 방향은 메타 AI 사례와도 닿아 있다.

맥 쓰고 GUI 확인 업무 많으면 한번 써볼 만하다. 윈도우면 아직 구경이다.

출처: OpenAI Developers – Computer Use
보조 참고: MacRumors, 9to5Mac