OpenAI Codex macOS 앱 조작을 맡길 때 내가 정한 선
오픈AI가 Codex 앱에 Computer Use를 붙이면서, 이제 Codex가 맥 화면을 보고 직접 클릭하고 입력하는 흐름이 열렸습니다. 이번 업데이트의 핵심은 단순히 코드를 더 잘 짜는 게 아니라, 브라우저와 데스크톱 앱까지 실제로 만지면서 일을 이어갈 수 있다는 점입니다. 대신 시작부터 다 되는 건 아닙니다. 현재 기준으로는 macOS 전용이고, 유럽경제지역(EEA)·영국·스위스에서는 출시 시점에 바로 쓸 수 없습니다.
제 기준에는 이 기능이 왜 괜찮아 보이냐면, 개발자가 원래 가장 귀찮아하던 마지막 구간을 건드리기 때문입니다. 터미널과 코드만으로는 끝나지 않는 작업이 늘 있습니다. 실제 앱에서 버튼 눌러 보기, 설정창 열기, 브라우저에서 흐름 확인하기, GUI에서만 터지는 버그 재현하기 같은 일입니다. 오픈AI는 Codex가 이런 구간에서 맥의 그래픽 인터페이스를 직접 보고 조작할 수 있다고 설명했습니다.
짧게 보면
| 항목 | 이번 발표 내용 | 실제로 먼저 달라지는 점 |
|---|---|---|
| 지원 환경 | Codex 앱의 Computer Use는 현재 macOS에서 제공 | 맥 사용자만 바로 체감 가능하고 윈도우 사용자는 아직 기다려야 합니다 |
| 초기 제한 | EEA·영국·스위스는 출시 시점 제외 | 같은 맥 사용자라도 지역에 따라 바로 못 쓸 수 있습니다 |
| 필수 권한 | Screen Recording, Accessibility 권한 필요 | 설치만으로 끝나지 않고 macOS 권한 허용까지 해줘야 합니다 |
| 잘 맞는 작업 | 브라우저 작업, 앱 설정 변경, GUI 버그 재현, 다중 앱 흐름 | 코드 생성보다 실제 동작 확인 단계에서 가치가 커집니다 |
| 주의점 | 브라우저 로그인 상태, 민감 앱, 계정·결제 화면은 사용자가 직접 봐야 함 | 자동화 범위는 넓어졌지만 완전 무인으로 맡기기엔 아직 이릅니다 |
개발자가 제일 귀찮아하는 구간이 어디냐면
그동안 에이전트형 코딩 도구는 코드를 만들고 수정하는 데는 빨라졌지만, 실제 화면에서 제대로 움직이는지 확인하는 단계는 결국 사람이 많이 붙어야 했습니다. 오픈AI가 예시로 든 것도 비슷합니다. macOS 앱 테스트, iOS 시뮬레이터 흐름 확인, 브라우저 작업, 설정 변경, GUI에서만 보이는 문제 재현 같은 일입니다. 이번 변화는 개발 생산성의 앞단보다 뒤단을 줄이는 성격이 더 강합니다.
이게 중요한 이유는 실제 업무 병목이 대개 여기서 생기기 때문입니다. 버튼 하나 위치가 어긋나는지, 온보딩 화면이 막히는지, 결제 페이지가 마지막에 깨지는지는 로그만 봐서는 끝나지 않는 경우가 많습니다. Codex가 여기까지 들어오면, 사람은 아예 안 봐도 되는 게 아니라 “계속 붙어서 반복 클릭해야 하는 시간”을 꽤 줄일 수 있습니다.
설치 전에 뭐부터 걸리냐면
좋아 보이는 기능이긴 그래도 , 바로 막 던져 쓰면 불편할 수도 있습니다. 우선 Computer Use 플러그인을 설치해야 하고, macOS가 묻는 Screen Recording 권한과 Accessibility 권한을 각각 허용해야 합니다. 그래야 Codex가 화면을 보고, 클릭하고, 타이핑하고, 이동할 수 있습니다. 권한을 안 주면 사실상 기능 절반이 막힙니다.
또 하나는 승인 구조입니다. macOS 시스템 권한과 Codex 내부 앱 승인 정책은 별개입니다. 화면 접근 권한을 줬다고 해서 아무 앱이나 자동으로 열어 쓰는 건 아니고, Codex가 어떤 앱을 만질지에 대해 따로 허용하는 흐름이 있습니다. 자주 쓰는 앱은 Always allow로 넘길 수 있지만, 이건 진짜 믿을 수 있는 앱만 넣는 게 맞습니다.
좋아 보여도 아직은 “관리형 자동화”입니다
오픈AI 문서를 보면 경계선도 명확합니다. Computer Use는 브라우저에 로그인된 계정으로 페이지를 눌러 작업할 수 있고, 보이는 화면과 스크린샷, 열어둔 파일을 맥락으로 처리할 수 있습니다. 반면 말하면 민감한 창을 열어둔 상태에서 무심코 쓰면 생각보다 넓은 정보가 같이 들어갈 수 있다는 뜻입니다. 결제, 보안, 개인정보, 네트워크 설정, 자격증명 관련 작업은 사용자가 곁에서 직접 보는 전제를 깔고 있습니다.
게다가 터미널 앱이나 Codex 자체는 자동화할 수 없고, 관리자 인증이나 보안·개인정보 권한 승인도 대신 못 합니다. 그래서 이 기능은 “완전 자동 비서”보다는 “사람이 옆에서 감독하는 맥용 작업 대행”입니다. 그 대신 범위를 좁혀 쓰면 꽤 실용적입니다. 예를 들어 크롬에서 변경 사항 확인, 데스크톱 앱 설정 확인, 시뮬레이터 재현 같은 작업은 바로 그림이 그려집니다.
처음 던져보면 어디서 차이가 나냐면
실제로는 설치부터 짧게 점검하는 편이 좋습니다. 제 기준 추천 순서는 이렇습니다. 먼저 Codex 설정에서 Computer Use 플러그인을 설치합니다. 그다음 macOS가 요청하는 Screen Recording과 Accessibility 권한을 허용합니다. 이후 자주 확인하는 앱 하나만 골라 좁은 작업을 맡깁니다. 예를 들면 크롬에서 특정 페이지 열기, 로컬 앱 설정 한 군데 확인, 시뮬레이터에서 온보딩 한 번 재현하기 같은 식입니다.
처음부터 여러 앱을 넓게 열어두는 것보다, 앱 하나와 창 하나만 지정하는 편이 훨씬 안전합니다. 문서에도 같은 맥락이 나옵니다. 오픈AI는 한 번에 하나의 명확한 앱이나 흐름을 주고, 민감한 창은 닫아두고, 계정·결제·보안 관련 작업은 사용자가 직접 지켜보라고 안내합니다.
누가 바로 써보고 누가 아직 기다려야 하냐면
맥으로 프런트엔드나 앱 테스트를 자주 하는 사람, 브라우저와 데스크톱 앱을 오가며 확인 작업이 많은 사람, API가 없어서 결국 화면을 눌러야 하는 업무가 있는 사람은 한 번 써볼 만합니다. 다른 쪽은 윈도우 중심 환경이거나, 회사 보안 규정상 화면 권한 부여가 까다로운 팀이라면 지금은 구경 단계가 더 맞습니다.
나는 이번 Codex Computer Use를 “AI가 코드를 짜줍니다”보다 “AI가 맥에서 마지막 확인 작업까지 대신 들어옵니다”는 신호로 보는 편이 맞다고 봅니다. 이 차이가 꽤 큽니다. 최근 크롬 AI 모드처럼 화면 옆에서 보조하는 흐름이 늘고 있었는데, 이제는 아예 브라우저 옆 보조를 넘어서 맥 앱 조작까지 들어온 셈입니다. 검색과 앱 접근이 더 가까워지는 흐름은 구글 앱의 윈도우 확장에서도 보였고, 앱 안 존재감이 커지는 방향은 메타 AI 사례와도 닿아 있습니다.
맥 쓰고 GUI 확인 업무 많으면 한번 써볼 만합니다. 윈도우면 아직 구경입니다.
출처: OpenAI Developers – Computer Use
보조 참고: MacRumors, 9to5Mac
먼저 써볼 만한 사람
코드 수정 뒤 브라우저나 앱 화면까지 직접 확인해야 하는 사람에게 유용합니다.
체크리스트
권한 설정, 클릭 위치, 입력 내용, 실패했을 때 사람이 다시 잡을 수 있는지부터 봐야 합니다.
내가 정한 사용선
Codex가 맥 화면을 조작할 수 있다는 점은 분명 편하다. 하지만 이 기능은 자동화라기보다 사람이 보고 있는 화면에 AI의 손을 하나 더 얹는 방식에 가깝다. 그래서 나는 결과를 바로 확인할 수 있는 작업부터 맡긴다.
파일 수정, 공개 URL 확인, 브라우저 캡처처럼 되돌릴 수 있는 일은 적극적으로 써볼 만하다. 반대로 보안 설정, 결제, 계정 권한, 삭제처럼 되돌리기 어려운 작업은 마지막에 사람이 멈춰서 확인해야 한다. 이 기준을 세워두면 기능이 늘어나도 덜 흔들린다.
이어서 볼 글
근거
이 글은 공식 발표, 공개 문서, 서비스 안내처럼 확인 가능한 자료를 먼저 보고 정리했다. 루머나 커뮤니티 해석은 사실처럼 쓰지 않고, 확인 범위를 본문에서 나눠 적는 것을 기준으로 삼습니다.
