Codex Computer Use로 맥 설정을 맡기며 정리한 선
Codex Computer Use를 처음 켰을 때는 기대보다 걱정이 먼저 들었습니다. 이름만 보면 “AI가 맥 화면까지 조작한다”는 큰 기능처럼 보이지만, 실제로는 권한 설정도 필요하고 속도도 변수라서 금방 답답해질 수 있다고 봤습니다.
그런데 맥에서 시스템 설정까지 맡겨보니 생각이 조금 바뀌었습니다. 파일을 고치고 터미널 결과를 읽는 AI와, 화면을 보고 버튼 위치를 따라가는 AI는 체감이 다릅니다. 제 기준에서는 Codex가 처음으로 “코딩 보조”보다 “맥 작업 도우미”에 가까워졌다고 느꼈습니다.
차이는 설정 앱 앞에서 바로 납니다
맥에서 은근히 귀찮은 일이 시스템 설정을 따라가는 작업입니다. 화면 기록 권한을 켜야 하거나, 손쉬운 사용 권한을 찾아 들어가야 하거나, 메뉴 이름이 조금 바뀌었을 때는 결국 사람이 직접 확인해야 합니다. 이런 작업은 명령어만으로 끝나지 않습니다.
Computer Use는 이 부분을 직접 건드립니다. OpenAI 공식 문서에서도 브라우저 사용, 앱 설정 변경, GUI 문제 재현, 여러 앱을 오가는 작업을 예로 듭니다. 실제로 써보면 이 설명이 과장만은 아닙니다. “어느 파일을 고쳐주세요”보다 “이 화면에서 다음 단계까지 확인해주세요”에 가까운 요청이 가능해집니다.
특히 단축키 설정처럼 경로가 헷갈리는 작업에서 차이가 났습니다. 제가 단축키 설정을 맡겼을 때 Codex가 시스템 설정을 직접 열고, 관련 메뉴를 따라가며 필요한 위치를 찾아 해결해줬습니다. 이런 작업은 설명을 읽고 따라 하는 것보다, 화면을 직접 보면서 처리해주는 쪽이 훨씬 편했습니다.
권한을 주는 순간 편함과 불안이 같이 옵니다
좋은 점만 있는 기능은 아닙니다. Computer Use가 제대로 움직이려면 macOS에서 화면 기록과 손쉬운 사용 권한을 줘야 합니다. 이 권한은 가볍지 않습니다. 화면에 메신저, 계정 정보, 내부 문서가 열려 있으면 그대로 노출될 수 있습니다.
주의할 점은 명확합니다. 넓게 맡기기보다 범위를 좁혀 쓰는 쪽이 맞습니다. 앱 하나, 브라우저 탭 하나, 설정 화면 하나처럼 작업 공간을 정리한 뒤에 맡기는 방식입니다. 그렇게 쓰면 불안은 줄고, 사람이 계속 클릭하며 확인하던 시간도 꽤 줄어듭니다.
코딩만 할 때보다 작업 흐름이 자연스럽습니다
Codex의 기본 장점은 여전히 코드 쪽에 있습니다. 그런데 화면 조작과 이미지 생성이 붙으면 흐름이 달라집니다. 예를 들어 작은 웹 페이지를 고치고, 브라우저에서 결과를 보고, 필요한 설명 이미지를 이어서 만드는 식입니다. 예전에는 각각 따로 끊어서 처리하던 작업이 하나의 흐름으로 붙는 느낌이 있습니다.
OpenAI의 Codex 앱 기능 문서에는 이미지 생성 기능도 따로 안내되어 있고, 이미지 생성 문서에서는 gpt-image-2를 최신 모델로 설명합니다. 이 조합은 꽤 실용적입니다. 개발, 화면 확인, 간단한 시각 자료 제작이 한 자리에서 이어지면 블로그 운영이나 웹 작업 쪽에서는 바로 쓸 곳이 생깁니다.
아직 자동 비서라고 부르기엔 빈칸이 있습니다
가장 아쉬운 부분은 메신저 연동입니다. 텔레그램이나 디스코드에서 지시를 받고, 맥 화면을 조작하고, 결과를 다시 보고하는 흐름까지 매끄럽게 붙지는 않습니다. 업무 자동화 관점에서는 이 부분이 빠지면 손이 한 번 더 갑니다.
속도도 중요합니다. 천천히 움직이면 화면을 본다는 장점이 금방 답답함으로 바뀝니다. 실제 작업에 붙이려면 Fast mode 같은 빠른 설정을 켜고, 맡길 일은 짧게 쪼개야 합니다. 길고 애매한 요청을 던지는 순간 사람도 AI도 같이 헤맵니다.
내가 실제로 맡길 일
저라면 이 기능을 완전 무인 비서처럼 쓰지는 않습니다. 대신 맥에서 반복적으로 확인해야 하는 작은 작업, 설정 화면을 따라가야 하는 작업, 브라우저에서 결과를 직접 봐야 하는 작업에 붙입니다. 사람이 옆에서 지켜보되, 손으로 누르는 시간을 줄이는 용도입니다.
Codex Computer Use는 아직 빈칸이 있는 기능입니다. 그래도 맥에서 개발, 블로그 운영, 웹 확인, 앱 설정을 자주 오가는 사람이라면 한 번 테스트해볼 만합니다. 누구에게 맞는지 묻는다면, 코딩만 하는 AI보다 화면을 보고 움직이는 AI가 더 빨리 일상 작업에 들어올 가능성을 보고 싶은 맥 사용자에게 먼저 맞습니다.
출처: OpenAI Developers – Computer Use
보조 공식 문서: OpenAI Developers – Codex app features, OpenAI API – Image generation
보조 참고: MacRumors, 9to5Mac
내가 다시 정리한 선
설정 위치를 찾고 현재 화면을 읽는 일은 맡길 만했습니다. 계정, 결제, 보안, 삭제처럼 책임이 남는 단계는 마지막 클릭을 사람이 잡고 있어야 합니다.
실제로 맡기기 전 확인한 기준
이 글은 기능 소개보다 작업을 맡길 때 어디서 멈춰야 하는지를 먼저 봅니다. 시스템 설정은 한 번 바꾸면 되돌리기 번거로운 항목이 많아서, 클릭을 자동화하기 전에 권한, 변경 범위, 되돌릴 방법을 분리해 두는 편이 안전합니다.
내가 보는 기준은 단순합니다. 화면을 읽고 안내하는 일은 맡겨도 괜찮습니다. 계정, 결제, 비밀번호, 보안 설정처럼 사용자 확인이 필요한 일은 마지막 단계에서 사람이 직접 확인해야 합니다. 자동화가 편하다고 그 경계를 흐리면 오히려 일이 커집니다.
- 설정 위치를 찾는 일: 맡겨도 됩니다.
- 현재 상태를 캡처하고 비교하는 일: 맡겨도 됩니다.
- 보안, 계정, 결제, 삭제처럼 되돌리기 어려운 변경: 직접 확인해야 합니다.
내가 이 글을 남겨두는 이유
이 글은 Codex 기능 소개라기보다, 맥 화면 조작을 AI에게 맡길 때 어디까지 허용할지 정리한 기록이다. 설정 앱을 열고 버튼을 누르는 일은 편하지만, 그 순간부터 계정 권한과 시스템 설정을 같이 건드리게 된다. 그래서 나는 “할 수 있다”보다 “맡겨도 되는가”를 먼저 본다.
지금 기준으로는 반복 확인, 공개 화면 캡처, 문장 보정처럼 되돌릴 수 있는 작업은 맡길 수 있다. 반대로 계정 권한, 결제, 삭제, 비공개 전환처럼 결과가 큰 작업은 마지막 확인을 사람이 보는 쪽이 맞다. 이 선을 적어두는 게 나중에 새 자동화를 붙일 때 더 중요했다.
