이번 소식
GitHub가 Copilot CLI와 GitHub Copilot 앱의 컴퓨터 조작 기능을 공개 프리뷰로 제공한다고 발표했습니다. macOS와 Windows에서 앱 화면의 내용과 시각 정보를 읽고, 버튼 클릭·글자 입력·스크롤·드래그 같은 동작을 수행합니다. 터미널에서 사용하는 Copilot이나 데스크톱 앱에 원하는 결과와 대상 프로그램을 설명해 일을 맡기는 방식입니다.
주요 변경
- 화면으로만 처리하던 작업 지원: 외부 프로그램이 연결할 API나 명령줄, AI 도구 연결 규격인 MCP를 제공하지 않는 앱도 조작 대상이 됩니다. GitHub는 오래된 업무 앱의 정보 요약, 프레젠테이션 수정, 여러 앱 사이의 정보 이동을 활용 예로 제시했습니다.
- 직접 활성화하는 기능: 기본값은 꺼짐입니다. CLI에서는
/computer on으로 켜고/computer show로 상태를 확인하며/computer off로 끕니다. 앱에서는 설정의 Computer Use에서 활성화할 수 있습니다. - 앱별 접근 통제: 사용하는 Copilot 화면의 도구 권한 설정에 따라 승인을 요청합니다. 요청이 표시되면 현재 세션 허용, 이후 세션에도 허용, 거부를 선택할 수 있습니다. 조직 관리자가 기능을 막은 경우 사용자가 켜도 정책을 넘을 수 없습니다.
영향 대상과 활용
코드를 작성하는 일에서 더 나아가, 개발 과정에 함께 쓰는 데스크톱 프로그램의 작업까지 맡길 수 있는 선택지가 생겼습니다. 예를 들어 브라우저에서 확인한 내용을 발표 자료에 옮기는 흐름을 요청할 수 있습니다. 이는 공식 문서의 활용 예이며, 이번 기사에서 실제 앱 조작을 실행해 성공률을 검증한 것은 아닙니다.
다만 연결 API나 전용 도구로 처리할 수 있다면 그쪽이 더 구조화된 정보와 예측 가능한 결과를 제공한다고 GitHub는 안내합니다. 화면 위치와 창 상태가 달라지면 잘못 누르거나 다른 곳에 입력할 수 있어, 결과와 수정 대상을 확인하는 과정이 필요합니다.
사용 전 확인할 점
macOS에서는 접근성 및 화면 기록 권한이 필요합니다. 특정 앱을 ‘항상 허용’한 결정은 같은 컴퓨터의 CLI와 Copilot 앱에 함께 적용됩니다. 저장된 승인을 삭제해도 이미 실행 중인 세션의 접근 권한까지 철회되지는 않습니다. 예상과 다른 동작은 CLI에서 Esc를 두 번, 앱에서는 중지 버튼 또는 Esc로 멈출 수 있습니다.
현재 단계는 변경될 수 있는 공개 프리뷰입니다. 발표에는 요금제별 제공 범위나 별도 무료 사용량이 명시돼 있지 않아 모든 계정에서 무료로 쓸 수 있다고 해석할 수 없습니다.
공식 출처·발표 시점
발표 시각: 2026년 10월 2일 04:11 KST, 공식 RSS와 원문 게시 메타데이터 기준. 컴퓨터 조작 공식 가이드에서 권한과 제한을 확인했습니다.
새 글 받아보기
RSS 리더에서 BlogFlow의 새 글을 확인할 수 있습니다.