AI가 마우스와 키보드를 잡는 능력입니다. 화면을 캡처해서 보고, 버튼 위치를 찾고, 클릭하고, 입력하는 식으로 — 사람이 쓰는 프로그램을 API 없이 그대로 조작합니다.
에이전트가 「진짜 일」을 하려면 필수인 능력입니다. 세상 소프트웨어 대부분에는 AI용 연결 통로가 없으니, 결국 사람처럼 화면을 쓸 줄 알아야 하죠. 2024년 말 앤트로픽이 첫선을 보인 뒤 업계 공통 종목이 됐습니다. 아직 느리고 실수도 있어서, 시연 영상과 실사용의 간극을 지적하는 기사도 함께 나옵니다.
