월든 얀, 데빈 GPT-6 Astra 테스트 영상

영상의 핵심은 문제를 어떻게 정의하느냐예요. 얀은 "우리와 다른 엔지니어링 팀들이 이제 워낙 많은 코드를 쓰기 때문에, 진짜 문제는 그 코드를 어떻게 다 검토하고 출시 전에 어떻게 확신을 얻느냐가 됐습니다" 라고 말했어요. 코드를 쓰는 속도가 아니라 읽는 속도가 병목이라는 진단이에요. 그 답으로 그가 든 것이 Astra 의 테스트 능력이고, "Astra 가 크게 나아진 부분 하나는 자기 작업이 실제로 기대한 대로 작동한다는 것을 테스트하고 증명하는 능력입니다" 라고 그는 덧붙였어요.

오픈AI 사이트의 고객 사례 페이지는 같은 이야기를 글로 담고 있어요. 9월 11일 자 페이지에 따르면 데빈은 Astra 로 오터 런이라는 아이폰 게임을 테스트하고, 시뮬레이터에서 게임이 돌아가는 녹화본과 함께 통과한 검사와 테스트되지 않은 영역을 적은 보고서를 돌려줘요. 고객이 버그 화면을 캡처해 보내면 팀이 그것을 Astra 를 쓰는 데빈에게 넘기고, 데빈이 문제를 고친 뒤 결과 화면을 다시 보내는 왕복도 페이지에 적혀 있어요. 얀은 이 방식 덕분에 고객에게 훨씬 빨리 답한다고 말했어요. 메탈은 이 사례 페이지가 올라온 다음 날 그 내용을 보도한 바 있으며, 이번에는 그 글에 창업자가 직접 말하는 영상이 붙었어요.

숫자는 코그니션 쪽 발표에 있어요. 코그니션은 9월 3일 X 에 GPT-6 Astra 가 데빈에 들어온다고 알리면서, 자사 벤치마크 FrontierCode 1.1 에서 Astra 가 Fable 5 와 0.4점 차이로 붙어 있고 비용은 64% 낮다고 밝혔어요. 이 게시글은 조회 85만 회를 넘겼어요. 회사 블로그의 발표문은 한 줄을 더 적었어요. FrontierCode 1.1 은 실제 엔지니어링 작업을 품질과 병합 가능성으로 채점하는 코그니션의 자체 벤치마크이고, 여기서 GPT-6 Astra 는 Fable 5.1 을 앞서 Fable 5 다음의 2위라는 거예요. 데빈의 테스트 기능을 맡겼을 때는 내부 테스트 벤치마크에서 최고 성적을 냈고, 더 포괄적인 테스트와 더 명확한 보고서, 더 보기 쉬운 영상 증거를 만든다고 회사는 설명했어요.

배치 방식도 발표문에 있어요. GPT-6 Astra 는 데빈 데스크톱과 데빈 CLI 에서 바로 쓸 수 있고, 데빈 클라우드에서는 여러 모델을 섞어 쓰는 모델 믹스처의 일부로 들어가요. 한 회사가 한 모델을 고르는 게 아니라 작업마다 모델을 다르게 두는 구조예요. 메탈은 코그니션이 데빈에 Fable 5.1 을 들여 코딩 작업 비용을 54% 낮췄다고 보도한 바 있어요. 그로부터 2주 만에 같은 제품 안에 다른 회사의 모델이 테스트 담당으로 들어온 셈이에요.

엔지니어링 관리자의 눈으로 보면 이 영상이 말하는 것은 검토 비용의 회계예요. 에이전트가 코드를 더 많이 쓸수록 사람이 읽어야 할 코드도 같이 늘고, 팀의 처리량은 결국 검토 속도에 묶여요. 코그니션이 택한 방향은 검토를 없애는 게 아니라 검토 대상을 바꾸는 쪽이에요. 코드를 한 줄씩 읽는 대신 녹화본과 보고서를 보고, 보고서에 적힌 테스트되지 않은 영역만 사람이 파고드는 구조예요. 얀은 이렇게 내다봤어요. "시간이 지나면 우리가 직접 들여다봐야 하는 코드는 줄고 결국 더 많이 출시하게 될 것으로 기대합니다" 라고요. 그는 이것이 GPT-6 에서 가장 기대하는 것 중 하나라고 영상을 맺었어요.

이 영상은 오픈AI 가 GPT-6 Astra 고객 사례를 짧은 영상으로 잇달아 내놓는 흐름의 한 편이에요. 메탈은 하루 앞서 9월 14일에 올라온 퍼플렉시티 공동창업자 조니 호의 68초 영상을 보도한 바 있어요. 두 영상은 같은 문장을 다른 회사의 입으로 말해요. 모델이 코드를 쓰는 데서 멈추지 않고 그 코드가 맞는지 확인하는 장치까지 세우고, 사람은 결과를 덜 들여다본다는 거예요. 오픈AI 는 벤치마크 표 대신 고객의 얼굴과 목소리로 모델을 팔고 있고, 코그니션은 그 방식에 자기 벤치마크 숫자를 보탰어요.