AI 설계 단백질, 예측과 실험이 갈렸다

캠페인은 두 가지 방식으로 돌았어요. 여러 표적을 한꺼번에 맡기고 48시간을 준 방식에서는 Mythos 프리뷰가 26.7%, Opus 4.8이 22.6%를 냈어요. 표적 하나에 24시간씩 따로 붙인 방식에서는 Mythos 프리뷰가 35.1%까지 올라갔어요.

들인 계산 자원도 공개됐어요. 다표적 방식은 최대 12,500 H100 시간에 벽시계로 48시간, 단일 표적 방식은 표적당 최대 2,500 H100 시간에 24시간이었어요. 그 안에서는 토큰이나 하위 에이전트 수에 상한을 두지 않았어요.

사람이 한 일은 최소였어요. 첫 지시를 준 뒤로는 접근 권한 승인과 인프라 감시가 전부였다고 앤스로픽은 설명했어요. 클로드는 인터넷과 자료 모음, 구글 드라이브와 슬랙, 지메일, 바이오아카이브 커넥터, 그리고 GPU를 쥐고 구조 설계와 서열 설계, 코폴딩 모델을 스스로 엮어 돌렸어요.

사람 대회 기록을 넘긴 표적이 있어요

표적별로 보면 편차가 커요. 그리고 그 편차가 이 캠페인의 진짜 이야기예요.

RBX1에서는 적중률 40%가 나왔어요. 같은 표적을 놓고 열린 공개 대회에서 사람 참가자들의 적중률은 3.7%였어요.

최상위 설계는 대회 우승작보다 더 세게 붙었어요. 결합 세기를 나타내는 KD가 25.7나노몰에서 3.9나노몰로 내려갔어요. KD는 작을수록 더 단단히 붙는다는 뜻이에요.

15-PGDH에서는 1.7마이크로몰이던 최고 기록이 33.4나노몰로 내려갔어요. 쉰 배 넘게 개선된 셈이에요. TREM2에서는 적중률이 80%까지 올라갔는데, 이전 대회에서는 38.3%였어요.

반대쪽도 있어요. MBP에서는 설계 90개를 만들었는데 결합체가 한 개도 안 나왔어요. TNFα에서는 Opus 4.8이 성공하고 Mythos 프리뷰가 실패했는데, 앤스로픽은 왜 그런지 모르겠다고 그대로 적었어요.

전체적으로는 최소 6개 표적에서 KD 10나노몰 미만의 고친화도 결합체가 나왔고, 최소 4개 표적에서는 기존에 보고된 최고 친화도와 같거나 그것을 넘었어요.

표적	클로드 적중률	비교 기준	최고 결합 세기(KD)
TREM2	80%	이전 대회 38.3%
RBX1	40%	사람 대회 3.7%	25.7nM → 3.9nM
15-PGDH			1.7µM → 33.4nM
MBP	0% (설계 90개)		결합체 없음
전체	26.8% (1,320개 중 354개)	통상 캠페인 10~15%	15개 표적 중 14개 결합

표에 없는 표적들이 26.8%라는 전체 숫자를 만들어요. 잘된 쪽과 안 된 쪽의 간격이 이 캠페인에서 가장 큰 정보예요.

실험실에서는 95%가 만들어졌어요

검증은 Adaptyv Bio와 Twist Bioscience 두 곳이 독립적으로 맡았어요. Adaptyv Bio가 공개한 사례 연구에 실험 방식이 자세히 적혀 있어요.

설계된 아미노산 서열을 DNA로 바꿔 자동 합성한 뒤, 세포를 쓰지 않는 단백질 합성 방식과 로봇 피펫팅으로 단백질을 만들었어요. 결합은 표면 플라스몬 공명으로 쟀는데, 표적 농도 다섯 개에서 두 번씩 반복 측정했어요.

여기서 눈에 띄는 숫자가 발현율이에요. 설계의 95%가 실제로 단백질로 만들어졌어요. 대회 최상위 성적과 같은 수준이에요. AI가 낸 서열이 실험실에서 다루기 어려운 물건이 아니었다는 뜻이에요.

그런데 만들기 전에 고르는 건 다른 문제예요

이 데이터셋을 따로 뜯어본 후속 분석이 던진 질문은 달라요. 만들어 보기 전에 컴퓨터 점수로 붙을 것과 안 붙을 것을 가를 수 있느냐는 거예요.

구조 예측기 10종을 같은 데이터에 걸었더니 AUC가 0.55에서 0.75 사이에 흩어졌어요. AUC는 무작위로 고른 결합체와 비결합체를 놓고 모델이 결합체에 더 높은 점수를 줄 확률이에요. 0.5면 동전 던지기고 1.0이면 완벽해요. 단일 필터로 믿고 자르려면 0.9쯤은 나와야 하는데 거기서 한참 아래예요.

예측기를 여러 개 합쳐도 성질이 바뀌지 않았어요. 순위를 평균 낸 합의 점수가 0.75로 가장 나았고, 단일 최고가 0.73이었어요. 앙상블이 조금 밀어 올릴 뿐이에요.

고르는 방식	AUC
순위평균 합의	0.75
단일 최고 예측기	0.73
중앙값 합의	0.73
만장일치 합의	0.72
발현량 하나만	0.60~0.65
참고: 단일 필터로 쓰려면	0.9

값어치는 다른 데서 나와요. 설계 50개만 만들어 볼 예산이라면 합의 점수로 고를 때 적중률이 무작위보다 1.5배가량 올라가요. 자르는 칼은 못 되지만 줄 세우는 자로는 쓸 만해요.

그리고 결합 실패로 기록된 것 중 상당수가 사실은 발현 실패였어요. 발현 역가 중앙값이 결합체는 약 2.0mg/mL, 비결합체는 약 0.5mg/mL였어요. 발현량만으로 결합 여부를 맞혀도 AUC가 0.60에서 0.65가 나와요. 단백질이 제대로 안 만들어지면 결합 실험 자체가 성립하지 않는데 결과표에는 그냥 실패로 찍히는 거예요.

실험실 두 곳의 판정도 자주 어긋났어요. 일치도를 재는 코헨 카파가 0.40에서 0.50 사이였고, KD 값은 두 곳 사이에서 중앙값 기준 약 2.2배 차이가 났어요. 정답표 자체에 잡음이 있으면 어떤 예측기도 그 위로 못 올라가요.

에디터의 시선

이 캠페인에서 가장 크게 읽어야 할 숫자는 26.8%가 아니라 3.7%예요. 열 배가 넘어요. 단백질 설계는 오랫동안 잘하는 사람이 많아야 되는 일이었는데, 그 전제가 흔들린 자리예요.

동시에 MBP 이야기를 빼면 안 돼요. 설계 90개에서 결합체가 한 개도 안 나왔어요. TNFα에서 한 모델은 되고 다른 모델은 안 됐는데 이유를 모른다고 앤스로픽이 그대로 적었어요.

성적표에서 실패를 지우지 않은 발표는 흔치 않아요. 이 두 줄이 나머지 숫자의 신뢰도를 올려 줘요.

어제 우리가 쓴 기사는 속도 이야기였어요. 24시간 만에 설계해서 붙였다는 것이요. 이번에 캠페인 전체 숫자가 나오면서 그림이 달라졌어요. 속도보다 무거운 건 사람 대회 기록을 넘긴 표적이 여럿이라는 사실이에요.

실무 쪽으로 오면 후속 분석이 더 쓸모 있어요. 발현으로 먼저 거르고, 예측기 하나를 믿지 말고 순위를 합치고, 성적은 표적별로 나눠 보라는 세 가지요. 새 모델을 사지 않고도 오늘 적용할 수 있는 순서예요.

특히 발현 실패가 결합 실패로 위장한다는 대목은 국내 바이오 팀이 바로 확인해 볼 만해요. 지금까지 쌓인 AI 단백질 설계 성적표 상당수가 이 구분 없이 집계됐을 가능성이 있어요. 모델을 탓하던 실패의 일부는 제조 단계의 문제였다는 뜻이니까요.

앤스로픽도 선을 그어 뒀어요. 적중률과 친화도를 확정하려면 더 광범위한 특성 분석이 필요하고, 미니바인더는 표준 치료 양식이 아니며, 고친화도 결합체는 신약 개발의 첫 단계일 뿐이라고 밝혔어요.

그래도 이 캠페인이 옮겨 놓은 선은 분명해요. AI 단백질 설계는 만들 수 있느냐의 단계를 지났어요. 다음 단계는 무엇을 만들지 고르는 일이고, 그 고르기는 아직 사람 손에 남아 있다는 것을 이번 숫자들이 함께 보여 줘요.