고정 헤더 영역
상세 컨텐츠
본문
코엑스 그랜드볼룸 102-104호에 도착했을 때는 이미 자리가 거의 다 차 있었다. CODEGATE 2026 금요일 세션 1, 10시 반 키노트를 듣기 위해서였다. 발표자는 DARPA AIxCC(AI Cyber Challenge) 결선 우승팀 출신이고 지금은 Microsoft에서 MDC라는 프로젝트를 하고 있다고 자기소개를 했다. CVE 퍼징을 계속 하고 있는 입장에서 놓칠 수 없는 발표였다.
AIxCC, 10~20년 주기 챌린지의 최신판
AIxCC는 DARPA가 10~20년 주기로 여는 사회적 임팩트 챌린지 계열의 최신판이라고 한다. 후쿠시마 이후 재난로봇 대회였던 로보틱스 챌린지, 10년 전 자동 해킹을 겨뤘던 Cyber Grand Challenge의 뒤를 잇는다. 백악관과 프론티어 AI랩, MS·Google 같은 빅테크가 공동 출자해서 3년간 진행됐고 결선은 작년 데프콘에서 열렸다. 목표는 명확했다. 자율 시스템이 대규모 오픈소스 코드베이스에서 버그를 찾고, 거기서 그치지 않고 패치까지 직접 생성하는 것.
숫자로 본 결선
숫자가 인상적이었다. 준결선에 100팀이 등록해 42팀이 완주했고, 결선에 오른 7팀 전원이 AI 전공이 아니라 시큐리티 도메인 지식 기반 팀이었다고 한다. 발표자는 이 부분을 강조했다. AI를 잘 쓰는 것보다 보안 도메인 지식이 있는 상태에서 AI를 쓰는 게 효율을 극대화한다는 얘기였다. 발표팀은 결선 1위로 400만 달러의 상금을 받았고, AI가 낸 버그 리포트의 정확도(트루 포지티브율)가 약 91%였다고 한다. 열 개 중 아홉 개가 진짜 버그였다는 뜻이다. 대회 전체로 보면 주최 측이 검증용으로 넣은 합성 취약점 63개 중 54개를 참가 시스템들이 찾아냈고, 실제 오픈소스에서도 C/C++ 6개와 Java 12개, 모두 18개의 새로운 버그를 발견했다. 그중 ATLANTIS가 각 언어에서 3개씩, 총 6개를 찾았다고 한다. 첫 버그를 찾기까지 걸린 시간은 45분. DARPA가 공개한 결선 통계에서 태스크 하나당 평균 비용은 약 152달러였는데, 외부 펜테스트 업체가 수개월 동안 수행하는 일과 비교하면 자동화의 경제성이 확실히 보였다.
아키텍처: reachability, 앙상블, 하니스, 컨센서스
발표에서 가장 오래 필기한 부분은 아키텍처 얘기였다. 첫째, reachability, 그러니까 도달 가능성 증명이 진짜 버그와 AI가 지어낸 헛소리(slop)를 가르는 기준이라고 했다. 정적 분석기는 "이 라인에 버그가 있을 것 같다"까지만 말해줄 뿐 실제로 그 라인에서 크래시가 나는지는 증명하지 못한다. AIxCC의 핵심은 유저스페이스 인풋으로 실제 크래시를 재현해서 정적 분석 결과를 검증하는 거였다. 이 얘기를 듣는데 내가 CVE 프로젝트에서 지켜온 원칙이 그대로 떠올랐다. UAF를 찾았다고 바로 RCE라고 주장하지 않고, 실제로 재현된 것만 승격시키는 방식. 이름은 몰랐지만 이미 하고 있던 방법이 대회 우승 방법론과 정확히 같은 방향이었다는 게 신기했다.
둘째는 앙상블이 단일 모델이나 단일 에이전트보다 항상 우월하다는 얘기였다. 발표팀은 67개의 서로 다른 백엔드 모델 조합 에이전트를 썼는데, 각 에이전트가 잘 잡는 버그 타입이 다르기 때문에 합치면 개별 최고 성능을 능가한다고 했다. 셋째는 아키텍처, 그러니까 하니스가 모델 성능보다 중요하다는 것. 같은 모델이라도 하니스를 바꾸면 결과가 확 달라지고, 최신 프론티어 모델이 아니어도 좋은 하니스만 있으면 준수한 성능이 나온다고 했다. 넷째는 서브에이전트 오프로딩과 팀 컨센서스로 false positive를 걸러내는 방식이었는데, 이게 특히 흥미로웠다. Microsoft MDC의 프로덕션 시스템에서는 서로 다른 persona를 가진 에이전트들이 토론을 해서 컨센서스에 도달해야 진짜 버그로 리포트된다고 한다. 한쪽 persona는 "이건 왜 중요한 취약점인가"를 주장하는 익스플로잇 관점이고, 다른 persona는 "이건 의도된 동작이다, 이미 아는 이슈다"라며 반박하는 개발자 방어 관점이다. 두 관점이 부딪혀서 살아남은 것만 최종 리포트로 올라간다.
MDC, Windows TCP/IP 스택에서 검증된 파이프라인
MDC 얘기도 따로 시간을 들여 설명했다. 올해 6월 빌드 컨퍼런스에서 사티아 나델라가 직접 소개했던 프로젝트라고 한다. 기존 퍼저 기반 시스템을 AI 기반으로 전환하면서, 개발자와 보안 리서처의 실제 행동을 모방하는 아키텍처로 설계했다고 했다. 코드의 과거 버그 이력을 분석해서 threat modeling을 하고, 100~150개의 특화 에이전트를 컨텍스트별로 활성화해서 스캔하고, 멀티persona 토론으로 검증한 뒤에야 true-positive 리포트가 나오는 파이프라인이다. 첫 실사용 고객이 Windows 팬테스팅 그룹의 TCP/IP 스택이었는데, 유료 펜테스트로도 이미 버그를 못 찾던 "안정적인" 코드였다고 한다. 시스템이 30개 버그 리포트를 냈을 때 처음엔 팀 내부에서도 AI가 헛소리를 하는 거라고 의심했는데, 개발자가 직접 확인해보니 90% 이상이 진짜였다고 했다. 2025년에 발견한 버그의 70% 이상이 배포 후 3개월 안에 발견됐다는 수치도 나왔다.
발표를 듣고 나서 이 프로젝트명을 다시 검색해봤는데, 공식 문서에서는 코드네임 MDASH(Multi-model Agentic Scanning Harness)로 표기되고 있었다. Microsoft Security 블로그에 올라온 발표 글에서도 100개 이상의 특화 에이전트가 Windows 코드베이스에서 16개의 신규 취약점(치명적 RCE 4건 포함)을 찾아낸 사례를 소개하고 있는데, 키노트에서 들은 숫자들과 결이 같다. 발표에서 들은 이름과 표기가 조금 다를 수 있어 확인 차 남긴다.
"6개월 만에 현실이 됐다"
발표 마지막은 이런 얘기로 마무리됐다. AI로 취약점을 찾고 고치는 일이 예전 DARPA 챌린지들처럼 10~20년 걸릴 먼 미래가 아니라 6개월 만에 현실이 됐다고. 지금 취약점 연구에 AI를 안 쓰고 있다면 지금 당장 시작하라는 메시지였다. 듣는 내내 내가 하고 있는 CVE 퍼징 프로젝트와, 이번 학기에 시작할 화이트햇스쿨 팀 프로젝트(LLM을 활용한 소프트웨어 취약점 분석)가 이 발표의 방법론과 거의 단계별로 겹친다는 생각이 계속 들었다. 취약점 후보 좁히기는 reachability 검증으로, 동적 분석으로 트리거하는 부분은 정적분석과 퍼징의 하이브리드로, PoC와 보고서 품질 관리는 멀티persona 컨센서스 절차로 그대로 매핑할 수 있을 것 같다. 팀 프로젝트 수행계획서를 쓸 때 이 발표 내용을 방법론 섹션에 인용해야겠다고 생각하며 노트를 정리했다.
같이 읽기
키노트를 듣고 집에 와서 직접 ATLANTIS 저장소를 클론하고 로컬에서 재현해본 기록은 AIxCC 우승 시스템 ATLANTIS·Crete 로컬 설치 후기에 있다.
공식 자료
- CODEGATE 공식 사이트
- DARPA AI Cyber Challenge 공식 사이트
- Microsoft Security Blog — Defense at AI speed (codename MDASH)
팀 구성도 원 출처에서 확인
키노트에서 들은 시스템 이름과 구성은 Team Atlanta가 공개한 저장소·조직 자료를 함께 확인했다. 발표 메모와 공개 자료가 다를 때는 공식 공개 명칭을 본문에 우선 반영했다.
