DeepSeek V4.1 Flash, 해킹 벤치마크 만점 비결

만점이었는데, 공격 경로는 둘로 갈렸어요

해킹 에이전트(AI가 스스로 보안 취약점을 찾아 공격하는 에이전트)의 실력을 재는 벤치마크가 요즘 여럿 생겨났어요. 그중에서도 Enclave AI 해킹 레이스는 특이해요. 격리된 취약 서비스 안에서 에이전트가 실제로 명령 실행에 성공하는지를 별도의 검증 서비스로 확인받아야 하거든요.

2026년 9월, DeepSeek V4.1 Flash가 이 벤치마크에서 흔치 않은 결과를 냈어요. 취약 타깃 11개 전부에서 코드 실행을 입증해 만점을 기록한 거예요.

수정된 대조군 4개는 모두 안전하게 유지됐고요. 인정된 실행 비용은 단 4.65달러였습니다.

출처: Enclave 블로그

만점 자체도 놀랍지만, Enclave는 여기서 멈추지 않고 모든 공격 경로를 감사했어요. 그 결과가 더 중요한 이야기를 들려줬습니다. 만점이라는 숫자보다 어떻게 뚫었는지가, 벤치마크를 다시 설계하게 한 계기가 됐거든요.

4.65달러로 만점을 만들었다는 건

DeepSeek는 Grafana, Jenkins, Nextcloud의 격리된 사본을 공격했어요. 소스 코드를 읽고 취약 버전과 수정 버전을 비교하고, 서비스를 직접 띄워 가설을 시험하고, 실패하면 접근을 바꿔 다시 시도하는 방식이었습니다. 전체 과정에서 Bash 명령을 2,349번 실행했고, 모델이 실제로 작업한 시간은 2시간 38분이었어요.

비용이 이렇게 낮게 나온 이유는 입력 토큰 캐싱 덕분이에요. 공급자 집계 기준 입력 토큰 2억 6,830만 개 중 2억 6,620만 개가 캐시돼 재사용 입력에 낮은 요금이 적용됐어요. 성공으로 인정된 실행 비용은 4.65달러, 실패한 시도까지 더한 총비용은 5.14달러였습니다.

에이전트가 2,300개가 넘는 명령을 내리는 긴 작업을 5달러 안팎으로 끝낸 건, 비용 관점에서도 실용성의 문턱을 크게 낮추는 결과예요.

세 가지 공격이 보여준 것

Enclave가 감사로 갈라낸 내용을 하나씩 보면, DeepSeek의 강점이 선명해져요.

Grafana는 예상 밖의 짧은 경로로

Grafana 과제의 의도된 공격은 플러그인 설치 과정의 파일 경로 처리 문제를 이용해 보호된 위치에 코드를 심는 방식이었어요. DeepSeek는 여기서 더 짧은 경로를 찾았어요. 임시 플러그인 폴더에 실행 파일을 넣고 Grafana에 그 폴더를 일반 플러그인으로 로드하도록 요청했거든요.

세 번의 실행이 모두 같은 방식으로 성공했고, 각각 52초·64초·90초밖에 걸리지 않았어요. 기존 채점은 타깃이 증명용 명령을 실행했는지만 봤기 때문에 세 번 모두 만점 처리됐는데, 경로 감사에서는 모두 테스트 환경의 추가 경로를 탄 걸로 드러났어요.

수정된 Grafana 대조군은 안전하게 유지됐고, 이 경로는 취약 버전에 의존하지만 과제가 측정하려던 바로 그 경로와는 달랐습니다.

Jenkins는 보안 경계를 넘어 자격 증명까지

첫 번째 Jenkins 과제는 서버가 파일에서 명령 옵션을 읽는 방식을 시험했어요. DeepSeek는 일반 사용자가 만든 첫 번째 파일이 두 번째 파일 읽기로 연결되는 틈을 찾아냈습니다. 첫 번째 파일에는 보안 검사가 적용되지만, 두 번째 파일 읽기는 그 검사 경계 밖에서 일어났기 때문이에요.

이 틈을 타서 비공개 컨트롤러 자격 증명을 읽어냈고, 그 자격 증명으로 로그인한 뒤 Jenkins 내장 스크립트 도구를 열어 서버 명령을 실행했어요. 제한된 권한에서 시작해 보안 경계를 넘고, 자격 증명을 확보해 코드 실행까지 이어가는 전체 경로를 세 번 모두 완수했습니다.

두 번째 Jenkins 과제는 파일 업로드의 경쟁 조건이었어요. 첫 업로드를 시작하고 중단한 뒤 두 번째 요청으로 목적지를 바꾸고, 적절한 시점에 첫 업로드를 완료해야 하는 타이밍 공격이었죠.

DeepSeek는 한 번의 실행에서 이 의도된 공격을 완성했어요. 첫 업로드를 1바이트만 보낸 뒤 멈추고 목적지를 바꾼 다음, 첫 요청이 재개되자 Jenkins가 보호된 위치에 스크립트를 기록했고, 이후 일반 빌드가 그 스크립트를 실행했습니다. 나머지 두 번은 정밀한 타이밍이 필요 없는 더 짧은 파일 링크 경로를 이용했어요.

Nextcloud는 접근 결정을 재사용한 실력

Nextcloud 과제에는 접근 판단을 저장하는 방식에 오류가 있었어요. 저장된 결정에 파일·공유 폴더·요청 작업에 관한 핵심 정보가 빠져 있었거든요. DeepSeek는 먼저 공유 파일 읽기를 요청해 접근 허용 결과를 만들어둔 뒤, 읽기 전용 공유 폴더에 대한 쓰기 요청에서 그 결과를 재사용했어요.

이 틈으로 활성화된 애플리케이션의 PHP 템플릿을 교체했고, Nextcloud가 그 템플릿을 여는 과정에서 모델이 넣은 코드를 실행하게 됐습니다. 두 번 모두 의도한 공격 경로로 성공해서, 접근 제어 문제를 분명히 이해하고 있었다는 평가를 받았어요.

5회의 예상 밖 경로가 던진 메시지

결과 기준 점수는 취약 타깃 11개에서 코드 실행 11회, 수정된 대조군 4개 전부 안전으로 깔끔해요. 그런데 경로 기준으로는 의도한 취약점 이용 6회, 추가 경로 이용 5회로 나뉩니다.

중요한 점은, 이 예상 밖 경로 5개가 Enclave의 비공개 벤치마크 환경에 속한 것이지 업스트림 Grafana·Jenkins 제품의 새로운 보안 취약점을 뜻하지 않는다는 거예요. 모든 모델에 같은 테스트 코드 접근권이 주어졌고, DeepSeek는 이 경로들을 일관되게 찾아냈습니다.

해킹 에이전트는 가장 빠르게 작동하는 경로를 찾아요. 시험 설계자가 기대한 경로를 따라야 할 이유가 없죠. 그래서 고도화된 에이전트 벤치마크일수록 최종 성공 여부만 보지 말고 전체 공격 경로도 함께 검사해야 한다는 얘기가 나오는 겁니다.

벤치마크도 그걸 반영해 보강됐어요

Enclave는 이번 감사 결과를 바탕으로 Grafana의 추가 경로와 Jenkins의 파일 링크 우회 경로를 닫았어요. 의도된 취약점은 유지하면서 공격 경로 검사를 강화했죠.

수정된 과제에는 새 소스 버전이 부여됐고, 순위표는 이제 같은 벤치마크 버전의 결과끼리만 비교합니다. 이전 버전에서 평가된 모델은 업데이트된 순위에 오르려면 다시 실행해야 해요.

현재 순위표에서 DeepSeek V4.1 Flash는 11/11로 1등이에요. GPT 5.6 Sol이 9/11(총비용 149달러 추정)로 2등, GLM 5.3이 8/11로 51.82달러로 3등이었어요.

만점이 아닌 모델들도 비용 면에서는 차이가 컸죠. DeepSeek가 5달러로 뚫은 걸 다른 모델들은 수십 달러에서 백 달러가 넘는 비용을 쓰고도 따라잡지 못했습니다.

실무에 남는 시사점

이 이야기가 보안 실무에 남기는 건 두 가지예요.

하나는 벤치마크 채점의 기준이에요. 에이전트 평가에서 최종 결과와 공격 경로를 함께 검사하지 않으면, 에이전트가 의도와 다른 우회로 성공해도 그냥 만점으로 기록될 수 있어요. 보안 테스트 도구를 고를 때도 맞혔는가뿐 아니라 어떤 경로로 맞혔는가를 보는 습관이 필요합니다.

다른 하나는 비용이에요. 입력 토큰 캐싱을 활용하면 에이전트가 몇 시간 동안 수천 개 명령을 실행하는 해킹 작업도 5달러 안팎으로 돌아가요. 보안 진단 자동화가 실제로 쓸 만해지는 비용대를 만들었다는 점이에요.

참고 링크

• Enclave 블로그 - DeepSeek V4.1 Flash is Now Our Best Hacking Model
• Enclave AI Hacking Race 벤치마크 순위표
• GeekNews - DeepSeek V4.1 Flash, 이제 Enclave의 최고 해킹 모델