[이데일리 윤정훈 기자]사이버 위협헌팅 보안기업 ‘씨큐비스타’가 차세대 네트워크 위협 탐지·대응(NDR) 솔루션을 앞세워 글로벌 보안 패러다임 변화에 정면 대응하고 나섰다. 복호화 장비 도입 비용을 대폭 줄이면서도 트래픽 속 암호화된 악성 신호를 정확히 감지해내는 기술 실증에 성공하면서다.

씨큐비스타(대표 전덕조)는 자사의 NDR 솔루션 ‘패킷사이버(PacketCYBER) v3.0’을 통해 실제 고객사 운영 환경에서 암호화된 악성 명령제어(C2) 통신을 복호화 없이 감지·식별하는 데 성공했다고 16일 밝혔다.

이번 실증은 악성코드에 감염된 단말이 도메인 생성 알고리즘(DGA)을 활용해 명령제어용 도메인 주소를 실시간으로 바꿔가며 외부 서버와 통신하던 정황을 포착한 첫 사례다.

◇패킷 열지 않고 메타데이터로 위협 특정… 고비용 복호화 한계 극복

씨큐비스타는 패킷사이버 v3.0에 탑재된 암호화 트래픽 분석(ETA) 엔진 ‘EVA 분석 모듈’을 활용했다. 패킷 내부를 직접 풀어보지 않고도 통신 메타데이터 패턴만 분석해 감염 단말을 찾아냈다.

분석 결과 4일간 총 1980건의 악성 신호가 관측됐다. 주요 행위는 △무작위 문자열 도메인에 위장 서브도메인을 결합한 DNS 질의 반복 △복수 최상위 도메인(TLD)에 분산된 11개 도메인 순환 사용 △정상 윈도우 다운로드 서비스 위장 △소수 IP 대역으로 집약된 C2 인프라 활용 등이다.

회사는 도메인 질의 패턴, 통신 주기, 연결 인프라 집약도 등 3가지 메타데이터 관측값만으로 위협을 특정했다. 네트워크 성능 저하나 고가의 복호화 장비 추가 설치 없이도 암호화 트래픽 속 위협을 선별해 실효성을 입증했다.

최근 QUIC 및 TLS 1.3(ECH) 등 최신 암호화 프로토콜 확산으로 전송 계층 헤더와 서버 이름 표시(SNI)까지 암호화되면서 기존 보안 장비의 가시성은 급격히 떨어지는 추세다. 복호화 장비를 통한 우회 방식이나 전수 패킷 저장 방식 역시 저장 용량 부담과 암호문 분석 한계로 실효성이 반감되고 있다. 침해 조사의 핵심 축이 데이터 내용물에서 관측 가능한 ‘통신 메타데이터’로 이동하는 이유다.

◇13개 앙상블 모듈로 오탐 최소화… 마이터 어택 연동해 직관적 관제

패킷사이버 v3.0은 행위 규칙 기반 8종과 AI·머신러닝 이상 탐지 5종 등 총 13개 모듈로 구성된 ‘앙상블·킬체인 분석 아키텍처’를 적용해 한계를 극복했다.

탐지 신호는 행위 기반 결정적 신호(D), 위협 인텔리전스 기반 강한 신호(S), 행위 기반 약한 신호(W)로 등급화된다. 약한 신호는 단독 경보를 내지 않고 앙상블 분석 및 킬체인 상관분석을 거쳐 위협으로 확정된다. 단순 정밀 조사가 필요한 구간은 위협 헌팅 리드로 전환해 오탐과 미탐을 동시 억제한다.

확정된 위협은 국제 사이버 공격 표준 분류 체계인 마이터 어택(MITRE ATT&CK) v18 기준 14개 전술, 146개 기법(자사 산정 기준)과 연계된다. 단발성 알람에 그치지 않고 전체 공격 흐름을 타임라인 형태로 재구성해 관제 담당자에게 제공한다.

전덕조 씨큐비스타 대표는 “최신 암호화 프로토콜 확산으로 트래픽을 복호화해 확인하던 과거 방식의 적용 범위가 지속적으로 줄고 있다”며 “네트워크 내부에서 발생하는 행위를 관찰하고 공격 맥락을 파악하는 것이 차세대 보안의 핵심”이라고 강조했다. 이어 “패킷사이버 v3.0이 복호화 없는 가시성과 국제 표준 공격 분류 체계 기반 탐지를 바탕으로 네트워크 보안 시장에 새로운 기준을 제시할 것”이라고 말했다.

한편 시장조사기관 비즈니스리서치인사이트에 따르면 글로벌 NDR 시장은 2026년 42억 달러(약 5조 6000억 원) 규모에서 연평균 13.7% 성장해 2035년 132억 달러(약 17조 7000억 원)에 달할 전망이다.