Windows 11에서 VirtualBox 가상 머신이 실행되지 않을 때 — VT-x·AMD-V·Hyper-V·VBS 점검

작성자:
Windows 11에서 VirtualBox 가상 머신이 실행되지 않을 때 대표 이미지

VirtualBox를 설치한 뒤 가상 머신을 실행했는데 VM이 시작되지 않거나, VT-x·AMD-V와 관련된 오류가 나타나거나, 이전보다 가상 머신이 눈에 띄게 느려지는 경우가 있습니다.

Windows 11에서는 이런 문제를 단순히 “BIOS에서 가상화를 켜면 된다”고 판단하면 원인을 놓치기 쉽습니다.

CPU의 하드웨어 가상화 기능은 활성화되어 있어도 Windows의 Hyper-V, Virtualization Based Security(VBS), Memory Integrity, Credential Guard 등이 하이퍼바이저를 사용하고 있을 수 있기 때문입니다.

이 글에서는 설정을 무조건 끄는 방식이 아니라,

CPU 가상화 상태 → Windows 하이퍼바이저 → VBS → VirtualBox 로그

순서로 확인해서 원인을 구분합니다.

먼저 확인할 내용

확인 기준 OS

Windows 11 25H2

VirtualBox의 메뉴와 동작은 설치된 버전에 따라 일부 다를 수 있습니다.

대표 증상

  • VirtualBox VM이 시작되지 않음
  • VT-x 또는 AMD-V 관련 오류가 표시됨
  • BIOS에서 가상화를 켰는데도 관련 오류가 발생함
  • VM은 실행되지만 성능이 이전보다 느림
  • Hyper-V 또는 Windows 보안 기능을 활성화한 뒤 문제가 발생함

결론

먼저 아래 세 가지 상황을 구분해야 합니다.

  1. BIOS/UEFI에서 VT-x 또는 AMD-V 자체가 비활성화됨
  2. VT-x/AMD-V는 활성화되어 있지만 Windows Hyper-V/VBS가 하드웨어 가상화를 사용 중임
  3. VirtualBox가 Hyper-V를 통해 동작하고 있지만 성능 저하가 발생함

Hyper-V나 VBS를 처음부터 끄지 말고 현재 어떤 상태인지 확인한 뒤 필요한 경우에만 변경하는 것이 중요합니다.

1. VT-x와 AMD-V가 무엇인지 먼저 이해하기

VirtualBox와 같은 가상화 프로그램은 CPU가 제공하는 하드웨어 가상화 기능을 사용합니다.

Intel CPU에서는 일반적으로:

Intel VT-x

AMD CPU에서는:

AMD-V

라는 이름으로 부릅니다.

PC 제조사에 따라 BIOS/UEFI에서는 다음과 같이 표시될 수 있습니다.

  • Intel Virtualization Technology
  • Intel VT-x
  • Virtualization Technology
  • AMD-V
  • SVM Mode

VirtualBox VM을 정상적으로 실행하려면 호스트 시스템에서 사용할 수 있는 하드웨어 가상화 환경이 필요합니다.

하지만 Windows에서 가상화가 활성화되어 있다는 사실과 VirtualBox가 그 기능을 직접 사용하고 있다는 것은 같은 의미가 아닙니다.

Windows Hyper-V 또는 VBS가 먼저 하이퍼바이저를 사용하고 있을 수도 있습니다.

2. Windows에서 CPU 가상화 상태 확인

가장 먼저 BIOS 설정을 변경하지 말고 Windows에서 현재 상태를 확인합니다.

작업 관리자에서 확인

Ctrl + Shift + Esc

키를 눌러 작업 관리자를 실행합니다.

다음으로 이동합니다.

성능 → CPU

오른쪽 하단에서 다음 항목을 확인합니다.

가상화: 사용

또는

Virtualization: Enabled

라고 표시된다면 BIOS/UEFI 차원의 CPU 가상화 기능은 활성화되어 있다고 볼 수 있습니다.

반대로:

Virtualization: Disabled

로 표시된다면 BIOS/UEFI 설정부터 확인해야 합니다.

3. 가상화가 Disabled인 경우

작업 관리자에서 가상화가 비활성화되어 있다면 PC를 재부팅하고 BIOS 또는 UEFI 설정으로 들어갑니다.

제조사에 따라 메뉴 이름은 다르지만 다음과 같은 항목을 찾습니다.

Intel CPU

  • Intel Virtualization Technology
  • Intel VT-x
  • Virtualization Technology

AMD CPU

  • SVM Mode
  • AMD-V

해당 기능을 활성화한 뒤 설정을 저장하고 Windows를 다시 시작합니다.

Windows 부팅 후 다시:

작업 관리자 → 성능 → CPU

에서 가상화가 사용 상태인지 확인합니다.

BIOS 메뉴 위치와 이름은 메인보드 및 노트북 제조사마다 다르므로 정확한 설정 위치는 해당 제조사의 공식 문서를 확인하는 것이 안전합니다.

4. Hyper-V 하이퍼바이저 실행 여부 확인

CPU 가상화가 이미 활성화되어 있는데 VirtualBox 문제가 발생한다면 다음으로 Windows 하이퍼바이저를 확인합니다.

Win + R

을 누르고 다음 명령을 실행합니다.

msinfo32

시스템 정보 → 시스템 요약을 확인합니다.

아래와 같은 내용이 표시되는지 확인합니다.

하이퍼바이저가 감지되었습니다.
Hyper-V에 필요한 기능은 표시되지 않습니다.

이 메시지가 있다면 Windows 하이퍼바이저가 현재 동작하고 있는 상태입니다.

Microsoft도 Hyper-V 하이퍼바이저 실행 여부를 확인하는 방법으로 msinfo32.exe를 안내하고 있습니다.

여기서 중요한 점이 있습니다.

Hyper-V가 감지된다고 해서 VirtualBox가 반드시 실행되지 않는 것은 아닙니다.

최신 Oracle VirtualBox는 Windows Hypervisor Platform을 이용하여 Hyper-V가 활성화된 Windows에서도 실행할 수 있습니다. 다만 Oracle은 이 환경에서 시스템에 따라 VirtualBox 성능이 크게 저하될 수 있다고 안내합니다.

따라서:

Hyper-V 감지 = 즉시 비활성화

로 접근해서는 안 됩니다.

5. VBS 상태를 PowerShell에서 확인

Windows 11에서는 Hyper-V 역할을 직접 설치하지 않았더라도 VBS 기반 보안 기능 때문에 하이퍼바이저가 동작할 수 있습니다.

관리자 권한 PowerShell에서 다음 명령을 실행합니다.

Get-CimInstance -ClassName Win32_DeviceGuard -Namespace root\Microsoft\Windows\DeviceGuard |
Select-Object VirtualizationBasedSecurityStatus, SecurityServicesConfigured, SecurityServicesRunning

예를 들어 다음 세 항목을 확인합니다.

VirtualizationBasedSecurityStatus
SecurityServicesConfigured
SecurityServicesRunning

VirtualizationBasedSecurityStatus 값은 다음 의미를 가집니다.

값의미
0VBS가 활성화되지 않음
1VBS가 활성화됐지만 현재 실행되지 않음
2VBS가 활성화되어 실행 중

Microsoft 문서에서 Win32_DeviceGuard의 VirtualizationBasedSecurityStatus 값을 이 기준으로 정의하고 있습니다.

6. Credential Guard와 Memory Integrity 확인

SecurityServicesRunning도 함께 확인합니다.

주요 값은 다음과 같습니다.

값실행 중인 기능
0해당 보안 서비스 없음
1Credential Guard
2Memory Integrity
3System Guard Secure Launch

여러 기능이 실행 중이면 값이 배열 형태로 표시될 수 있습니다.

Microsoft는 SecurityServicesRunning 값에서 1을 Credential Guard, 2를 Memory Integrity로 정의합니다.

예를 들어:

SecurityServicesRunning : {1, 2}

처럼 나타난다면 Credential Guard와 Memory Integrity가 모두 실행되고 있는 환경으로 해석할 수 있습니다.

이 정보를 확인하는 이유는 Hyper-V 역할만 껐는데도 Windows 하이퍼바이저가 계속 동작하는 상황을 구분하기 위해서입니다.

7. msinfo32에서도 VBS 상태 확인

PowerShell을 사용하지 않고도 확인할 수 있습니다.

다시:

msinfo32

를 실행합니다.

시스템 요약 하단에서 다음 항목을 확인합니다.

  • 가상화 기반 보안
  • 가상화 기반 보안 서비스 구성됨
  • 가상화 기반 보안 서비스 실행 중

가상화 기반 보안이 실행 중이라면 VBS가 현재 활성화된 상태입니다.

Credential Guard 역시 실행 중인 VBS 서비스 항목에서 확인할 수 있습니다. Microsoft는 Credential Guard 확인 방법으로 System Information, PowerShell, Event Viewer 사용을 권장합니다.

8. VirtualBox 로그를 반드시 확인하기

Windows 설정만 보고 원인을 확정하지 않는 것이 좋습니다.

VirtualBox는 VM을 시작할 때마다 VM 구성과 실행 과정이 기록된 로그를 생성합니다.

VirtualBox Manager에서 문제가 발생한 VM을 선택한 뒤:

Logs

메뉴를 선택합니다.

VM 실행 창에서는:

Machine → Show Log

를 사용할 수도 있습니다.

Oracle 문서에 따르면 VBox.log에는 다음과 같은 진단 정보가 포함됩니다.

  • Host OS 종류와 버전
  • VirtualBox 버전과 Build
  • Host CPU 정보
  • CPU가 지원하는 기능
  • Hardware Virtualization 활성화 여부
  • VT-x / AMD-V 설정 상태
  • VM 상태 변화
  • Guest BIOS 메시지

따라서 가상화 문제에서는 VBox.log가 상당히 중요한 근거가 됩니다.

9. VBox.log 위치 확인

기본 VM 저장 경로를 사용하고 있다면 로그는 일반적으로 다음 구조에 저장됩니다.

%USERPROFILE%\VirtualBox VMs\<VM 이름>\Logs\

해당 폴더의:

VBox.log

파일을 확인합니다.

Oracle 공식 문서에서도 기본적으로 VM의 Logs 폴더에 VBox.log를 생성하며, VM 시작 시 호스트 CPU와 VT-x/AMD-V 정보를 기록한다고 설명합니다.

로그 뷰어의 검색 기능을 사용하여 다음 키워드부터 확인하면 편리합니다.

VT-x

또는

AMD-V

그리고 Windows 하이퍼바이저 관련 내용을 확인해야 한다면:

Hyper-V

등을 검색합니다.

오류 문구 하나만 보고 설정을 바로 변경하지 말고 앞에서 확인한 Windows 상태와 함께 판단합니다.

10. 원인을 세 가지로 분리하기

지금까지 확인한 결과를 기준으로 문제를 분리할 수 있습니다.

경우 1 — Windows에서도 Virtualization이 Disabled

가장 먼저 BIOS/UEFI의 VT-x 또는 AMD-V 설정을 확인합니다.

이 상태라면 Hyper-V와 VBS를 먼저 조정할 이유가 없습니다.

우선순위

BIOS/UEFI
→ VT-x / AMD-V 활성화
→ Windows 재부팅
→ Task Manager 재확인
→ VirtualBox VM 재실행

경우 2 — Virtualization은 Enabled이고 Hyper-V도 실행 중

이 경우에는 선택이 필요합니다.

현재 VirtualBox 7.2 공식 문서에서는 Windows Hypervisor Platform이 실행 중이면 VirtualBox가 Hyper-V를 감지하고 이를 가상화 엔진으로 사용할 수 있다고 설명합니다.

따라서 VM이 정상적으로 실행되고 성능에도 문제가 없다면 Hyper-V를 무조건 제거할 이유는 없습니다.

특히 다음 기능을 같이 사용하는 PC라면 더욱 그렇습니다.

  • WSL2
  • Windows Sandbox
  • Hyper-V VM
  • VBS 기반 Windows 보안 기능
  • Hyper-V 기반 기능을 사용하는 개발 환경

우선 현재 구성을 유지하고 실제 문제가 발생하는지 확인하는 편이 좋습니다.

경우 3 — VM은 실행되지만 성능이 크게 느림

Oracle은 Hyper-V가 활성화된 Windows Host에서 VirtualBox를 사용할 경우 상당한 성능 저하가 발생할 수 있다고 명시합니다.

이 경우에야 비로소:

Hyper-V 기반 환경을 유지할 것인지

또는

VirtualBox의 직접적인 가상화 성능을 우선할 것인지

판단합니다.

즉 설정 변경은 문제 해결의 첫 단계가 아니라 진단 이후의 선택 단계입니다.

11. Hyper-V를 끄기 전에 반드시 확인할 점

VirtualBox 문제를 검색하면 곧바로 다음과 같은 해결 방법을 접하기 쉽습니다.

Hyper-V를 끄세요.

하지만 이 방법을 무조건 적용하는 것은 권장하지 않습니다.

Microsoft는 Memory Integrity와 Credential Guard 같은 Windows 보안 기술이 Hyper-V에 의존할 수 있으며, Hyper-V 비활성화 시 이러한 기능에도 영향을 줄 수 있다고 명시하고 있습니다.

또한 환경에 따라:

  • WSL2
  • Windows Sandbox
  • Virtual Machine Platform
  • 일부 Docker 환경

등에도 영향을 줄 수 있습니다.

따라서 VirtualBox VM이 정상적으로 동작한다면 단순히 Hyper-V가 감지된다는 이유만으로 Windows 보안 기능을 낮출 필요는 없습니다.

12. VirtualBox 성능 문제 때문에 Hyper-V를 비활성화해야 하는 경우

실제 VirtualBox 성능 문제가 확인됐고 Hyper-V 기반 기능이 필요하지 않은 테스트 PC라면 비활성화를 검토할 수 있습니다.

먼저:

optionalfeatures.exe

를 실행합니다.

Windows 기능 켜기/끄기에서 환경에 따라 다음 기능이 활성화되어 있는지 확인합니다.

  • Hyper-V
  • Virtual Machine Platform
  • Windows Hypervisor Platform

Oracle VirtualBox 7.2 문제 해결 문서에서도 Hyper-V와 함께 사용할 때 성능 문제가 발생한다면 이러한 Windows 기능을 끄고 재부팅하는 방법을 안내합니다.

하지만 한 번에 무조건 모두 끄는 방식보다 현재 사용 중인 기능과 의존성을 먼저 확인하는 것을 권장합니다.

특히 Virtual Machine Platform을 사용하는 기능이 있다면 먼저 영향을 확인해야 합니다.

13. PowerShell로 Hyper-V 하이퍼바이저만 비활성화

Microsoft가 공식적으로 안내하는 방법 중 하나는 관리자 권한 PowerShell에서 다음 명령을 사용하는 것입니다.

Disable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V-Hypervisor

명령 실행 후 재부팅이 필요할 수 있습니다.

하지만 이 명령 역시 현재 PC가 Hyper-V 기반 기능을 사용하지 않아도 되는지 확인한 뒤 실행하는 것이 좋습니다.

회사나 기관에서 관리하는 PC라면 보안 정책을 임의로 변경하지 말고 관리자 정책을 우선해야 합니다.

14. Memory Integrity 확인

Hyper-V를 껐는데도 VBS가 계속 실행되거나 VirtualBox 문제가 지속된다면 Memory Integrity도 확인합니다.

Windows 11에서 다음으로 이동합니다.

Windows 보안

→ 장치 보안

→ 코어 격리

→ 메모리 무결성

Memory Integrity는 VBS를 사용하는 Windows 보안 기능입니다.

따라서 문제 분석 과정에서 현재 활성화 상태를 확인할 수 있지만, VirtualBox 때문에 처음부터 끄는 것을 기본 해결책으로 사용해서는 안 됩니다.

Microsoft도 Memory Integrity를 VBS 기반 보안 기능으로 설명합니다.

15. Credential Guard도 무조건 끄지 않기

Credential Guard는 Windows의 자격 증명을 VBS 환경에 격리하여 보호하는 기능입니다.

Microsoft에 따르면 Credential Guard는 NTLM Hash, Kerberos 관련 자격 증명 등 민감한 정보를 보호하기 위해 VBS를 사용합니다.

따라서:

VirtualBox가 느림

이라는 이유 하나만으로 Credential Guard를 끄는 것은 적절하지 않습니다.

먼저:

Get-CimInstance -ClassName Win32_DeviceGuard -Namespace root\Microsoft\Windows\DeviceGuard |
Select-Object VirtualizationBasedSecurityStatus, SecurityServicesConfigured, SecurityServicesRunning

명령으로 실제 실행 여부부터 확인합니다.

관리되는 업무 PC에서는 Credential Guard가 그룹 정책이나 조직의 보안 정책으로 활성화되어 있을 수도 있으므로 임의 변경을 피하는 것이 좋습니다.

16. 설정 변경 후 정상 여부 검증

설정을 변경했다면 반드시 변경 전과 동일한 방법으로 다시 확인합니다.

먼저 Windows를 재부팅합니다.

CPU 가상화 확인

작업 관리자 → 성능 → CPU

에서:

Virtualization: Enabled

인지 확인합니다.

Hyper-V 상태 재확인

msinfo32

를 실행하여 하이퍼바이저 및 VBS 상태를 다시 확인합니다.

VBS 상태 확인

Get-CimInstance -ClassName Win32_DeviceGuard -Namespace root\Microsoft\Windows\DeviceGuard |
Select-Object VirtualizationBasedSecurityStatus, SecurityServicesConfigured, SecurityServicesRunning

변경 전 결과와 비교합니다.

17. VirtualBox VM 실제 실행 검증

Windows 설정만 정상이라고 판단해서는 안 됩니다.

문제가 발생했던 VM을 실제로 시작합니다.

최소한 다음 항목을 확인합니다.

  • VM 시작 오류가 재발하는지
  • Guest OS 부팅 화면이 정상적으로 나타나는지
  • Guest OS 로그인까지 진행되는지
  • VM 재부팅 후에도 동일하게 동작하는지
  • 이전에 성능 문제가 있었다면 체감 또는 측정 결과가 개선됐는지

설정 변경 이후 새로 생성된:

VBox.log

도 다시 확인합니다.

Oracle은 VM이 시작될 때마다 로그를 생성하므로 변경 전후 로그를 비교하면 가상화 상태를 판단하는 데 도움이 됩니다.

18. Hyper-V 모드로 실행 중인지 확인

Oracle VirtualBox 7.2에서는 Hyper-V를 가상화 엔진으로 사용하고 있는 경우 VM 상태 표시줄의 CPU 아이콘을 통해 확인할 수 있다고 설명합니다.

따라서 목표가:

Hyper-V와 VirtualBox를 함께 사용

하는 것이라면 VM 정상 실행 여부와 성능을 확인합니다.

반대로:

Hyper-V 영향 없이 VirtualBox를 직접 사용하는 환경

을 목표로 설정을 변경했다면 하이퍼바이저 상태와 VirtualBox 로그를 함께 다시 확인합니다.

19. 설정 변경 후 문제가 생기면 롤백

가상화 설정 변경으로 다른 기능이 동작하지 않는다면 변경한 항목을 원래대로 복구합니다.

예를 들어 Windows 기능에서 다음 항목을 껐다면 필요에 따라 다시 활성화합니다.

  • Hyper-V
  • Virtual Machine Platform
  • Windows Hypervisor Platform

Memory Integrity를 변경했다면:

Windows 보안 → 장치 보안 → 코어 격리

에서 원래 설정으로 복원합니다.

이후 Windows를 다시 시작합니다.

특히 WSL2, Sandbox 또는 다른 가상화 환경을 함께 사용하는 PC에서는 VirtualBox 하나만 보고 시스템 전체의 가상화 구성을 변경하지 않는 것이 중요합니다.

20. 가장 안전한 진단 순서

VirtualBox VM이 시작되지 않는다고 해서 여러 설정을 한꺼번에 변경하면 어떤 설정이 실제 원인이었는지 확인하기 어렵습니다.

다음 순서로 하나씩 확인하는 것이 좋습니다.

VirtualBox VM 오류 확인
        ↓
Task Manager에서 Virtualization 확인
        ↓
Disabled → BIOS/UEFI VT-x·AMD-V 확인
        ↓
Enabled
        ↓
msinfo32에서 Hyper-V/VBS 확인
        ↓
Win32_DeviceGuard 상태 확인
        ↓
VBox.log 확인
        ↓
원인 분리
        ↓
필요한 설정만 변경
        ↓
Windows 재부팅
        ↓
VM 재실행
        ↓
VBox.log 및 Windows 상태 재검증

이 과정의 핵심은 Hyper-V, VBS, Credential Guard를 무조건 끄는 것이 아니라 실제 충돌 여부를 먼저 확인하는 것입니다.

문제 해결이 되지 않는 경우

위 내용을 확인했는데도 VM이 실행되지 않는다면 다음 항목을 추가로 확인합니다.

VirtualBox 버전

현재 설치한 VirtualBox가 사용 중인 Windows 버전을 지원하는지 Oracle 공식 문서와 Release Note를 확인합니다.

VBox.log

오류 직후 생성된 최신 VBox.log를 확인합니다.

특히 다음 항목을 살펴봅니다.

  • Host OS
  • CPU 정보
  • Hardware Virtualization
  • VT-x / AMD-V
  • VM 시작 단계에서 발생한 오류

다른 하이퍼바이저

VMware 등 다른 가상화 제품을 동시에 실행하고 있지 않은지 확인합니다.

Oracle도 여러 하이퍼바이저가 동시에 하드웨어 가상화 기능을 사용하려는 상황을 피하도록 안내하고 있습니다.

주의사항

VirtualBox 오류 해결을 위해 아래 기능을 무조건 비활성화하는 방식은 권장하지 않습니다.

  • Hyper-V
  • VBS
  • Memory Integrity
  • Credential Guard

특히 Memory Integrity와 Credential Guard는 Windows 보안 기능입니다.

개인 테스트 PC에서는 필요에 따라 구성 변경을 검토할 수 있지만, 회사나 기관에서 관리되는 시스템에서는 보안 정책과 관리자의 설정을 우선해야 합니다.

또한 여러 설정을 동시에 변경하지 말고 한 단계 변경 → 재부팅 → 결과 확인 순서로 진행해야 실제 원인을 구분할 수 있습니다.

마무리

Windows 11에서 VirtualBox VM이 실행되지 않거나 성능이 저하될 때는 VT-x 또는 AMD-V 설정만 확인해서는 원인을 정확하게 찾기 어렵습니다.

특히 Windows 11에서는 Hyper-V와 VBS 기반 보안 기능이 함께 동작할 수 있기 때문에, 다음 순서로 상태를 하나씩 확인하는 것이 좋습니다.

BIOS/UEFI 하드웨어 가상화 확인
↓
Hyper-V 동작 여부 확인
↓
VBS 상태 확인
↓
Memory Integrity / Credential Guard 확인
↓
VBox.log에서 실제 오류 확인

먼저 작업 관리자에서 CPU 가상화 기능이 활성화되어 있는지 확인하고, 이미 활성화되어 있다면 msinfo32와 Win32_DeviceGuard를 이용해 Windows 하이퍼바이저와 VBS 상태를 확인합니다.

이후 VirtualBox의 VBox.log를 함께 확인하면 Windows 설정 문제인지, VirtualBox 실행 단계에서 발생한 문제인지 원인을 좀 더 구체적으로 구분할 수 있습니다.

또 하나 주의할 점은:

Hyper-V가 활성화되어 있다고 해서 VirtualBox를 사용할 수 없는 것은 아닙니다.

최신 VirtualBox는 Hyper-V가 실행 중인 Windows에서도 동작할 수 있습니다. 다만 환경에 따라 VirtualBox가 Hyper-V 기반 가상화 계층을 사용하면서 VM 성능이 저하될 가능성이 있습니다.

따라서 VirtualBox 문제를 해결하기 위해 처음부터 Hyper-V, Memory Integrity, Credential Guard 같은 Windows 보안 기능을 모두 비활성화하는 방식은 권장하지 않습니다.

핵심은 다음과 같습니다.

현재 어떤 가상화 계층이 동작하고 있는지 확인하고 → 실제 오류와 로그를 근거로 원인을 분리한 뒤 → 필요한 설정만 변경합니다.

설정을 변경했다면 반드시 Windows를 재부팅하고, 문제가 발생했던 VM을 다시 실행하여 오류가 재발하는지, Guest OS가 정상적으로 부팅되는지, 성능 문제가 개선됐는지까지 확인해야 합니다.

결국 VirtualBox 문제 해결에서 가장 중요한 것은 설정을 많이 변경하는 것이 아니라, 확인 → 변경 → 재부팅 → 재검증 순서를 지키면서 실제 원인을 좁혀가는 것입니다.

참고 자료

Post Views: 69