Windows 11 에서 VirtualBox 하드웨어 가상화 켜기 - 부제: 원효대사 해골물

가상화 프로그램으로 VirtualBox 를 이용한다. OS/2 를 가장 잘 지원하는 가상화 프로그램이라서 그렇다.

새로운 노트북을 사용할 기회가 생겨 VirtualBox를 설치한 후 OS/2 가 깔려 있는 가상 디스크를 복사해서 실행했는데, OS/2 로고가 나오는 화면에서 엄청 오랜 시간이 걸렸다. 물론 이 구간을 지나면 새로운 노트북 답게 엄청 빨라진 성능을 느낄 수 있었다.

이때까지 몰랐다. 이게 하드웨어 가속이 작동하지 않는 상태였다는 것을. 이것을 인식한 것은 SMP 기능을 시험할 때였다. 이전 노트북에서는 SMP를 켜더라도 매우 빠르게 실행이 되었다. 그런데 새 노트북에서는 너무 너무 오랜 시간이 걸렸고 게스트 OS의 CPU 사용률이 100%에 가까웠다. 거의 쓸 수가 없었다. 그래서 자료를 찾아보았더니 상태 표시줄에 거북이 표시()가 있으면 하드웨어 가속이 안 되고 있는 것을 뜻한다고 했다. 여태까지 상태 표시줄은 꺼놓고 있었던 터라 눈치채지 못하고 있었다. 상태 표시줄에 있는 거북이 아이콘에 마우스 커서를 올려두었더니 [실행 엔진]이 [native API]로 표시가 되었다. 곧 하드웨어 가속이 아니라 소프트웨어로 가상화 작업을 하고 있었던 것이다.

성능이 이전 노트북보다 빠르기에 하드웨어 가속이 잘 되는 줄 알았는데, 소프트웨어만으로도 이 정도 성능 향상 효과를 낼 수 있었던 것이다. 완전히 원효대사 해골물이었다. 하지만, SMP는 소프트웨어로 처리하기에는 쉽지 않았나 보다. 그런데 이것도 오래전에 VirtualBox가 SMP를 제대로 지원하지 못한다는 소문이 있어서 원래 그런가보다 했던 것이었다.

결국 상태 표시줄에 있던 거북이가 나를 매트릭스에서 꺼내주었다.

결론부터 말하면 Hyper-V가 문제였다. Windows에서 Hyper-V 기능을 사용하고 있기 때문에 VirutalBox에서 하드웨어 가상화 기능을 쓸 수 없었던 것이다. 또는 BIOS/UEFI 수준에서 Hyper-V에 상응하는 기능을 활성화할 수가 있기 때문에 이것도 꺼주어야 한다.

Windows 11에서 Hyper-V 기능을 끄기 위해서는 적어도 3가지를 확인해야 한다.

1. [메모리 무결성] 끄기

1. [시작] 메뉴를 오른쪽 마우스 버튼으로 클릭
2. [설정] 선택
3. [개인정보 및 보안] 선택
4. [Windows 보안] 선택
5. [장치 보안] 선택
6. [코어 격리] 항목에서 [코어 격리 세부 정보] 클릭
7. [메모리 무결성] 항목에서 [끔] 상태로 전환

 

2. [Windows 부팅 로더] 수정하기

1. [시작] 메뉴 클릭
2. [검색창]에 [cmd] 입력
3. 오른쪽 메뉴에서 [관리자 권한으로 실행] 클릭
4. [명령 프롬프트] 창의 명령행에서 [bcdedit /set hypervisorlaunchtype off] 입력
5. [exit]를 입력하여 돌아오기
   

 

3. [가상화 기반 보안 켜기] 사용 안 하기

1. [시작] 메뉴 클릭
2. [검색창]에 [gpedit.msc] 입력
1. [gpedit.msc]가 없으면 [시작] 메뉴 클릭
2. 검색창에 [그룹] 입력
3. 검색 결과에서 [그룹 정책 편집/제어판] 선택
    
3. [로컬 컴퓨터 정책 편집기] 창이 열리면 [로컬 컴퓨터 정책] > [컴퓨터 구성] > [관리 템플릿] > [시스템] > [Device Guard] 선택
4. 오른쪽 메뉴에서 [가상화 기반 보안 켜기] 실행
5. [사용 안 함] 선택
6. [확인] 버튼 클릭

 

4. 컴퓨터 전원 완전히 껐다가 켜기

1. [시작] 메뉴 클릭
2. [전원] 버튼 클릭
3. [시스템 종료] 클릭
   

 

5. 여전히 거북이 표시가 나타나면

1. 컴퓨터를 다시 시작
2. BIOS/UEFI 설정 프로그램으로 진입: 제조사에 따라 진입 키가 다름. ESC, F1, F2, F5, F8 등.
   
3. 값을 변경하지 않고 BIOS/UEFI 설정 프로그램 종료

하드웨어 가속 기능이 작동하면 거북이 표시 대신에 표시가 나타나고 [실행 엔진]이 [VT-x/AMD-V]로 표시된다.

거북이 VirtualBox는 접어두고 하드웨어 가속 기능을 100% 활용하는 빠릿 빠릿한 VirtualBox를 쓰자.

* 참고: https://forums.virtualbox.org/viewtopic.php?t=99390