윈도우 10/11 가상 머신(Hyper-V) 활성화 및 리눅스 설치 방법

12월 31, 2025 1 min

증상 확인: 왜 Hyper-V를 써야 하는가?

당신이 개발자라면, 윈도우 환경에서 리눅스 서버를 테스트해야 할 일이 생겼습니다. 또는 보안 분석가로서 멀웨어 샌드박스 환경이 필요할 수 있습니다. 물리적인 서버를 추가로 구축하거나, 부팅마다 OS를 선택하는 듀얼 부팅은 비효율적이고 위험합니다. 이때 필요한 것이 가상화 기술, 특히 윈도우에 내장된 Hyper-V입니다. “가상 머신이 느리다”는 선입견을 가진 분들도 있을 텐데, Hyper-V는 타입 1 하이퍼바이저로 호스트 OS 위에서 동작하는 VirtualBox(타입 2)와는 구조 자체가 다릅니다. 성능 손실이 현저히 적고, 특히 네트워크 및 디스크 I/O에서 강점을 보입니다.

원인 분석: 활성화 실패의 주요 장애물

Hyper-V 활성화가 실패하는 경우는 크게 세 가지입니다. 첫째, 윈도우 에디션 문제입니다. Hyper-V는 Windows 10/11 Pro, Enterprise, Education 에디션에서만 공식 지원됩니다, home 에디션에서는 활성화 자체가 불가능합니다. 둘째, BIOS/UEFI 설정에서 가상화 기술(VT-x for Intel, AMD-V for AMD)이 꺼져 있는 경우입니다. 마지막으로, 호환되지 않는 하드웨어 드라이버나 보안 소프트웨어(특히 일부 안티바이러스)가 Hyper-V 하이퍼바이저와 충돌할 수 있습니다. 이 문제들을 하나씩 해체해 나가겠습니다.

해결 방법 1: Hyper-V 플랫폼 활성화 (기본 조치)

가장 먼저, 시스템이 Hyper-V를 지원하는지 확인하고 기능을 켜야 합니다. 이 과정은 제어판이나 PowerShell을 통해 가능합니다.

시스템 에디션 확인: Win + R 키를 눌러 winver를 입력하고 실행합니다. 팝업창에서 윈도우 에디션을 확인하십시오. Home 에디션이라면, 공식적인 방법으로는 Hyper-V를 사용할 수 없습니다.
BIOS/UEFI 가상화 설정 활성화: 컴퓨터를 재부팅하고 부팅 시 Del, F2, F10 키(제조사별 상이)를 눌러 BIOS/UEFI 설정으로 진입합니다. Advanced 또는 Configuration 메뉴에서 Intel Virtualization Technology, VT-x, AMD-V, SVM Mode와 같은 옵션을 찾아 Enabled로 변경합니다. 저장 후 종료(Save & Exit)하십시오.
Windows 기능에서 Hyper-V 활성화:
1. Win + R 키를 눌러 optionalfeatures를 입력하고 실행합니다.
2. 목록에서 Hyper-V를 찾습니다. 상위 체크박스를 선택하면 하위 항목(Hyper-V 관리 도구, Hyper-V 플랫폼)이 모두 선택됩니다.
3. 확인을 클릭하면 Windows에서 필요한 파일을 구성하고 재부팅을 요청합니다. 반드시 재부팅하십시오.

주의사항: Hyper-V를 활성화하면 기존에 사용하던 VirtualBox, VMware Workstation 등 다른 타입 2 가상화 소프트웨어가 동작하지 않을 수 있습니다. 이는 Hyper-V가 시스템의 가상화 계층을 선점하기 때문입니다. 이를 회피하려면 Hyper-V를 다시 끄거나, 해당 소프트웨어의 ‘Hyper-V 호환 모드’를 사용해야 합니다. 활성화 전 주요 가상화 프로그램을 종료하십시오.

해결 방법 2: PowerShell을 이용한 고급 활성화 및 확인

GUI를 통한 활성화가 실패했거나, 자동화 스크립트를 준비 중이라면 PowerShell이 최선의 도구입니다. 관리자 권한으로 실행해야 함을 잊지 마십시오.

관리자 PowerShell 실행: 작업 표시줄 검색창에 PowerShell을 입력하고, 관리자 권한으로 실행을 선택합니다.
시스템 호환성 확인: 다음 명령어를 입력하여 Hyper-V 설치 가능 여부를 먼저 점검합니다.

systeminfo

출력 결과를 아래로 스크롤하여 Hyper-V 요구 사항 섹션을 찾습니다. 모든 항목이 예로 표시되어야 합니다. 특히 ‘VM 모니터 모드 확장’과 ‘가상화 사용’이 ‘예’인지 반드시 확인하십시오.
PowerShell로 기능 활성화: 다음 명령어를 입력합니다.

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All

프로세스가 완료되면 재부팅을 요청합니다. Y를 입력하여 재부팅하십시오.
활성화 확인: 재부팅 후, 다시 관리자 PowerShell을 열고 다음 명령어로 Hyper-V 서비스 상태를 확인합니다.

Get-Service vmms

상태(Status)가 Running이어야 정상입니다.

해결 방법 3: Hyper-V 관리자에서 리눅스 가상 머신 생성 및 설치

이제 본격적으로 리눅스 가상 머신(VM)을 만들 차례입니다. 여기서는 Ubuntu LTS 버전을 기준으로 설명합니다.

Hyper-V 관리자 실행: 시작 메뉴에서 Hyper-V 관리자를 검색하여 실행합니다.
가상 스위치 생성 (중요): VM이 외부 네트워크에 접속하려면 이 단계가 필수입니다.
- 오른쪽 작업 창에서 가상 스위치 관리자를 클릭합니다.
- 외부를 선택하고 가상 스위치 만들기를 클릭합니다.
- 이름(예: External Switch)을 지정하고, 연결 유형에서 실제 네트워크 어댑터(예: Wi-Fi 또는 이더넷 카드)를 선택합니다.
- 확인을 클릭합니다. ‘네트워크 어댑터의 연결이 일시적으로 끊길 수 있습니다’라는 경고에 동의하십시오.
새 가상 머신 만들기:
1. 오른쪽 작업 창에서 새로 만들기 > 가상 머신을 클릭합니다.
2. 이름 및 위치 지정: VM 이름(예: Ubuntu-Server)을 입력하고, VHDX 파일이 저장될 위치를 용량이 충분한 드라이브로 변경합니다(기본 C: 드라이브는 피하는 것이 좋음).
3. 세대 지정: 2세대를 선택합니다, 최신 리눅스 커널은 uefi 부팅을 완벽 지원하며, 보안 부팅(secure boot) 등 고급 기능을 사용할 수 있습니다.
4. 메모리 할당: 시작 메모리를 할당합니다(예: 2048 mb). 동적 메모리 체크박스를 활성화하면 VM이 필요에 따라 메모리를 유연하게 사용할 수 있습니다.
5. 네트워킹 구성: 방금 생성한 External Switch를 연결합니다.
6. 가상 하드 디스크 연결: 새 가상 하드 디스크를 생성하고 크기를 지정합니다(예: 30GB). 이 공간은 동적으로 확장되므로, 처음부터 큰 용량을 할당해도 실제 사용량만큼만 물리적 공간을 점유합니다.
7. 설치 옵션: 부팅 CD/DVD-ROM에서 이미지 파일(.iso)을 선택하고, 다운로드한 Ubuntu ISO 파일의 경로를 찾아 지정합니다.
리눅스 설치 실행: 생성된 VM을 더블클릭하여 연결합니다. 시작 버튼을 클릭하면 ISO 파일에서 부팅되어 Ubuntu 설치 화면이 나타납니다. 일반적인 물리적 컴퓨터에 OS를 설치하는 과정과 동일하게 진행하면 됩니다.

리눅스 설치 후 필수 통합 서비스 설치

설치가 완료되고 첫 부팅이 끝나면, 마우스 통합, 화면 크기 자동 조정, 호스트-게스트 간 파일 복사 등 편의 기능을 위해 Hyper-V 통합 서비스(Linux Integration Services, LIS)를 설치해야 합니다. Ubuntu의 경우, Linux 커널에 기본 포함되어 있는 경우가 많지만, 최신 패키지를 설치하는 것이 좋습니다. 가상 머신과 호스트 간의 원활한 연동처럼, 여러 기기에서 동일한 서비스를 사용할 때도 동기화 설정이 중요합니다. 텔레그램 PC 버전 다운로드 및 멀티 디바이스 로그인 관리를 참고하면, 스마트폰과 PC에서 동시에 텔레그램을 사용하면서도 메시지가 실시간으로 동기화되도록 설정할 수 있으며, 보안을 위해 연결된 기기 목록을 정기적으로 점검하는 방법도 확인할 수 있습니다.

Ubuntu 터미널을 엽니다.
다음 명령어를 실행하여 패키지 목록을 업데이트하고 Hyper-V 관련 패키지를 설치합니다.

sudo apt update && sudo apt install linux-tools-virtual linux-cloud-tools-virtual
설치 후 가상 머신을 재부팅합니다. sudo reboot

주의사항 및 문제 해결

과정 중 발생할 수 있는 일반적인 문제와 해결책입니다.

VM이 시작되지 않거나 ‘부팅 실패’ 오류 발생: VM 설정의 보안 부팅 옵션을 확인하십시오. 일부 리눅스 배포판은 Microsoft 인증서로 서명되지 않았을 수 있습니다. 설정에서 보안 부팅 사용 옵션을 꺼보십시오.
네트워크 연결 안 됨: 가상 스위치 생성 시 잘못된 물리적 어댑터를 선택했거나, 호스트의 네트워크 정책이 제한적일 수 있습니다. 가상 스위치 관리자에서 스위치를 삭제하고 다시 만들어 보십시오. 호스트의 방화벽 설정도 확인하십시오.
디스크 성능 저하: VHDX 파일이 저장된 드라이브(특히 HDD)의 조각화가 심하거나 여유 공간이 부족할 수 있습니다. 조각 모음을 실행하고, 가능하다면 SSD로 VM 파일을 이동하십시오.
호스트 시스템이 느려짐: 동적 메모리를 활성화했더라도, VM에 할당한 최대 메모리가 호스트의 실제 물리 메모리를 초과하지 않도록 주의하십시오. 여러 VM을 동시에 실행할 때는 특히 중요합니다.

전문가 팁: 체크포인트와 자동 시작 설정
중요한 작업을 VM에서 수행하기 전, Hyper-V 관리자에서 해당 VM을 선택하고 체크포인트를 생성하십시오. 이는 시스템의 완전한 스냅샷으로, 실수로 설정을 망가뜨리거나 소프트웨어 설치에 실패했을 때 이 체크포인트로 즉시 롤백할 수 있습니다. 또한, 항상 실행해야 하는 서버형 VM이 있다면, VM 설정의 자동 시작 작업에서 ‘자동으로 시작’으로 설정하고 지연 시간을 30초 정도 부여하십시오. 이렇게 하면 호스트 시스템 부팅 후 안정화되는 시간을 두고 VM이 시작되어 리소스 경합을 줄일 수 있습니다. 마지막으로, 호스트의 Windows Defender 방화벽에서 Hyper-V 관련 프로세스(vmms.exe, vmwp.exe)의 인바운드/아웃바운드 규칙이 차단되지 않았는지 확인하는 습관을 들이십시오.