# vmLIVE - Tips & Tricks When Upgrading vSphere ## 개요 VMware에서 주기적으로 진행하는 vmLIVE에 대해 요약 정리하여 서술하였다. vSphere 업그레이드 방법에 관해 서술한 자료이며, 아래 링크로 원본영상을 확인할 수 있다. (VMware Partner Connect 계정 필요) ## 1. 내용

출처 : [https://partner-university.vmware.com/share/asset/view/1214](https://partner-university.vmware.com/share/asset/view/1214)

### 1.1 논의 주제 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-03/scaled-1680-/vC0image.png)](https://bs.etevers.tech/uploads/images/gallery/2024-03/vC0image.png) 이번 VMLive 에서 진행할 대화 주체는 아래와 같다.
**논의 사항****유의 사항**
업그레이드에 대한 확인 사항모든 환경은 동일하지 않으므로, 포괄적인 내용은 아님
실제 경험을 바탕으로 익힌 사례조직 내의 프로세스 문제에 대한 해결점을 다루지 않음
계획을 위한 리소스 안내테스트를 대신 진행할 수 없음
배경 정보GSS 를 대체하지 않음
업그레이드가 정상적으로 진행될 수 있도록 도움해당 세션은 계획의 일부이며, 실제 계획을 제시하는 것은 아님
### 1.2 업그레이드 진행 이유 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/pxgimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/pxgimage.png) 사람들은 다음과 같은 이유로 업그레이드를 계획한다. - 지원 종료 (End of Support) 로 인한 업그레이드 - 새로운 기능 사용을 위한 업그레이드 - 사전 예방 활동 차원에서의 업그레이드 ### 1.2 업데이트 수명 주기 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/TvPimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/TvPimage.png) VMware 는 GA(General Availability: 공식 버전)가 발표된 후, 총 3번의 업데이트 릴리즈 주기를 가진다 업데이트 릴리즈는 약 6개월 주기로 새로운 기능 및 패치를 추가하여 공개되고 있으며, 이 외에는 보안 패치 등으로 제공되고 있다 3번의 업데이트 주기 중에서 가장 마지막으로 제공되는 'Update 3' 의 경우, 최종 버전으로써 가장 안정적인 업데이트 버전으로 안내된다. 이 후의 업데이트는 보안 패치 외에는 진행되지 않는다. vSphere 8 버전의 경우에도 Update3 단계에 도달할 것으로 계획하고 있다. ## 2. 업그레이드 유의 사항 ### 2.1 버전 별 업그레이드 가능 여부 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/4Hcimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/4Hcimage.png) vSphere 7 버전으로 업그레이드 진행하는 경우, 지원하지 않는 하위 버전에 대한 확인이 필요하다 - 5.5 및 6.0 버전은 7 버전으로 업그레이드 진행 불가 - 6.5 및 6.7 버전은 7 버전으로 업그레이드 진행 가능 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/Qy7image.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/Qy7image.png) vSphere 8 버전으로 업그레이드 진행하는 경우, 지원하지 않는 하위 버전에 대한 확인이 필요하다 - 5.5 및 6.0 및 6.5 버전은 8 버전으로 업그레이드 불가 - 6.7 및 7 버전은 8 버전으로 업그레이드 가능 결론적으로 vSphere 6.0 버전으로 사용하는 고객사는 업그레이드 지원 불가하다. 또한 vSphere 6.5 버전에서 vSphere 8.0 버전으로 업그레이드 진행하고자 한다면, vSphere 7 버전으로의 업그레이드가 선행되어야 한다. ### 2.2 제품 별 업데이트 순서 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/s9uimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/s9uimage.png) 해당 KB 는 VMware vSphere 8.0으로 업그레이드를 진행하는 경우, 제품 별 업데이트 순서를 안내하고 있다. ESXi의 경우 10번째 순서에 해당한다. 6.5 / 6.7/ 7/ 8 버전에 대한 업데이트 기사가 있으며, vSphere 9 버전도 발췌될 수 있다.

https://kb.vmware.com/s/article/89745

### 2.3 vSphere 6 버전에서 vSphere 7 버전으로 업그레이드 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/Sspimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/Sspimage.png) vSphere 6.7 또는 6.x 에는 플랫폼 서비스 컨트롤러(PSC) 가 포함되어 있다. 이러한 플랫폼 서비스 컨트롤러는 링크모드, 인증, SSO 와 같은 토폴로지에 활용되어 왔다. 그러나 플랫폼 서비스 컨트롤러가 vSphere 7 버전에서는 vCenter 서버 어플라이언스에 추가되는 방안으로 변화되었다. 따라서 업그레이드 진행 시 해당 내용을 고려하여 업그레이드 진행이 필요하며, 사용자가 직접 업그레이드 방안을 선택하여 해결할 수 있다. - 업그레이드 프로세스 방식 - 업그레이드 프로세스가 자체적으로 변환 및 수렴을 진행하여 편리 - 업그레이드 프로세스가 마이그레이션을 자체적으로 수행하도록 선택 가능 - 완전히 새로 설치 (Greenfield 설치) ### 2.4 업그레이드 고려 사항 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/2rHimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/2rHimage.png) 업그레이드를 진행하기 전, 현재 사용하는 환경에 대한 변경이 고려되어야 할지 선택이 필요하다. 1. 레거시 부팅 방안을 UEFI 부팅으로 변경할지 여부 2. Secure Boot 활성화 여부 3. TPM 2.0 사용 여부 - TPM 의 경우에는 서버에 별도 추가 필요 4. 하드웨어 업데이트 - 새로운 기능보다는 호환성/안정성을 추구하는 경향이 있어, ESXi 최대 성능을 위한 펌웨어 세트가 제공되지 않는 경우 존재 - 서버의 대부분의 기능은 기본적으로 꺼져있으므로 추가 성능을 위해서는 펌웨어를 업데이트 또는 기능 활성화 작업이 필요 ### 2.5 하드웨어 호환성 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/KIwimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/KIwimage.png) 업그레이드를 진행하고자 할 때, 하드웨어 호환성에 대한 여부를 확인한다. 그러나 하드웨어 호환성이 확인되지 않는 사례도 존재하고 있다. - OEM 하드웨어가 호환성 가이드 리스트에 존재하지 않는 경우 -> OEM 하드웨어 업체는 인증을 수행하는 업체로 직접 관리하고 있으므로 OEM 업체 확인이 필요 - CPU 가 호환성 가이드 리스트에 존재하지 않는 경우 -> CPU 호환성의 경우 드라이버가 동작 호환성을 제공하고 있기 때문에 **CPU의 디바이스 드라이버**가 좀 더 중요하다고 보고 있음 -> CPU 자체보다는 CPU 제품군을 유의하여 확인하면 도움을 될 수 있음 - 하나의 호스트 통한 테스트 진행 방안 -> 최적의 방안은 아니나 VMware 의 생태계에서 제공하고 있는 구성이므로 진행해보아도 좋을 듯 그러나 VMware 호환성 가이드 상에 존재하지 않는 경우, 벤더사가 동작을 보장하지 않기에 하드웨어 제공 업체에 재차 확인하는 방안을 권장한다. ## 3. 마이그레이션 방법 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/EM7image.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/EM7image.png) VMware 에서 제공하는 마이그레이션 방법으로 마이그레이션은 Live, Warm, Cold 방식을 사용할 수 있다. 그 중 HCX 는 VCF 의 제품군의 일부가 되어, 워크로드를 이동하는 방식에서 훨씬 더 큰 부분으로 활용될 것으로 기대된다. [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/d9Simage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/d9Simage.png) Cross vCenter vMotion 을 사용하여 vCenter 서버 간의 vMotion 을 통해 가상 머신을 환경 간 마이그레이션을 진행할 수 있다. 새로운 환경을 구성한 후, 이전 환경과의 마이그레이션 제공되며, Pull 혹은 Push 방식으로 결정하여 마이그레이션을 진행한다. 그러나 Cross vCenter vMotion의 경우에는 사용하기 위한 전제 조건이 존재하며, 해당 전제 조건은 아래와 같다. - Configmax 사이트를 통해 각 vCenter 의 호환되는 버전 확인 필요함 - 동일한 DNS 환경을 가져가야 하므로 DNS 구성 필요함 - 각 vCenter의 VDS 버전이 동일해야 함 - vTPM 및 모든 형태로 VM 을 암호화하여 사용하는 경우 Key Provider 가 서로 동일해야 함 ## 4. 업그레이드 ### 4.1 업그레이드 28개의 체크포인트 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/DtBimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/DtBimage.png) 1. NTP 설정 확인 2. DNS 가 A 레코드 및 PTR 레코드 조회 확인 3. DHCP 관리 IP 에 a 및 PTR 레코드 조회 확인 4. 어플라이언스 루트 비밀번호가 설정되어 있는지 확인 \- vCenter 서버를 배포하면 90일 후에 루트 암호인 VAMI 가 만료됨. \- 비밀번호가 만료되어 접속되지 않으면, 복구 필요함 5. 관리자 계정의 암호가 동작하는지 확인 6. ESXi 루트 비밀번호 확인 \- 이전에는 루트 비밀번호 변경할 수 있었지만, 암호화 구성과 TPM 사용하므로, 이러한 복구 방법은 작동 불가 7. KMS(표준 키 공급자)의 연결 정보 확인 8. ESXi 콘솔 연결 가능 여부 9. 파일 기반 및 이미지 기반의 vCenter 서버 백업본으로 복구가 가능한지 여부 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/qjYimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/qjYimage.png) 10\. 새로운 IP 및 새로운 어플라이언스 준비 여부 \- 새로운 어플라이언스는 MAC 주소를 제외한 이전 어플라이언스의 모든 ID 를 사용함 11\. 방화벽 규칙 : 임시 어플라이언스가 ESXi 호스트와 통신 가능해야하며, 기본 vCenter 서버 IP 및 방화벽 규칙을 복사해두어야 함 12\. 트리거된 경고 체크 및 이슈 확인 13\. 사용자 정의 인증서 \- 인증서가 만료된 경우 갱신 후에 업그레이드를 진행해야 함. (업그레이드 실패하는 요인 중 하나) 14\. vCenter 에 연결된 thrid-party 확인 : 어플라이언스의 상태가 달라질 수 있으니 차단/종료 및 혹은 새 버전과 호환되는 지 확인 필요 15\. vCenter 의 FQDN 의 변경이 가능하므로 변경할 지 여부 확인 (인수 등의 이유로 변화가 필요한 경우에 사용 가능) 16\. 호환성 매트릭스 등을 활용하여 올바른 버전과 적절한 수준을 맞추었는지 확인 필요 17\. 이벤트 내역 및 퍼포먼스 데이터 등의 데이터베이스의 모든 데이터가 필요한지 확인 \- 해당 데이터의 대부분이 이벤트 기록, 성능 데이터, vCenter DB 내에 있는 모든 항목을 의미함. \- Loginsight 또는 Syslog 통해 전송하는 경우에는 신경쓰지 않을 수 있음 \- 이벤트 기록 및 성능 데이터가 필요하지 않은 경우 vCenter 의 보존을 해제하여 사용할 수 있음 \- 사전에 데이터베이스 정리 프로세스를 실행할 필요가 있음 18\. 로그인 비활성화 여부 확인 : 업그레이드 진행 시 타인이 로그인하는 것을 방지하기 위해 VCSA 방화벽 또는 로그인 제한하는 방안 확인 19\. HA 종료 ( DRS 는 사용하는 리소스 풀이 삭제되므로 부분자동화 상태로 끄지않음 ) [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/QpRimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/QpRimage.png) 20\. 도메인에 다시 가입하는 절차가 필요한지 확인 21\. 방화벽/스토리지/AD 관리자와 콜 연결 가능 여부 22\. 워크로드/앱, 스토리지, 네트워크 변경이 필요한가요? (스토리지 컨트롤러 업그레이드와 vSphere 업그레이드는 동시에 이뤄지면 안됨) 23\. vCenter 서버가 다운된 동안 필요한 경우 VM 콘솔에 어떻게 엑세스 할 것 인지 혹은 추가 직원이 필요한지. 24\. DRS Rule 검토 필요 : vCenter Server 및 PSCs 가 잘 아는 위치에 배치되어야 함 - 잘 찾아내기 위해 Should 규칙을 사용 25\. 업데이트 프로세스에 대한 기록 권장 (문제 상황 시, 되돌리 수 있으므로) 26\. 중첩된 ESXi 환경을 통한 프로세스 테스트 진행 권장 27\. 기본 키 공급자를 사용하는 경우, 기본 키 공급자 백업 (다시 사용 가능한지 여부 확인도 필요) [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/KMqimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/KMqimage.png) **28. 프로덕션 환경의 경우, 테스트 진행 결과와 동일하지 않음을 기억해야 함** ### 4.2 업그레이드 진행 단계

해당 프로세스는 샘플이므로, 각 상황에 맞춰 진행 필요

[![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/x6Timage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/x6Timage.png) 1. Day before : 타사 제품의 플러그인 제거를 원하는 지 여부 확인 2. Day before : vCenter 데이터베이스의 데이터의 보존 정책의 변경이 필요한지 여부 확인 3. Day before : 현장에서 vCenter 를 재부팅하여 자체적인 동작 확인 필요 4. administrator 외 타 계정에 대한 로그인 차단 5. vCenter 에 대해 모든 연결을 제거하고 싶다면, 연결 진행 전 상태에 대한 스냅샷이나 클론 보관 추천 6. 기존 vCenter 서버의 이름을 변경하여 새 vCenter 서버가 생성될 때까지 이전 버전을 대체할 수 있도록 조치 7. 모든 것을 켜고 동작할 때, 알람이 발생하지 않는 지 확인 8. 업그레이드 진행 혹은 마이그레이션 수행 9. 로그인 진행 후, 호스트의 자동 연결 확인 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/ncPimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/ncPimage.png) 10\. 업그레이드 진행 시, 업데이트 패치 내역에 대해 확인 - VAMI 에 최신 패치 버전이 들어있는가 11\. VAMI 설정 확인 (패스워드 만료 기간, 로깅 방식 혹은 위치, NTP 설정 등) 12\. 파일 기반 백업 구성 또는 이미지 백업 작업 13\. 필요한 타사 도구 재설치 14\. 필요한 경우 로그인 인증 절차 재설정 15\. DRS 및 HA 설정 16\. 콘솔 엑세스 작업 진행 17\. 이전에 생성한 vCenter 스냅샷 및 복제본 삭제 (이 경우, 기간을 두고 지켜본 후에 삭제 진헹) 18\. administrator 계정이 필요하지 않을 경우, 리셋 혹은 키 저장 등의 조치 진행 ### 4.3 업그레이드 팁 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/pQ1image.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/pQ1image.png) 업그레이드 진행 후, vCenter 와 ESXi 정상 동작 여부를 확인하기 위해 일정 기간 모니터링 진행이 필요하다. [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/Leeimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/Leeimage.png) 업그레이드 일정 계획은 빠르게 진행하는 것을 추천한다. vSphere 는 클러스터 단위로 분할하여 동작하지만, 해당 구성은 오래 운영될수록 문제가 발생할 수 있다. 따라서 주 단위의 업그레이드 일정 보다는 일 단위로 업그레이드 달성하는 것을 추천하고 있다. [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/7TTimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/7TTimage.png) 업그레이드 단계가 완료될 때까지 VM을 하드웨어 버전으로 업그레이드를 진행하지 않아야 한다. 업그레이드 진행 사항 혹은 모니터링 기간 중에 문제가 발생할 경우 이전 단계로 원복이 필요하다. 이 경우 호환성이 원인이 되어 이슈 상황이 발생할 수 있다. [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/uUmimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/uUmimage.png) VM 호환성 업그레이드는 몇 개의 호스트/VM 에서 시도해보는 방안도 권장한다. 문제 사항 발생 여지를 분별하는 방안도 중요하기 때문이다. [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/IKzimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/IKzimage.png) VDS 스위치는 별도로 최신 버전으로 업그레이드가 가능하다. 따라서 vCenter vMotion 방식을 고려한다면 VDS 스위치 업그레이드 추천한다. 그러나, VDS 스위치 상의 알림이 없어야 한다는 부분도 유의 필요하다. ## 5. 참고 문서 [![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/c6Iimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/c6Iimage.png) VMware 제품에 대한 수명 주기 확인 가능한 사이트 (GA / EOGS / EOTG 주기 확인 가능)

https://lifecycle.vmware.com

[![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/EDuimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/EDuimage.png) 제품 간의 상호 호환성을 확인할 수 있는 사이트

https://interopmatrix.vmware.com/Interoperability

[![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/uR5image.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/uR5image.png) 알려진 문제 등에 대한 해결 과정 확인 및 새로운 업데이트 및 패치에 대한 정보 확인 가능 사이트.

https://docs.vmware.com/kr/VMware-vSphere/8.0/rn/vmware-vsphere-80-release-notes/index.html

[![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/m1dimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/m1dimage.png) VMware 제품 군에 대한 하드웨어 호환성 정보 확인 사이트

https://www.vmware.com/resources/compatibility/search.php

[![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/LaOimage.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/LaOimage.png) VMware 리소스에 대한 보안 구성 가이드

https://core.vmware.com/security-configuration-guide

[![image.png](https://bs.etevers.tech/uploads/images/gallery/2024-04/scaled-1680-/St6image.png)](https://bs.etevers.tech/uploads/images/gallery/2024-04/St6image.png) 보안 권고 메일링을 구독하면 환경에 대한 보안 권고 사항에 대해 확인 가능하여, 환경에 대한 보안 대응 가능.

https://www.vmware.com/security/advisories.html