Consejos y trucos para Solucionar problemas de rendimiento deficiente de vSphere

Introducción

Como cualquier otro administrador, sabe que las máquinas virtuales con el tiempo comienzan a sufrir interrupciones, problemas de rendimiento o simplemente dejan de responder. Eso es un hecho de la vida, desafortunadamente. Lo más probable es que, como ingeniero de virtualización, probablemente ya haya encontrado estos problemas al menos una vez. Y dado que el entorno virtualizado es un sistema bastante complicado, puede haber demasiadas razones o factores diferentes que afectan el rendimiento deficiente de las máquinas virtuales. Tratar de averiguar qué es lo que está mal puede tomar mucho de su tiempo.

Hoy, intentaremos juntos determinar qué puede hacer que su infraestructura de VMware revele un rendimiento deficiente y encontrar formas de evitarlo.

Entonces, ¿qué necesitará para la solución de problemas adecuada?

En primer lugar, los registros. Los registros son el Santo Grial para resolver los problemas del entorno de vSphere. Lo sé, lo sé. Por supuesto, confías en tu memoria al 100% y, por supuesto, recordarás todo lo que necesitas saber, como credenciales para iniciar sesión o cualquier otra información necesaria. Sin embargo, lo último que desea que suceda cuando su servidor falla repentinamente o cuando sus hosts ESXi se sobrecargan es intentar recordar nerviosamente las contraseñas solo para ingresar un host o vSphere vCenter.

Además, cualquier documentación existente, como los esquemas de clúster de vSphere, puede ser de gran ayuda. Si realmente no sabes cómo está configurado todo el sistema, eso te ralentizará a lo grande. Naturalmente, a ninguna persona en el mundo le encanta mantener registros, pero crea que, cuando surja la necesidad, estarás agradecido por tener información fácilmente accesible. Ahora, echemos un vistazo a en qué debería consistir esta información:

hosts ESXi:

• Nombres de host / direcciones IP
• Versión de host ESXi y nivel de parche
• Contraseña raíz (guárdela en una ubicación segura)
• Direcciones IP grabadas para almacenamiento e interfaz
• Descripción del hardware del host
• Configuración de almacenamiento (iSCSI, etc)
• Adaptadores de red (proveedor, versión de controlador, etc)

Conmutadores de Almacenamiento:

• Direcciones IP utilizadas
• Versión de firmware
• Credenciales (guárdelas en una ubicación segura)
• Configuración de Vlan

Arreglo de almacenamiento:

• Dirección IP del puerto de administración SAN
• Nivel de firmware
• Configuración de LUN, nivel RAID, número de unidades, tamaños, firmware de la unidad
• Inicios de sesión y contraseñas en la interfaz de administración de matrices SAN
• Herramientas de administración SAN específicas del proveedor (utilidades específicas)

Como probablemente ya puedas reunir, cuanta más documentación, mejor. Lamentablemente, muchos administradores tienden a ignorar esta regla. Además, su documentación no será muy útil si está desactualizada, por lo que debe mantenerse al día con los cambios a medida que avanzan.

¿Con qué empezar?

1. Estudie detenidamente las mejores prácticas de rendimiento de VMware

Este material sigue siendo fundamental y vital desde hace dos años. Al principio, hay un esquema de solución de problemas. Los posibles problemas se clasifican de acuerdo con su relevancia (Herramientas de VMware, CPU, etc.) y su rango (desde un efecto del 100% en el rendimiento hasta un mínimo). Si lo usa, puede ayudarlo mucho a mejorar su infraestructura.

2. ¿VMware Tools?

Asegúrese de que VMware Tools esté instalado, actualizado y ejecutándose en cada una de sus máquinas virtuales. Básicamente, el paquete VMware Tools es un conjunto de controladores de dispositivos virtuales que afectan al rendimiento de la máquina virtual (generalmente para mejor, por supuesto).

Verifique la instalación de VMware Tools.

• Seleccione un host en vSphere Web Client;
• Mover a la pestaña Máquinas virtuales;
• Agregar la columna “Estado de VMware Tools”;
• Comprobar el estado. Si dice OK, empieza a buscar la siguiente forma de mejorar el rendimiento.
• No se está ejecutando/desactualizado: instale VMware Tools.

Si VMware Tools no se está iniciando, deberá corregir el sistema operativo invitado, ya que es ahí donde podría estar el problema. Es la actualización del kernel de Linux o alguien, por alguna razón, ha deshabilitado las herramientas de VMware en Windows.

Si su versión actual de VMware Tools está desactualizada, debe realizar una actualización mediante el menú contextual de vSphere Web Client. Por lo general, eso se convierte en un caso después de instalar las últimas actualizaciones en hosts ESX/ESXi. Cuando haya terminado con ellos, no olvide mantener las herramientas de VMware actualizadas también. En general, con vSphere Web Client, puede comprobar fácilmente las herramientas de VMware, como sugiere el siguiente esquema:

La visualización de estado de vmtools para máquinas virtuales.
Puede agregar vmtools haciendo clic en el botón derecho del ratón sobre el título y seleccionándolo en consecuencia.

Sin embargo, también puede aplicar el escenario PowerCLI, que comprueba la presencia del paquete vmtools y su estado actual. La mayor parte de las propiedades relacionadas con vmtools se encuentran en < vm>.invitado.extensiondata.

VMware PowerCLI para ESXi y vSphere

PowerCLI para VMware vSphere es una herramienta increíblemente potente, basada en Microsoft PowerShell / PowerCLI le permite ejecutar el 98% de las tareas manuales para administrar la infraestructura virtual desde la línea de comandos. Como herramienta, PowerCLI permite centralizar la administración operativa de ESXi y vCenter Server en la línea de comandos. Gracias a esta maravillosa utilidad, puede crear escenarios, monitorear el estado de las máquinas virtuales, el almacenamiento, las redes, las cuentas de usuario y, como guinda del pastel, automatizar una gran parte de los procesos operativos. Puede instalar PowerCLI en máquinas con Microsoft Windows 7 / Windows Server 2008 R2 y superior, pero lo que es más interesante, hay varias versiones para diferentes kits de Linux.

PowerCLI consta de más de 1900 cmdlets para la administración de infraestructura de VMware virtual y en la nube (vSphere, vSAN, vRealize Operations Manager, vCloud Director, Site Recovery Manager, Horizon 7 y vCloud Air). Al ejecutar cmdlet, se dirige a la API en el host ESXi o el servidor vCenter seleccionados. Buenas noticias: puede descargar el último parche de VMware PowerCLI desde el sitio oficial de VMware (sí, por supuesto, necesitará una cuenta para eso). Para continuar con la consola PowerCLI, simplemente inicie el acceso directo VMware vSphere PowerCLI como administrador.

Problemas básicos

1. La falta de recursos para la máquina virtual

Lo sé, lo sé, es cierto que tener suficientes recursos para que la máquina virtual funcione de manera eficiente es algo imprescindible. Sin embargo, le sorprendería saber cuántas máquinas virtuales no tienen asignados recursos suficientes de acuerdo con los requisitos del sistema operativo invitado y las aplicaciones que se ejecutan en él. Quiero decir, usted debe saber como la palma de su mano que a pesar de los innumerables beneficios que la virtualización trae a la mesa, siempre hay gastos generales con los que lidiar. Como, ¿qué hará VM si se queda sin RAM? Naturalmente, su máquina comenzará a cambiar al disco con mucha más frecuencia. Si el almacenamiento subyacente está lleno, el rendimiento sufrirá un gran golpe. Es por eso que, siempre que tenga la oportunidad de hacerlo, use reservas, grupos de recursos, DRS y todo lo que pueda para asegurarse de que se asigne la cantidad correcta de recursos a una máquina virtual para lograr la máxima eficiencia operativa.

2. Supervisión del rendimiento

Básicamente, la supervisión del rendimiento es una función integrada en los clientes de vSphere. Esta de aquí es una de esas herramientas necesarias que te ayudarán a examinar los problemas relacionados con el rendimiento. Es muy bueno porque le permite usar alarmas siempre que sea posible, para que siempre esté un paso por delante de cualquier problema de rendimiento.

Tenga en cuenta, sin embargo, que mientras trabaja en el host ESXi local, solo puede acceder a la pestaña Rendimiento. Si desea obtener más información, utilice VMware ® vSphere vCenter. SÚPER IMPORTANTE. El rendimiento y el Rendimiento avanzado son herramientas de diagnóstico más que eficaces e informativas. Si lo usas bien, no tendrás problemas para encontrar el punto débil de tu sistema.

Tomemos como ejemplo la saturación de la CPU del grupo de recursos. Para buscar detalles:

• Elija grupo de recursos y pase a Rendimiento. A continuación, cámbielo a Avanzado y seleccione objeto de CPU;
• Evaluar la saturación actual en MHz (Uso);
• Comparar el valor de la limitación del grupo de recursos y la saturación actual. Si está cerca del límite, existe la posibilidad de que carezca de recursos y todo lo que necesita hacer es reevaluar el valor listo para la CPU de las máquinas virtuales separadas en este mismo grupo;

Verificación lista para CPU:

• Para la CPU Lista. seleccione una máquina virtual, pase a Rendimiento, luego elija Modo avanzado y cambie a revisar “CPU” (si está a la altura de la resolución de problemas de rendimiento de la máquina virtual específica, comience con esa);
• Evaluar Listo para todos los “objetos”de máquina virtual. “Objeto” es un procesador virtual independiente de la máquina virtual. Tendrá que cambiar las propiedades de las “Opciones de gráfico?” para visualizarlo;
• Dígame, ¿el valor mínimo o promedio de listo para cualquier procesador virtual supera los 2000 ms? Si es así, cuando, todo está claro ahora. Simplemente carece de recursos de procesador debido al límite establecido para su grupo de recursos;
• Ahora haga lo mismo para el resto de las máquinas virtuales de este grupo.Verificación de saturación de CPU del HOST

:

• Seleccione el host, pase a Rendimiento, luego cambie al modo Avanzado y elija un objeto “CPU”;
• Evalúe la saturación actual en MHz (Uso);
• ¿Supera el 75% o la parte superior es del 90%? Si es así, entonces, tal vez, carezca de recursos de procesador de host. Verifique que la CPU esté lista para la máquina virtual en este host, como hice a continuación. Si una saturación media del procesador central no supera el 75%, ¡el siguiente es para que lo vea!Verificación lista para CPU

:

• Si está a la altura de la solución de problemas del rendimiento de la máquina virtual específica, comience con esa. De lo contrario, seleccione un host, muévase a Máquinas Virtuales, clasifique la lista como en CPU — MHz del Host (columna a columna) y eche un vistazo a una o dos máquinas virtuales desde el principio de la lista;
• Para medir el rendimiento de la CPU, seleccione una máquina virtual, pase al Rendimiento, cambie al modo Avanzado y, a continuación, cambie a revisar “CPU” (si está a la altura de la solución de problemas del rendimiento de la máquina virtual específica, comience con esa);
• Evalúe Listo para todos los “objetos”de la máquina virtual. “Objeto” es un procesador virtual independiente de la máquina virtual. Tendrá que cambiar las propiedades de las “Opciones de gráfico?” para visualizarlo;
• ¿El valor mínimo o promedio de listo para cualquier procesador virtual supera los 2000 ms? Si es así, carece de recursos de procesador de host.

Parámetros potencialmente problemáticos que necesitan verificación:

• Verificación de Saturación de CPU Invitada; Verificación de Intercambio de Memoria de VM Activa
• Verificación de Espera de Intercambio de VM; Verificación de Compresión de Memoria de VM
• Verificación de Dispositivo de Almacenamiento Sobrecargado
• Verificación de Dispositivo de Almacenamiento Sobrecargado; Verificación de Paquetes de recepción eliminados
• Verificación de Paquetes de transmisión eliminados;
• Una vCPU en una Verificación de VM SMP;
• CPU de VM Lista en el host con verificación de carga promedio;
• Verificación de Sistema de Almacenamiento lento o sobrecargado;
• Verificación de carga del Sistema de almacenamiento superior;
• verificación de transmisión de datos de red;
• Verificación de Saturación de procesador de VM Baja;
• Verificación de Intercambio de Memoria de VM Pasada;
• Verificación de demanda de memoria de Grupo de Recursos Altos;
• Verificación de demanda de memoria de Host alto;
• Verificación de Alta Demanda de Memoria de Invitado;
• Verificación de Altas Tasas de Interrupción del Temporizador;
• Verificación de configuración de NUMA;
• Verificación de tiempo de respuesta de instantáneas de máquinas virtuales altas;

Problemas del subsistema de disco

En resumen, puede reducir los problemas del sistema de almacenamiento a:

1. Un sistema de almacenamiento está sobrecargado;

• ¿Cuáles son las razones por las que un sistema de almacenamiento puede sobrecargarse? Bueno, los principales son bastante simples, ya sean configuraciones incorrectas (cantidad y tipo de dispositivos/nivel RAID/almacenamiento en caché/etc) o una carga muy alta.
  No hay una solución universal, así que voy a ponerme mi uniforme de Capitán Obvio y enumerar las cosas que probablemente ya sepa:
• Construya su sistema de almacenamiento con respecto al rendimiento, no solo a la capacidad;
  Tenga en cuenta que cuando se vuelve virtual, el tipo de carga también puede cambiar (de consistente a aleatorio);
  TIENE en la tienda utilidades para monitorear el rendimiento del disco del sistema de almacenamiento, debe verlo junto con esxtop;
• (Esxtop: la herramienta de consola de VMware, funciona bien para supervisar el rendimiento del almacenamiento. Inicie sesión en la sesión ssh y comience. Para aquellos de ustedes que tienden a usar resxtop: tendrán que descargar vMA o vSphere CLI para Linux, e iniciar esta herramienta desde allí. Pero para ser justos, la última versión es universal, ya que funciona con ESX y ESXi;
• Además, hay una brillante utilidad vscsiStats;
  Si se pregunta por qué el sistema de almacenamiento funciona tan lento, puede averiguarlo con la carga sintética FIO;
  Tenga en cuenta que ciertas aplicaciones pueden reducir sus gastos generales de disco si les proporciona más memoria.

2. Sistema de almacenamiento lento;
Básicamente, ¡haga todo de la lista anterior!

3. Retrasos del sistema de almacenamiento;
3 soluciones simples:

Acciones;
IOPS de límite;
Umbral de congestión (Control de E / S de almacenamiento).

4. Discos defectuosos;
Compruebe su almacenamiento en disco/ red de forma regular, y si algo falla o se desactualiza, reemplácelo de inmediato. Sin embargo, debe saber que, en algunos casos, especialmente cuando el disco ha fallado, iniciar la comprobación (uso adicional de memoria RAID) puede llevar a otros discos al mismo destino = destruir todo el RAID.

5. Sistema operativo ESXi;
Utilice discos separados para el sistema operativo host ESXi, la partición de intercambio y las máquinas virtuales que residen en almacenes de datos locales. Además, piense en usar RAID para mejorar el rendimiento de lectura y escritura.

6. Instantáneas;
Eliminar cualquier instantánea redundante o no utilizada, eso no es opcional. Ya debe saber que cuantas más instantáneas tenga, mayores serán los gastos generales del disco con la actividad de E/S.

7. Cifrado;
¡Utilice el cifrado de disco solo cuando sea necesario! El cifrado conduce a gastos generales, los gastos generales conducen a una disminución del rendimiento, y no queremos eso, ¿verdad?

(Si está interesado en obtener más información, puede consultarla usted mismo)

Pequeños consejos

Implementación de vRealize Operations Manager para una evaluación más profunda de su entorno

Este vRealize Operations Manager es un producto de VMware diseñado para la supervisión y administración complejas de la infraestructura virtual de VMware vSphere. El proveedor ha prometido una solución de problemas de trabajo integrada. Puedes descargarlo aquí.

Hágase una pregunta: ¿Está VM realmente comportándose de forma extraña?

Una máquina virtual que está sometida a una carga de trabajo pesada a veces puede parecer que está regalando un rendimiento deficiente. Por ejemplo, las instancias virtualizadas de servidores SQL o las consultas SQL mal escritas pueden ralentizar su rendimiento a lo grande. Los servidores de correo con grandes bases de usuarios también pueden ser un pequeño problema en este sentido. Por suerte, los gráficos de supervisión de rendimiento de vSphere Web client le ayudarán a medir la utilización de recursos en un período especificado para que pueda confirmar si el comportamiento problemático se produjo una sola vez o está en curso y para determinar si se espera o no en tales circunstancias. MS SQL y Exchange Server están ocupando cualquier RAM del sistema operativo invitado de la máquina virtual que puedan encontrar, especialmente si se configura la asignación dinámica de memoria.

Analyze I/O Workloads to Determine Storage Performance Requirements

Actualizaciones y versiones más recientes

Las actualizaciones y versiones más recientes suelen solucionar problemas de rendimiento con errores corregidos, controladores mejorados y código. Sin embargo, confía en mí en esto; a veces, el último lanzamiento lo hace aún peor. Así que manténgase alarmado y haga la prueba hasta que esté seguro. O al menos deja que otros lo intenten y trabajen en ello, para que puedas tomar una decisión que fue pensada a fondo.

Software antivirus ESXi

Tiene una mayor probabilidad de toparse con un unicornio, pero, de hecho, hay casos en los que puede encontrar software antivirus que se ejecuta en ESXi (vShield). No es necesario explicar más que tal cosa puede afectar gravemente el rendimiento de la máquina virtual de múltiples maneras si no está configurada correctamente. También debe recordar que no hay razón para ejecutar software antivirus en ESXi debido a su tamaño reducido y a las características de seguridad incorporadas. Sugeriría que sería mucho mejor si el software antimalware se relegara al sistema operativo invitado de la máquina virtual. Si debe instalar AV en ESXi, asegúrese de excluir los archivos de VM, como los VMDK, de las programaciones de escaneo, especialmente durante las horas de máxima utilización.

¿Está habilitada la administración de energía de la CPU?

La administración de energía de la CPU, si está habilitada en servidores ESXi, puede generar latencia de velocidad, que, a su vez, puede ser captada por aplicaciones o cargas de trabajo, lo que resulta en un rendimiento más lento. Si cree que esta es la raíz del problema, debe comprobarlo con la documentación del proveedor sobre la desactivación de la administración de energía de la CPU. En caso de que tenga efecto cero, vuelva a activarlo y realice una comprobación de estado un par de veces (más detalles aquí)

Batería de alimentación para controladores Bios y SCSI

Compruebe una batería de alimentación para el subsistema Bios de su host ESXi, si las especificaciones lo permiten, también para SCSI u otros controladores. La caché SCSI a menudo requiere energía adicional para el trabajo, y la batería de alimentación de la placa controladora generalmente la proporciona. A pesar de que las especificaciones afirman que es un plan de energía de respaldo, he descubierto que la baja tensión de la batería de energía conduce a errores en el trabajo de los controladores, y me las arreglé para arreglarlo solo por reemplazo.

Pocos consejos al final:

• Realice una comprobación de estado de toda la arquitectura física de su sistema de almacenamiento, incluidos los switches iSCSI, los cables ópticos y de red, etc.
• Compruebe los registros de conmutadores para asegurarse de que no haya errores u otros eventos desafortunados que ocurran en el sistema de almacenamiento o en el propio dispositivo.
• Haga ping a su iSCSI desde sus direcciones vmkernel, solo para asegurarse de que la conexión a iSCSI no sea un problema.
• Realice una comprobación de estado de la propia SAN: asegúrese de que no haya discos fallidos, eventos de conmutación por error de controlador de almacenamiento o cualquier otro error que pueda afectar el rendimiento.
• Compruebe el espacio libre en disco en cada LUN conectado a sus hosts ESXi.

Conclusiones

Lo sé, la solución de problemas de VMware vSphere ESXi puede dar un poco de miedo. Sin embargo, con documentación precisa, una buena comprensión de su infraestructura y algunas herramientas integradas eficientes, puede solucionar cualquier problema que afecte a sus máquinas virtuales. Solo deténgase un momento y piense dónde exactamente y qué problema tiene, y luego averigüe qué parte del sistema está causando problemas. Espero que las utilidades, ESXTOP de línea de comandos, esxcli y, por último, pero no menos importante, vRealize Operations Manager puedan ayudarlo si alguna vez surge la necesidad. Además, no dude en pedir ayuda al soporte técnico de VMware o del proveedor. Muy a menudo, pueden ayudarte a arreglarlo increíblemente rápido.