Tipps und Tricks zur Fehlerbehebung bei schlechter vSphere-Leistung

Einführung

Wie jeder andere Administrator wissen Sie, dass die VMs irgendwann unter Störungen, Leistungsproblemen oder einfach nicht mehr reagieren. Das ist leider eine Tatsache des Lebens. Die Chancen stehen gut, dass Sie als Virtualisierungsingenieur diese Probleme wahrscheinlich bereits mindestens einmal getroffen haben. Und da die virtualisierte Umgebung ein ziemlich kompliziertes System ist, kann es zu viele verschiedene Gründe oder Faktoren geben, die sich auf eine schlechte VM-Leistung auswirken. Der Versuch herauszufinden, was falsch ist, kann viel Zeit in Anspruch nehmen.

Heute versuchen wir gemeinsam herauszufinden, was dazu führen kann, dass Ihre VMware-Infrastruktur eine schlechte Leistung liefert, und Wege zu finden, dies zu vermeiden.

Also, was Sie für die richtige Fehlerbehebung benötigen?

Zunächst einmal Aufzeichnungen. Datensätze sind der Heilige Gral bei der Lösung von vSphere-Umgebungsproblemen. Ich weiß, ich weiß. Natürlich vertrauen Sie Ihrem Gedächtnis zu 100%, und natürlich werden Sie sich an alles erinnern, was Sie wissen müssen, wie Anmeldeinformationen für die Anmeldung oder andere notwendige Informationen. Dennoch ist das Letzte, was passieren soll, wenn Ihr Server plötzlich ausfällt oder Ihre ESXi-Hosts überlastet sind, der nervöse Versuch, sich Kennwörter zu merken, nur um einen Host oder vSphere vCenter einzugeben.

Außerdem kann jede vorhandene Dokumentation, z. B. vSphere-Clusterschemata, eine große Hilfe sein. Wenn Sie nicht wirklich wissen, wie das gesamte System konfiguriert ist, werden Sie dadurch erheblich verlangsamt. Natürlich liebt es niemand auf der Welt, Aufzeichnungen zu führen, aber glauben Sie, wenn es nötig ist, werden Sie dankbar sein, dass Sie leicht zugängliche Informationen haben. Werfen wir nun einen Blick darauf, woraus diese Informationen bestehen sollten:

ESXi-Hosts:

• Host namen/IP adressen
• ESXi host version und patch level
• Root passwort (halten es in gesicherten lage)
• Aufgezeichnet IP adressen für lagerung und interface
• Host hardware beschreibung
• Lagerung konfiguration (iSCSI, etc)
• Netzwerk adapter (vendor, fahrer version, etc)

Speicher-Switches:

• Verwendete IP-Adressen
• Firmware-Version
• Anmeldeinformationen (an einem sicheren Ort aufbewahren)
• Vlan-Einstellungen

Speicherarray:

• IP-Adresse des SAN-Verwaltungsports
• Firmware-Ebene
• LUN-Konfiguration, RAID-Ebene, Anzahl der Laufwerke, Größen, Laufwerksfirmware
• Anmeldungen und Kennwörter für die SAN-Array-Verwaltungsschnittstelle
• Herstellerspezifische SAN-Verwaltungstools (spezifische Dienstprogramme)

Wie Sie wahrscheinlich inzwischen feststellen können, ist es umso besser, je mehr Dokumentation vorhanden ist. Leider neigen viele Administratoren dazu, diese Regel zu ignorieren. Außerdem wird Ihre Dokumentation nicht viel nützen, wenn sie veraltet ist, also muss sie mit den Änderungen Schritt halten.

Womit soll ich anfangen?

1. Studieren Sie sorgfältig die Best Performance Practices von VMware

Dieses Material ist seit zwei Jahren von entscheidender Bedeutung. Am Anfang gibt es ein Fehlerbehebungsschema. Die möglichen Probleme werden nach ihrer Relevanz (VMware Tools, CPU usw.) und ihrer Reichweite (von 100% Auswirkung auf die Leistung bis zu einem Minimum) sortiert. Wenn Sie es verwenden, kann es Ihnen sehr helfen, Ihre Infrastruktur zu verbessern.

2. VMware-Tools?

Stellen Sie sicher, dass VMware Tools auf jeder einzelnen Ihrer VMs installiert, aktualisiert und ausgeführt wird. Grundsätzlich VMware Tools-Paket ist eine Suite von virtuellen Gerätetreibern, die die Leistung der virtuellen Maschine beeinflussen (in der Regel zum Besseren, natürlich).

Überprüfen Sie die VMware Tools-Installation.

• Wählen Sie einen Host in vSphere Web Client aus;
• Wechseln Sie zur Registerkarte Virtuelle Maschinen;
• Fügen Sie die Spalte “VMware Tools Status” hinzu;
• Überprüfen Sie den Status. Wenn OK angezeigt wird, suchen Sie nach einem nächsten Weg, um die Leistung zu verbessern.
• Nicht ausgeführt/veraltet – Installieren Sie VMware Tools.

Wenn VMware Tools nicht gestartet wird, müssen Sie das Gastbetriebssystem reparieren, da dies das Problem sein könnte. Es ist entweder die Aktualisierung des Linux-Kernels oder jemand hat aus irgendeinem Grund VMware Tools in Windows deaktiviert.

Wenn Ihre aktuelle VMware Tools-Version veraltet ist, müssen Sie über das Kontextmenü des vSphere Web Client ein Upgrade durchführen. Normalerweise wird dies nach der Installation der neuesten Updates auf ESX / ESXi-Hosts der Fall. Wenn Sie damit fertig sind, vergessen Sie nicht, auch VMware Tools auf dem neuesten Stand zu halten. Insgesamt können Sie mit vSphere Web Client Ihre VMware Tools problemlos überprüfen, wie das folgende Schema vorschlägt:

Die vmtools-Statusanzeige für VMs.
Sie können vmtools hinzufügen, indem Sie mit der rechten Maustaste auf den Titel klicken und ihn entsprechend auswählen.

Sie können jedoch auch das PowerCLI-Szenario anwenden, das das Vorhandensein des vmtools-Pakets und seinen aktuellen Status überprüft. Der Großteil der Eigenschaften von vmtools befindet sich unter <vm> .Gast.extensiondata.

VMware PowerCLI für ESXi und vSphere

PowerCLI für VMware vSphere ist ein unglaublich leistungsfähiges Tool, basierend auf Microsoft PowerShell / PowerCLI ermöglicht es Ihnen, 98% der manuellen Aufgaben für die Verwaltung der virtuellen Infrastruktur über die Befehlszeile auszuführen. Als Tool ermöglicht PowerCLI die Zentralisierung der ESXi- und vCenter Server-Betriebsverwaltung in der Befehlszeile. Dank dieses wunderbaren Dienstprogramms können Sie Szenarien erstellen, den Status von VMs, Speicher, Netzwerken und Benutzerkonten überwachen und, als Sahnehäubchen, einen Großteil der Betriebsprozesse automatisieren. Sie können PowerCLI auf Computern mit Microsoft Windows 7 / Windows Server 2008 R2 und höher installieren, aber was noch interessanter ist, es gibt mehrere Versionen für verschiedene Linux-Kits.

PowerCLI besteht aus mehr als 1900 Cmdlets für die Verwaltung von Cloud- und virtuellen VMware-Infrastrukturen (vSphere, vSAN, vRealize Operations Manager, vCloud Director, Site Recovery Manager, Horizon 7 und vCloud Air). Beim Ausführen des Cmdlets adressieren Sie die API auf dem ausgewählten ESXi-Host oder vCenter Server. Gute Nachrichten: Sie können den neuesten Patch von VMware PowerCLI von der offiziellen VMware-Website herunterladen (ja, dafür benötigen Sie natürlich ein Konto). Um mit der PowerCLI-Konsole fortzufahren, starten Sie einfach VMware vSphere PowerCLI shortcut als Administrator.

Grundlegende Probleme

1. Mangel an Ressourcen für die VM

Ich weiß, ich weiß zugegebenermaßen, dass genügend Ressourcen für die VM vorhanden sind, um effizient zu arbeiten. Sie wären jedoch schockiert, wie vielen VMs nicht genügend Ressourcen entsprechend den Anforderungen des Gastbetriebssystems und den darunter ausgeführten Anwendungen zugewiesen sind. Ich meine, Sie sollten es wie Ihre Westentasche wissen, dass Virtualisierung trotz unzähliger Vorteile, die sie mit sich bringt, immer mit Gemeinkosten zu kämpfen hat. Wie, was wird VM tun, wenn es aus dem RAM läuft? Natürlich wird Ihr Computer viel häufiger auf die Festplatte wechseln. Wenn der zugrunde liegende Speicher voll ist, wird die Leistung einen großen Schlag erleiden. Verwenden Sie daher, wann immer Sie die Möglichkeit dazu haben, Reservierungen, Ressourcenpools, DRS und alles, was Sie können, um sicherzustellen, dass die richtige Menge an Ressourcen einer VM zugewiesen wird, um eine maximale betriebliche Effizienz zu erzielen.

2. Leistungsüberwachung

Grundsätzlich ist die Leistungsüberwachung eine in vSphere-Clients eingebettete Funktion. Dieses hier ist eines dieser notwendigen Tools, mit denen Sie leistungsbezogene Probleme untersuchen können. Es ist so gut, weil es Ihnen ermöglicht, Alarme zu verwenden, wo immer dies möglich ist, sodass Sie jedem Leistungsproblem immer einen Schritt voraus sind.

Beachten Sie jedoch, dass Sie während der Arbeit auf dem lokalen ESXi-Host nur die Registerkarte Leistung erreichen können. Wenn Sie weitere Informationen wünschen, verwenden Sie VMware® vSphere vCenter. SUPER WICHTIG. Leistung und erweiterte Leistung sind mehr als effektive und informative Diagnosewerkzeuge. Wenn Sie es richtig verwenden, werden Sie keine Probleme haben, die Schwäche Ihres Systems zu finden.

Nehmen wir als Beispiel die CPU-Sättigung des Ressourcenpools. Um Details nachzuschlagen:

• Wählen Sie Ressourcenpool und wechseln Sie zu Leistung. Schalten Sie es dann auf Erweitert um und wählen Sie CPU object;
• Evaluate current saturation in MHz (Usage);
• Compare the value of resource pool limitation and the current saturation. Wenn es nahe am Limit liegt, besteht die Möglichkeit, dass Ihnen Ressourcen fehlen, und Sie müssen lediglich den CPU-Bereitschaftswert der separaten VMs in diesem Pool neu bewerten;

CPU Bereit überprüfung:

• Für CPU bereit. wählen Sie eine VM aus, wechseln Sie zur Leistung, wählen Sie dann den erweiterten Modus und wechseln Sie zur Überprüfung der “CPU” (wenn Sie die Leistung der jeweiligen VM beheben möchten, beginnen Sie mit dieser);
• Evaluieren Sie Bereit für alle VM- “Objekte”. “Objekt” ist ein separater virtueller Prozessor der VM. Sie müssen die Eigenschaften der “Diagrammoptionen …” ändern, um es sich vorzustellen;
• Sagen Sie mir, überschreitet der minimale oder durchschnittliche Bereitschaftswert für einen virtuellen Prozessor 2000 ms? Wenn ja, wann, ist jetzt alles klar. Aufgrund des für Ihren Ressourcenpool festgelegten Limits fehlen Ihnen einfach Prozessorressourcen;
• Machen Sie jetzt dasselbe für den Rest der VMs in diesem Pool.

Überprüfung der Host-CPU-Sättigung:

• Wählen Sie den Host aus, wechseln Sie zur Leistung, wechseln Sie in den erweiterten Modus und wählen Sie ein “CPU” -Objekt.
• Bewerten Sie die Stromsättigung in MHz (Nutzung);
• Überschreitet es 75% oder liegt die Spitze bei 90%? Wenn ja, dann fehlen Ihnen vielleicht Host-Prozessor-Ressourcen. Überprüfen Sie, ob die CPU für die VM auf diesem Host bereit ist, wie unten beschrieben. Wenn eine durchschnittliche Sättigung des Zentralprozessors 75% nicht überschreitet, sollten Sie sich den nächsten ansehen!

Überprüfung der CPU-Bereitschaft:

• Wenn Sie die Leistung der jeweiligen VM beheben möchten, beginnen Sie mit dieser. Andernfalls wählen Sie einen Host aus, wechseln Sie zu virtuellen Maschinen, sortieren Sie die Liste wie in Host CPU — MHz (Spalte zu Spalte) und sehen Sie sich eine oder zwei VMs am Anfang der Liste an.
• Um die CPU-Bereitschaft zu messen, wählen Sie eine VM aus, wechseln Sie zur Leistung, wechseln Sie in den erweiterten Modus und wechseln Sie dann zur Überprüfung der “CPU” (Wenn Sie die Leistung der jeweiligen VM überprüfen möchten, beginnen Sie mit dieser);
• Evaluieren Sie die Bereitschaft für alle VM- “Objekte”. “Objekt” ist ein separater virtueller Prozessor der VM. Sie müssen die Eigenschaften der “Diagrammoptionen …” ändern, um es sich vorzustellen;
• Überschreitet der minimale oder durchschnittliche Bereitschaftswert für einen virtuellen Prozessor 2000 ms? Wenn ja, fehlen Ihnen Host-Prozessor-Ressourcen.

Potenziell problematische Parameter, die überprüft werden müssen:

• Gast CPU Sättigung Überprüfung;
• Aktive VM Speicher Swapping Überprüfung;
• VM Swap Warten Überprüfung;
• VM Speicher Kompression Überprüfung;
• Überlastet Lagerung Gerät Überprüfung;
• Dropped Empfangen Pakete Überprüfung;
• Dropped Übertragen Pakete Überprüfung;
• Eine vCPU in eine SMP VM Überprüfung;
• VM CPU Bereit in die host mit durchschnitt last Überprüfung;
• Langsam oder überlastet Lagerung System Überprüfung;
• Top Lagerung System Last Überprüfung;
• Peak netzwerk Daten übertragung Überprüfung;
• Niedrige VM prozessor Sättigung Überprüfung;
• Vergangenheit VM Speicher Swapping Überprüfung;
• Hohe Ressource Pool speicher nachfrage Überprüfung;
• Hohe Host speicher nachfrage Überprüfung;
• Überprüfung des hohen Gastspeicherbedarfs;
• Überprüfung der hohen Timer-Interrupt-Raten;
• Überprüfung der NUMA-Einstellungen;
• Überprüfung der Reaktionszeit von VM-Snapshots;

Festplattensubsystemprobleme

Kurz gesagt, Sie können Speichersystemprobleme eingrenzen auf:

1. Ein Speichersystem ist überlastet;

• Was sind die Gründe, warum ein Speichersystem überlastet werden kann? Nun, die primären sind recht einfach, ob es sich um falsche Konfigurationen (Anzahl und Art der Geräte / RAID-Level / Caching / usw.) oder um eine sehr hohe Last handelt.
  Es gibt keine universelle Lösung, also werde ich nur meine Captain Obvious Uniform anziehen und Dinge auflisten, die Sie wahrscheinlich bereits wissen:
• Bauen Sie Ihr Speichersystem mit der Leistung, nicht nur Kapazität;
  Berücksichtigen Sie, dass, wenn Sie virtuell gehen, der Lasttyp auch wechseln kann (von konsistent zu zufällig);
  Haben Sie Dienstprogramme im Speicher, um die Leistung der Speichersystemfestplatte zu überwachen, müssen Sie es zusammen mit esxtop beobachten;
• ( Esxtop – das VMware-Konsolentool funktioniert gut zur Überwachung der Speicherleistung. Melden Sie sich bei der SSH-Sitzung an und starten Sie. Für diejenigen unter Ihnen, die resxtop verwenden: Sie müssen vMA oder vSphere CLI für Linux herunterladen und dieses Tool von dort aus starten. Aber um fair zu sein, die letzte Version ist universell, denn sie funktioniert sowohl mit ESX als auch mit ESXi;
• Außerdem gibt es ein brillantes Dienstprogramm vscsiStats;
  Wenn Sie sich fragen, warum das Speichersystem so langsam arbeitet, können Sie es mit der FIO-synthetischen Last herausfinden;
  Denken Sie daran, dass bestimmte Anwendungen ihren Festplattenaufwand senken können, wenn Sie ihnen mehr Speicher zur Verfügung stellen.

2. Langsames Speichersystem;
Machen Sie im Grunde alles aus der obigen Liste!

3. Lagerung system verzögerungen;
3 einfache lösungen:

Aktien;
Grenze IOPS;
Staus Schwelle (Lagerung IO Control).

4. Fehlerhafte Festplatten;
Überprüfen Sie regelmäßig Ihren Festplatten- / Netzwerkspeicher, und wenn etwas fehlschlägt oder veraltet ist, ersetzen Sie es sofort. Sie sollten jedoch wissen, dass in einigen Fällen, insbesondere wenn die Festplatte ausgefallen ist, das Starten der Überprüfung (zusätzliche Verwendung des RAID-Speichers) andere Festplatten in das gleiche Schicksal führen kann = das gesamte RAID zum Scheitern verurteilt.

5. ESXi-Betriebssystem;
Verwenden Sie separate Festplatten für das ESXi-Hostbetriebssystem, die Swap-Partition und VMs, die sich auf einem lokalen Datenspeicher befinden. Denken Sie auch über die Verwendung von RAID nach, um die Lese- und Schreibleistung zu verbessern.

6. Snapshots;
Löscht alle nicht verwendeten oder redundanten Snapshots, das ist nicht optional. Sie müssen inzwischen wissen, dass je mehr Snapshots Sie haben, desto größer der Festplattenaufwand für die E / A-Aktivität ist.

7. Verschlüsselung;
Festplattenverschlüsselung nur bei Bedarf verwenden! Verschlüsselung führt zu Gemeinkosten, Gemeinkosten führen zu Leistungseinbußen, und das wollen wir nicht, oder?

(Wenn Sie an weiteren Informationen interessiert sind, können Sie diese gerne selbst nachschlagen)

Kleine Tipps

Bereitstellen von vRealize Operations Manager für eine tiefergehende Bewertung Ihrer Umgebung

Dieser vRealize Operations Manager ist ein VMware-Produkt, das für die komplexe Überwachung und Verwaltung der virtuellen VMware vSphere-Infrastruktur entwickelt wurde. Der Anbieter hat eine integrierte funktionierende Fehlerbehebung versprochen. Sie können es hier herunterladen.

Stellen Sie sich eine Frage: Verhält sich VM wirklich seltsam?

Eine VM, die einer hohen Arbeitslast ausgesetzt ist, kann manchmal so aussehen, als würde sie eine schlechte Leistung abgeben. Beispielsweise können virtualisierte Instanzen von SQL-Servern oder schlecht geschriebene SQL-Abfragen Ihre Leistung erheblich verlangsamen! Die Mailserver mit großen Benutzerbasen können auch in dieser Hinsicht ein Problem darstellen. Glücklicherweise können Sie mithilfe der Leistungsüberwachungsdiagramme in vSphere Web Client die Ressourcenauslastung innerhalb eines bestimmten Zeitraums messen, um zu bestätigen, ob das problematische Verhalten einmalig oder fortlaufend war, und um festzustellen, ob es unter solchen Umständen erwartet wird oder nicht. MS SQL und Exchange Server beanspruchen den Arbeitsspeicher des Gastbetriebssystems der VM, den sie finden können, insbesondere wenn die dynamische Speicherzuweisung konfiguriert ist.

Analyze I/O Workloads to Determine Storage Performance Requirements

Neueste Updates und neueste Versionen

Updates und neueste Versionen beheben häufig Leistungsprobleme mit behobenen Fehlern, verbesserten Treibern und Code. Dennoch, vertrauen Sie mir auf diesem; manchmal, die neueste Version macht es noch schlimmer! Bleiben Sie also alarmiert und testen Sie, bis Sie sicher sind. Oder lassen Sie zumindest andere versuchen, daran zu arbeiten, damit Sie eine durchdachte Entscheidung treffen können.

Antivirus-Software ESXi

Sie haben eine größere Chance, in ein Einhorn zu stoßen, aber es gibt Fälle, in der Tat, wenn Sie Antiviren-Software auf ESXi (vShield) läuft finden. Sie müssen nicht weiter erklären, dass so etwas die VM-Leistung auf verschiedene Arten stark beeinträchtigen kann, wenn es nicht richtig konfiguriert ist. Sie müssen auch bedenken, dass es aufgrund der geringen Stellfläche und der integrierten Sicherheitsfunktionen keinen Grund gibt, Antivirensoftware auf ESXi auszuführen. Ich würde vorschlagen, dass es viel besser wäre, wenn Anti-Malware-Software auf das Gastbetriebssystem der VM verwiesen würde. Wenn Sie AV auf ESXi installieren müssen, achten Sie darauf, VM-Dateien wie VMDKs von Scanplänen auszuschließen, insbesondere während der Spitzenzeiten.

Ist die CPU-Energieverwaltung aktiviert?

Die CPU-Energieverwaltung kann, wenn sie auf ESXi-Servern aktiviert ist, zu einer Geschwindigkeitslatenz führen, die wiederum von Anwendungen oder Workloads aufgenommen werden kann, was zu einer langsameren Leistung führt. Wenn Sie der Meinung sind, dass dies die Ursache des Problems ist, müssen Sie dies in der Herstellerdokumentation zum Deaktivieren der CPU-Energieverwaltung überprüfen. Falls dies keine Auswirkungen hat, aktivieren Sie es erneut und führen Sie einige Male einen Gesundheitscheck durch (weitere Details hier)

Power Battery für Bios- und SCSI-Controller

Überprüfen Sie eine Power Battery für das BIOS-Subsystem Ihres ESXi-Hosts, falls die Spezifikationen dies zulassen, auch für SCSI oder die anderen Controller. SCSI-Cache erfordert oft zusätzliche Energie für die Arbeit, und die Power-Batterie auf der Controller-Platine bietet es in der Regel. Obwohl die Spezifikationen behaupten, dass es sich um einen Backup-Stromversorgungsplan handelt, habe ich herausgefunden, dass die Unterspannung der Batterie zu Fehlern bei der Arbeit der Controller führt, und ich habe es geschafft, sie nur durch Austausch zu beheben.

Am Ende ein paar Ratschläge:

• Führen Sie eine Integritätsprüfung aller physischen Architekturen für Ihr Speichersystem durch, einschließlich iSCSI-Switches, Netzwerk- und optischen Kabeln usw.
• Überprüfen Sie die Speicherprotokolle, um sicherzustellen, dass keine Fehler oder andere unglückliche Ereignisse mit dem Speichersystem oder dem Gerät selbst auftreten.
• Pingen Sie Ihre iSCSI von Ihren vmkernel-Adressen aus an, um sicherzustellen, dass die Verbindung zu iSCSI kein Problem darstellt.
• Führen Sie eine Integritätsprüfung für SAN selbst durch – stellen Sie sicher, dass keine ausgefallenen Festplatten, Speichercontroller-Failover-Ereignisse oder andere Fehler vorliegen, die die Leistung beeinträchtigen können.
• Überprüfen Sie den freien Speicherplatz auf jeder LUN, die mit Ihren ESXi-Hosts verbunden ist.

Ich weiß, die Fehlerbehebung bei VMware vSphere ESXi kann ein wenig beängstigend aussehen. Mit einer genauen Dokumentation, einem guten Verständnis Ihrer Infrastruktur und einigen effizienten integrierten Tools können Sie jedoch alle Probleme beheben, die Ihre VMs stören. Halten Sie einfach einen Moment inne und überlegen Sie, wo genau und welches Problem Sie haben, und finden Sie dann heraus, welcher Teil des Systems Probleme verursacht. Ich hoffe, dass Dienstprogramme, Befehlszeilen-ESXTOP, esxcli und nicht zuletzt vRealize Operations Manager Ihnen bei Bedarf helfen können. Zögern Sie auch nicht, den technischen Support von VMware oder des Anbieters um Hilfe zu bitten. Sehr oft können sie Ihnen helfen, es erstaunlich schnell zu beheben.