QLC-SSDs liefern 175 GB/s im 2U-Speicherserver | Guizhou SSD Solid State Drive Co., Ltd

Vor fast zwei Jahren haben wir eine Überprüfung eines Speicherservers von Viking Enterprise Solutions (VES) mit 24 NVMe-Schächten und zwei Rechenknoten in einem 2U-Gehäuse abgeschlossen. VES ist ein großer OEM, der einige der innovativsten Speicherserversysteme auf dem Markt entwickelt. Kürzlich hatten wir die Gelegenheit, eine Version ihres Speicherservers auszuprobieren, die für NVMe-Laufwerke mit einem Port optimiert ist. Natürlich haben wir 24 QLC-SSDs vom Typ Solidigm P5316 mit 30,72 TB genommen, sie in den Server gesteckt und einen Blick darauf geworfen, was fast 750 TB RAW-Flash leisten können.

Über die OEM-Arbeit hinaus verkauft VES auch an eine Vielzahl von HPC- und Hyperscale-Kunden. Dies ist eine wichtige Überlegung, denn wenn wir die Leistung von Speicherservern außerhalb des traditionellen Unternehmensbereichs betrachten, ist die Art und Weise, wie Unternehmen mit großen Datenmengen Speicher konfigurieren, anders.

Viele der Workloads, auf die diese Server abzielen, sind unserer Meinung nach moderne Analyse- und KI-Anwendungen, bei denen die Leistung entscheidend ist und die Datenverfügbarkeit etwas weniger wichtig ist. Daher sehen diese Konfigurationen nicht wie ein herkömmliches SAN aus, bei dem Datendienste und Ausfallsicherheit im Vordergrund stehen. In diesem Beispiel konfigurieren wir den VES-Speicherserver für eine optimale Leistung, anstatt E/A-Karten hinzuzufügen und den Server als gemeinsam genutzten Speicher zu nutzen.

Diese Konfigurationsnuance ist wichtig. Wir liefern 12 der P5316-SSDs an jeden AMD EPYC-Rechenknoten auf der Rückseite des Systems. Diese Knoten adressieren den Speicher in JBOD und gehen von Ausfallsicherheit auf Anwendungsebene für die Datenverfügbarkeit aus. Obwohl wir für diesen Bericht keine GPUs genutzt haben, ist es durchaus sinnvoll, diese Knoten mit etwas wie einer NVIDIA A2 für Analyse- oder Inferenz-Workloads zu konfigurieren.

Bevor wir uns jedoch zu sehr mit der Server- und Speicherkonfiguration befassen, werfen wir einen Blick auf die wichtigsten Hardwarekomponenten, die Teil dieser Arbeit sind.

Für diese Arbeit haben wir uns an VES gewandt, um einen leistungsstarken Server zu finden, der das Beste aus den 24 Solidigm P5316 30,72 TB SSDs an der Vorderseite herausholen kann. Das ist keine triviale Angelegenheit; Die Single-Port-Laufwerke erzielen die beste Leistung in einer Lösung, die vier PCIe v4-Lanes von einem der AMD-Serverknoten zu jedem Laufwerk bereitstellen kann. Der direkte Zugriff bietet die höchste Leistung von jeder SSD, im Gegensatz zum Fluss über einen internen Expander, der die Bandbreite begrenzen kann. Darüber hinaus ist dieses System für Single-Port-SSDs wie Solidigm P5316 konzipiert, im Vergleich zum Test des vorherigen Viking Enterprise Servers, der für Dual-Port-SSDs konzipiert war.

Der Viking Enterprise Solutions VSS2249P ist ein 2U-Dual-Node-Speicherserver mit 24 Einschüben für Einzelport-U.2-PCIe-v4-Laufwerke. Genauer gesagt unterstützt jeder Serverknoten (oder jedes Modul) 12 Hot-Plug-fähige NVMe 2,5-Zoll-U.2-SSDs (SFF-8639) mit einem Port über x4 PCIe Gen4-Lanes, was diesen Server zu einem leistungsorientierten Server macht. Dies macht es ideal für Anwendungsfälle, bei denen I/O-Engpässe ein Problem darstellen können, wie z. B. Edge-Computing-Speicher, Analysen, maschinelles Lernen, KI, OLTP-Datenbanken, Hochfrequenzhandel sowie Modellierung, Simulation, wissenschaftliche Forschung usw andere Hochleistungsanwendungsfälle.

VES ist ein führendes Speicher- und Serverentwicklungsunternehmen, das sich auf die Entwicklung groß angelegter Lösungen für Hochleistungs- und Cloud-Computing-Unternehmens-OEM-Kunden spezialisiert hat. Aufgrund ihres breiten Kundenportfolios verfügen sie über umfassende Erfahrung in der Nutzung neuer Technologien bei der Entwicklung ihrer Lösungen, die ihren Kunden einen Wettbewerbsvorteil verschaffen können. Ähnliches erwarten wir auch beim VSS2249P.

Wir hatten diesen Server schon einmal in unserem Labor, aber dieses Mal haben wir ihn mit 30,72 TB Solidigm D5-P5316 PCIe Gen4 NVMe SSDs bestückt, was fast einem dreiviertel Petabyte für die Speicherung über das 15-mm-U.2-Format entspricht Faktor. Dies ermöglicht Kunden (insbesondere im Hyperscale-Bereich) groß angelegte Bereitstellungen. Die D5-P5316-Laufwerke verfügen außerdem über 144-Layer-QLC-NAND, was die Kosten senkt und gleichzeitig Modelle mit hoher Kapazität und solider Leistung beibehält.

Die D5-P5316 soll bis zu 7 GB/s beim sequentiellen Lesen liefern, während die 30,72-TB-Modelle mit 3,6 GB/s etwas mehr Geschwindigkeit beim Schreiben bieten. Bei zufälligen 4K-Lesevorgängen gibt Solidigm für alle Modelle eine Leistung von 800.000 IOPS für das neue Laufwerk an. Das Laufwerk verfügt außerdem über eine DWPD-Bewertung (Drive Writes Per Day) von 0,41, eine 5-Jahres-Garantie und eine Reihe erweiterter Sicherheitsfunktionen, darunter AES-256-Hardwareverschlüsselung, NVMe-Bereinigung und Firmware-Messung.

Diese Laufwerke sind ideal für Umgebungen, die die Speicherung innerhalb von Rechenzentrums-Workloads wie Content Delivery Networks (CDN), Hyper-Converged Infrastructure (HCI) und Big Data optimieren und beschleunigen müssen.

Insgesamt haben wir festgestellt, dass Solidigm ein Laufwerk geschaffen hat, das ein hervorragendes Gleichgewicht zwischen Kapazität, Leistung und Kosten findet – was perfekt für den VSS2249P ist.

Die beiden Servermodule im VSS2249P-Gehäuse sind Hot-Swap-fähig und mit einer AMD EPYC Rome-CPU, zwei x16 PCIe Gen4-Steckplätzen und einem OCPNIC v3.0, das Gen 4 PCIe-Zusatzkarten unterstützt, sowie bis zu 8 DIMMs ausgestattet. Mit Abmessungen von 3,43 Zoll (H) x 17,2 Zoll (B) x 27,44 Zoll (T) ist der VSS2249P auch so spezifiziert, dass er gut in ein branchenübliches 19-Zoll-Rack mit einer Länge von 1,0 Metern passt, sodass er in einem 1,0-Meter-Rack eingesetzt werden kann Vielzahl von Anwendungen.

Jeder Knoten in unserer Konfiguration umfasst eine AMD EPYC 7402P-CPU mit 24 Kernen, einem Basistakt von 2,8 GHz (maximaler Boost von 3,35 GHz), 48 Threads und 128 MB L3-Cache. Es ist außerdem mit 64 GB DDR4-RAM (8 x 8 GB) und einer 250 GB M.2-Boot-SSD ausgestattet.

Der VSS2249P ist als kabelloses System konzipiert. Die Laufwerksebene bietet beispielsweise Konnektivität für Strom, Daten und Verwaltung sowie die Netzteile. Die Systemlüfter sind ebenfalls Teil der Serverschlittenbaugruppe (über die Lüfterplatine mit der Laufwerksebene verbunden) und werden von der Laufwerksebene mit Strom versorgt und gesteuert. Für einen einfachen Zugang werden die Lüfter über die obere Abdeckung entnommen. Alle SSDs werden direkt an die Mittelplatine angeschlossen. Dies ermöglicht eine reibungslose Wartung des VSS2249P, während das Fehlen von Kabeln für eine bessere Luftzirkulation und somit kühlere Serverknoten sorgt.

Während die meisten von uns QLC-Flash als leistungsschwächere Alternative zu TLC-SSDs betrachten, ist dies nur die eine Seite der Gleichung. Die Leistung beim zufälligen Schreiben kleinerer Blöcke kann aufgrund von Architekturentscheidungen wie grober Indirektion geringer sein, aber die Leistung beim sequentiellen Schreiben und beim zufälligen Schreiben großer Blöcke ist sehr konkurrenzfähig und kommt der TLC-DC-SSD der Einstiegsklasse sehr nahe.

Mit dem TLC-basierten Flash auf dem Markt sind die Schreibgeschwindigkeiten geringer, aber die Leseleistung ist immer noch hochleistungsfähig, wenn nicht sogar völlig konkurrenzfähig. Unser Fokus in diesem Test lag auf der Nutzung von 24 Solidigm P5316 30,72 TB SSDs in einem 2-Knoten-Server, um zu zeigen, wie weit wir sie mit viel Rechenleistung im Hintergrund bringen können.

Als wir uns das letzte Mal ein ähnliches Viking Enterprise Solutions-System angesehen haben, war es für die gemeinsame Nutzung von 24 SSDs auf zwei Knoten ausgelegt, wobei jeder Knoten über mehrere Pfade auf jede SSD zugreifen konnte. Der VSS2249P verwendet ähnliche Knoten im Backend, allerdings sind 12 SSDs direkt mit einem Knoten verbunden, die restlichen 12 mit dem anderen. Dadurch verfügt jede SSD über volle 4 Kanäle an PCIe-Gen4-Lanes zurück zu dem Knoten, mit dem sie verbunden ist.

Wir haben Ubuntu 20.04 auf jedem Server installiert und FIO genutzt, um alle 24 Solidigm P5316 SSDs gleichzeitig auszulasten. Jede SSD wurde mit einer sequentiellen Befüllung vollständig gefüllt und dann partitioniert, um den Workload-Footprint auf 5 % der Laufwerksoberfläche zu konzentrieren. Wir haben uns auf QLC-optimierte Blockgrößen konzentriert, die sich mit herkömmlichen Flash-Medien überschneiden. Der Hauptunterschied besteht in der Minimierung der Schreibaktivität bei weniger als 64 KB, was zu einem Problem bei der Schreibindirektion von QLC-Flash führt. Vor diesem Hintergrund waren die von uns gemessenen Arbeitsbelastungen wie folgt:

In unserem ersten Test mit einer sequentiellen Übertragungsgröße von 1 MB haben wir eine unglaubliche Bandbreite von 175,5 GB/s auf 24 der P5316-SSDs gemessen. Dies ergab am Frontend etwas mehr als 7,3 GB/s pro SSD. Bei einer sequentiellen Schreiblast von 1 Mio. beträgt diese Menge 56,1 GB/s oder 2,34 GB/s pro SSD.

Durch die Reduzierung der Blockgröße auf eine Arbeitslast von 64 KB boten die Solidigm P5316 SSDs eine Bandbreite von 159 GB/s oder über 6,62 GB/s pro SSD. Die Schreiblast betrug 57,7 GB/s bzw. 2,40 GB/s pro SSD.

Da nicht alle Arbeitslasten sequenziell sind, sind wir zu einem anspruchsvolleren 64K-Zufallsarbeitssatz übergegangen, was die QLC-SSDs in eine ihrer stressigsten Situationen brachte. Der Leseverkehr verzeichnete mit wahnsinnigen 176,3 GB/s an Datenverkehr die höchste Bandbreite. Beim Wechsel vom Lesen zum Schreiben waren hier jedoch die P5316-SSDs mit 13,2 GB/s bzw. 550 MB/s pro Laufwerk am stärksten belastet. Dies stimmt mit den Angaben im Datenblatt für diese Arbeitslast überein, zeigt jedoch, wo diese SSDs an ihre Grenzen stoßen.

Da wir wussten, dass 64K-Zufallslesen die höchste Laufwerksleistung und Schreiben die niedrigste bot, haben wir uns eine gemischte Workload-Kombination angesehen, um zu sehen, wie diese Laufwerke variieren, wenn sich das Lese-/Schreibgleichgewicht verschiebt. Bei einer zufälligen Leseauslastung von 70 % bei 64 KB erreichte die Laufwerksgruppe 44 GB/s. Als wir dies jedoch weiter auf 90 % Lesegeschwindigkeit optimierten, stieg die Bandbreite auf 130,7 GB/s. Dies treibt den Punkt weiter voran, dass QLC-SSDs, die in den richtigen Situationen eingesetzt werden, leistungsstarke Laufwerke sein können, obwohl sie nicht dafür ausgelegt sind, TLC-SSDs in allen Situationen zu ersetzen.

Zum Abschluss des Tests haben wir uns einen Spitzendurchsatztest angesehen, der sich auf die 4K-Zufallsleseleistung konzentriert. Der 4K-Schreibvorgang wurde übersprungen, da diese Laufwerke eine grobe Indirektionseinheit von 64 KB verwenden und bei 4K nicht die höchste Leistung bieten. Beim 4K-Zufallslesen haben wir fast 87 GB/s 4K-Verkehr oder 21,2 Millionen IOPS gemessen. Das ist eine beeindruckende Zahl, die eng mit den TLC-SSD-Angeboten auf dem Markt übereinstimmt.

Wir haben in der Vergangenheit umfangreiche Arbeiten mit den QLC-SSDs von Solidigm durchgeführt, aber dies ist bei weitem die bedeutendste Arbeit, die wir bisher mit ihnen durchgeführt haben, da wir fast 750 TB Speicher in einen 2U-Server stecken. Wir wollten untersuchen, wie die Laufwerke in einer Konfiguration funktionieren, in der Anwendungen wie Analysen und Inferenzen die Vorteile des modernen Plattformdesigns nutzen können. Während die allgemeine Meinung gegenüber QLC darin besteht, dass sie nur für Mehrwert- oder Archivprojekte geeignet sind, könnte dies nicht weiter von der Wahrheit entfernt sein.

Wenn wir uns die Leistung ansehen, können wir sehen, dass die P5316-SSDs im VES VSS2249P-Speicherserver erstaunliche Ergebnisse erzielen konnten. Die sequentielle Leistung großer Blöcke übersteigt den Server, da jede SSD ihren Gen4-U.2-Schacht bei der Leseleistung nahezu ausschöpft. Wir haben 175,5 GB/s bei 1 Mio. Lesevorgängen gemessen, was 7,3 GB/s pro SSD entspricht.

Die Leistung beim zufälligen Lesen war ebenfalls großartig und erreichte bei einer Blockgröße von 64 KB einen Höchstwert von 176,3 GB/s. Aber verschlafen Sie nicht die Schreibleistung; Die Laufwerke schnitten bei großen blockierten Arbeitslasten sehr gut ab. Beim sequenziellen 64K-Schreiben wurden 57,7 GB/s gemessen, während beim zufälligen 64K-Schreiben die Geschwindigkeit auf 13,2 GB/s sank. Gemischte Arbeitslasten mit Schwerpunkt auf Leseaktivitäten schnitten recht gut ab, wobei wir 44 GB/s in 64K 70/30 und knapp 131 GB/s in 64K 90/10 gemessen haben. Schließlich haben wir beim zufälligen Lesen kleiner Blöcke erstaunliche 86,9 GB/s oder 21,2 Mio. IOPS in unserem 4K-Workload gemessen.

In der Vergangenheit haben wir mit der Dual-Node-HA-Version dieses Viking Enterprise Servers gearbeitet, die TLC-SSDs mit zwei Ports nutzt. Obwohl dies nicht gerade ein Gleiches ist, gibt es einige interessante Trendlinien, die zeigen, dass diese QLC-SSDs sich sehr gut gegen TLC-Lösungen behaupten können.

Beide Laufwerkssätze konnten eine enorme Bandbreite antreiben, wobei die TLC-SSDs 125 GB/s und die Solidigm P5316 QLC-SSDs 159 GB/s bei sequenziellem 64K-Lesen erreichten. Auch die Schreibleistung lag nahe beieinander: Die TLC-SSDs erreichten 63,2 GB/s beim sequentiellen 64K-Schreibvorgang, verglichen mit den P5316s mit 57,7 GB/s.

Diese Daten sollen nicht darauf hindeuten, dass QLC in allen Anwendungen ein vollständiger Ersatz für TLC ist. TLC hat dennoch einen großen Vorteil, da der Schreibprozentsatz und der Bedarf an Ausdauer steigen. Für viele Anwendungsfälle sind QLC-SSDs jedoch einsatzbereit und oft schneller als TLC-Konkurrenten, insbesondere wenn die Arbeitslast nicht sehr schreibintensiv ist.

Wenn Sie darüber hinaus eine Mischung aus Kapazität und Leistung benötigen, werden QLC DC-SSDs zweifellos die bessere Wahl sein. Dies ist eine einzigartige Kombination, für die QLC und in Zukunft auch PLC-SSDs gut positioniert sind. Angesichts der Tatsache, dass wir in diesem VES-Speicherserver über 175 GB/s auf fast 3/4 eines PB Speicher in 2 HE verzeichneten, sieht die Rack-Effizienz ziemlich überzeugend aus.

VES-Speicherserver

Solidigm-Produkte

Solidigm sponsert diesen Bericht. Alle in diesem Bericht geäußerten Ansichten und Meinungen basieren auf unserer unvoreingenommenen Sicht auf das/die betrachtete(n) Produkt(e).

Beteiligen Sie sich an StorageReview

Brian lebt in Cincinnati, Ohio und ist Chefanalyst und Präsident von StorageReview.com.

Beteiligen Sie sich an StorageReview