5 KI-Auslastungen, die auf einer CPU ausgeführt werden können
Ein modernes Rechenzentrum muss zahlreiche KI-Auslastungen unterstützen, von denen nur wenige gleich sind. In einem KI-Service wird möglicherweise ein Spektrum von kleinen bis großen Modellen verwendet, für die die Qualität des Servicelevels je nach Anwendung variiert.
Zusätzlich beinhalten viele Unternehmensanwendungen mittlerweile KI-Fähigkeiten. Bei einer sorgfältigen Bereitstellung können Rechenzentren viele dieser KI-Services auf Unternehmensebene auf preisgünstigeren CPUs unterstützen und die GPUs für schwierigere Aufgaben reservieren.
1. Klassisches maschinelles Lernen
Aufgaben für maschinelles Lernen, die Entscheidungsbäume, Random Forests und lineare statistische Modelle nutzen, profitieren von CPUs mit hoher Kernzahl und nutzen im Allgemeinen nicht die Vorteile des parallelen Computings, die GPUs bieten. Wenn Aufgaben wie Stimmungsanalyse, Text- und Bildklassifizierung, Betrugserkennung oder Zeitreihenprognosen einen großen Teil Ihrer Auslastungen ausmachen, sind CPUs mit den höchsten verfügbaren Kernzahlen eine clevere Investition.
2. Computervision
Gesichtserkennung, Objekterkennung, Bildklassifizierung, Heat Mapping – selbst die schwierige Fehler- und Anomalieerkennung – können auf GPUs rasend schnell ausgeführt werden, benötigen jedoch nicht dieses Maß an Reaktionsschnelligkeit. Auf Unternehmensebene und bei Edge-Anwendungsfällen können CPUs Bildverarbeitungsaufgaben im Allgemeinen recht effizient erledigen.
3. Speicherintensive Graphenanalyse
Netzwerke – soziale Netzwerke, IT-Systeme, Logistik und Lieferketten – haben komplexe Knoten, Interaktionen und Muster, die am besten mit Graphenalgorithmen analysiert werden. Sie erzeugen zudem riesige Datensätze. CPUs haben direkten, latenzarmen Zugriff auf den System-RAM, wodurch sie große Datensätze speicherintern ausführen können und so Lese-/Schreibzyklen zum Speicher vermeiden. Wählen Sie CPUs mit der höchstmöglichen Speichergeschwindigkeit und -kapazität für eine maximale Performance.
4. Kleine bis mittlere Empfehlungssysteme
CPUs mit höheren Frequenzen und höheren Kernzahlen bieten ausreichend Parallelisierungs- und Verarbeitungsgeschwindigkeiten für Empfehlungssysteme. Für Echtzeit-Empfehlungssysteme sollten Sie CPUs mit großen Caches wählen, die einen RAM mit hoher Geschwindigkeit und einen maximalen Systemspeicher unterstützen.
5. Fein abgestimmte KI-Agents für Experten
Techniken wie parametereffiziente Feinabstimmung (Parameter Efficient Fine Tuning, PEFT) und Low-Rank Adaptation (LoRA) können große, allgemeine Modelle in kleinere, effizientere Modelle umwandeln, die äußerst genaue Ergebnisse liefern. Modelle, die auf spezifischen Wissensdatenbanken fein abgestimmt werden, wie Produktkataloge, technische Dokumentation oder Escrow Documents, können Experten-Agents, Chat-Dienste und Entscheidungsfindungsanwendungen unterstützen, die auf CPUs effizient ausgeführt werden.
Unternehmens-KI ausführen auf AMD EPYC™ CPUs
AMD EPYC™ CPUs der 5. Generation liefern die 1,9-fache LLM-Performance im Vergleich zu Intel® Xeon® Scalable Prozessoren der 5. Generation1, eine Performance-Edge, die KI – einschließlich kleiner und mittlerer LLMs – zu einer praktischen CPU-Auslastung macht.
Supercomputer für die Universität Paderborn
Wir freuen uns, eines der ersten Systeme in Deutschland auf Basis der AMD EPYC™ 9005-Serie gemeinsam mit Lenovo realisiert zu haben. Lesen Sie mehr über den Supercomputer Otus der Universität Paderborn.
Kontaktieren Sie uns und erfahren Sie mehr zu unseren Leistungen
Als AMD Elite Partner verfügen wir über umfassende Erfahrung in der Planung und Umsetzung von umfangreichen HPC-Projekten und IT-Infrastrukturen. Wir unterstützen Sie bei der Auswahl der optimalen Hardwarekomponenten, der Konfiguration Ihrer Systeme und der Integration in Ihre bestehende IT-Landschaft.
1. Llama3.1-8B-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. Llama3-8B-Konfigurationen: IPEX.LLM 2.4.0, NPS = 2, BF16, Batch-Größe 4, Eingabe-/Ausgabe-Token-Konfigurationen (Anwendungsfälle): [Zusammenfassung = 1024/128, Chatbot = 128/128, Übersetzung = 1024/1024, Essay = 128/1024, Beschriftung = 16/16]. 2P AMD EPYC 9965 (384 Kerne gesamt), 6 Instanzen mit 64 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C, (SMT = off, Determinism = Power, Turbo Boost =Enabled), NPS = 2 2P AMD EPYC 9755 (256 Kerne gesamt), 4 Instanzen mit 64 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit - l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 2 2P AMD EPYC 9654 (192 Kerne gesamt) 4 Instanzen mit 48 Kernen, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic (tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 2 im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 2 Instanzen mit 64 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (tunedadm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled). Ergebnisse: CPU 2P EMR 64 Kerne 2P Turin 192 Kerne 2P Turin 128 Kerne 2P Genoa 96 Kerne Durchschnitt Aggregiert Medianwert Gesamtdurchsatz 99,474 193,267 182,595 138,978 Konkurrenz 1 1,943 1,836 1.397 Generationenvergleich k. A. 1,391 1,314 1. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. (9xx5-009)