Edge-AI-HPCs für Vision AI und GenAI

Die HPCs ermöglichen die On-Premise-Bereitstellung und Feinabstimmung von KI-Modellen, einschließlich großer Sprachmodelle (LLMs) und KI-Vision-Inferenzanwendungen. Angetrieben von AMD Ryzen Embedded-Prozessoren der 8000er Serie unterstützt der 'AIR-410' High-End-GPUs, darunter die 'Nvidia RTX PRO 6000 Blackwell Max-Q Workstation Edition', AMD Radeon PRO W7900 und Qualcomm Cloud AI 100 Ultra, die unterschiedliche KI-Funktionen für verschiedene Edge-KI-Anwendungen bieten. Dank dem kompakten FHFL-GPU-Formfaktor mit drei Steckplätzen und dem leisen Betrieb (< 38,2 dBA) eignet er sich insbesondere für die On-Premise Halbleiterinspektion, medizinische Bildgebung und LLM-Inferenz. Zu den wichtigsten Merkmalen gehören ein 850-W-Netzteil, Unterstützung für bis zu 96 Gbyte DDR5-RAM und 14 Tbyte Speicherplatz sowie umfangreiche E/A-Schnittstellen. Ausgestattet mit dem 'Edge AI SDK' von Advantech, vorvalidierten KI-Modellen und einer programmierfreien GUI beschleunigt der HPC die KI-Bereitstellung am Edge.

Der skalierbare und KI-fähige 'AIR-420' unterstützt zwei Hochleistungs-GPUs für On-Premise GenAI-Post-Training. Entwickelt für anspruchsvolle KI-Inferenz- und Fine-Tuning-Workloads am Edge, verfügt er über ein kompaktes 28,6-L-Chassis und unterstützt zwei 600-W-Hochleistungs-GPU-Karten. In Kombination mit AMD Ryzen-Prozessoren der Serien 7000/9000 bietet er laut Anbieter außergewöhnliche KI-Beschleunigung bei geringem Platzbedarf. Mit einem optimierten CPU/PCIe-Layout, einem redundanten Stromversorgungssystem und den integrierten Advantech-Softwaretools 'aiSSD', 'aiDAPTIV+' sowie der No-Code-Plattform 'GenAI Studio' ermöglicht der AIR-420 eine effiziente On-Premise LLM-Bereitstellung und -Anpassung. GenAI Studio wird kontinuierlich aktualisiert, um die neuesten LLMs zu unterstützen, und bietet sowohl Full-Parameter- als auch parameter-effizientes Fine-Tuning (zum Beispiel PEFT, LoRA), wodurch Unternehmen KI-Modelle schnell an spezifische Edge-Anwendungen anpassen können.