Obwohl das KI-Training immer noch hauptsächlich in der Cloud oder auf lokalen Servern durchgeführt wird, finden die Datenerfassung und das Inferencing notwendigerweise am Netzwerk-Rand, sprich: der Edge, statt. Da das Inferencing die Phase ist, in der das trainierte KI-Modell die meiste Arbeit leistet, um die Anwendungsziele zu erreichen – das heißt Entscheidungen zu treffen oder Aktionen auf der Grundlage neu erfasster Felddaten durchzuführen – muss zur Auswahl des passenden Prozessors außerdem festgelegt werden, welche der folgenden Edge-Computing-Ebenen benötigt werden.
Das Übertragen von Daten zwischen Edge und Cloud ist nicht nur teuer, sondern auch zeitraubend und führt zu Latenzzeiten. Beim Low-Level-Edge-Computing wird nur eine kleine Menge an Nutzdaten an die Cloud gesendet, was die Verzögerungszeit, die Bandbreite, die Datenübertragungsgebühren, den Energiebedarf sowie die Hardwarekosten reduziert. Eine Arm-basierte Plattform ohne Beschleuniger kann auf IIoT-Geräten verwendet werden, um Daten zu erfassen und zu analysieren, um so schnelle Schlussfolgerungen ziehen oder Entscheidungen treffen zu können.
Diese Inferencing-Ebene kann verschiedene IP-Kamerastreams für die computergestützte Bildverarbeitung oder Videoanalyse mit ausreichenden Verarbeitungsbildraten abwickeln. Das Mid-Level-Edge-Computing umfasst ein breites Spektrum an Datenkomplexität auf der Grundlage des KI-Modells und der Leistungsanforderungen des Anwendungsfalls, z.B. der Gesichtserkennung für ein Büro-Eingangssystem im Vergleich zu einem großen öffentlichen Überwachungsnetz. Bei den meisten industriellen Edge-Computing-Anwendungen müssen außerdem Aspekte wie ein begrenztes Energiebudget oder ein lüfterloses Design zur Wärmeableitung berücksichtigt werden. So können auf dieser Ebene möglicherweise eine stärkere CPU, eine GPU der Einstiegsklasse oder eine VPU verwendet werden. Beispielsweise stellen die CPUs der Serie Intel Core i7 eine effiziente Computer-Vision-Lösung mit dem OpenVINO-Toolkit und softwarebasierten KI-/ML-Beschleunigern dar, die das Inferencing auf Edge-Ebene durchführen können.
Beim High-Level-Edge-Computing werden größere Datenmengen für KI-Expertensysteme verarbeitet, die mit einer komplexeren Mustererkennung arbeiten, zum Beispiel für die Verhaltensanalyse bei der automatischen Videoüberwachung in öffentlichen Sicherheitssystemen, mit der Sicherheitsvorfälle oder potenziell bedrohliche Ereignisse erkannt werden können. Beim Inferencing auf der oberen Edge-Computing-Ebene werden im Allgemeinen Beschleuniger verwendet, darunter High-End-GPUs, VPUs, TPUs oder FPGAs, die Leistungen von 200 W oder höher benötigen und daher Wärme erzeugen. Da die erforderliche Energieaufnahme und die erzeugte Wärme die Grenzwerte am entfernten Rand des Netzwerks, z.B. an Bord eines fahrenden Zuges, überschreiten können, werden High-Edge-Computersysteme häufig an randnahen Standorten, z.B. in einem Bahnhof, eingesetzt.