Gcore, globaler Anbieter von Edge-KI-, Cloud-, Netzwerk- und Sicherheitslösungen, hat die Einführung von Inference at the Edge angekündigt. Die innovative Lösung ermöglicht KI-Anwendungen mit extrem niedrigen Latenzzeiten und erleichtert so die verteilte Bereitstellung vortrainierter Machine-Learning-Modelle (ML) an Edge-Inferenzknoten.

Mit Hilfe von Gcore Inference at the Edge können Unternehmen aus den unterschiedlichsten Branchen KI-Modelle kostengünstig, skalierbar und sicher einsetzen. Dazu gehören beispielsweise die Fertigungs- und Automobilindustrie, der Einzelhandel und der Technologiesektor. Anwendungsfälle wie generative KI, Objekterkennung, Verhaltensanalysen in Echtzeit, virtuelle Assistenten und Produktionsüberwachung können nun schnell und weltweit implementiert werden.

Der Service läuft auf Gcores globalem Netzwerk mit mehr als 180 Edge-Knoten, die durch eine ausgeklügelte Smart-Routing-Technologie mit geringer Latenz miteinander verbunden sind. Jeder dieser Hochleistungsknoten befindet sich am Rande des Gcore-Netzwerks und sorgt für eine strategische Platzierung der Server in der Nähe der Endnutzer:innen. Inference at the Edge läuft auf dem marktführenden Chip L40S GPUs von NVIDIA, der speziell für KI-Inferenzen entwickelt wurde. Sendet ein:e Anwender:in eine Anfrage, bestimmt ein Edge-Knoten die Route zur nächstgelegenen verfügbaren Inferenzregion mit der geringsten Latenz, wodurch eine typische Antwortzeit von unter 30ms erreicht wird.

Die neue Lösung unterstützt eine breite Palette grundlegender ML- und benutzerdefinierter Modelle. Zu den im Gcore ML Model Hub verfügbaren Open-Source-Grundmodellen gehören LLaMA Pro 8B, Mistral 7B und Stable-Diffusion XL. Modelle können nach Bedarf ausgewählt und flexibel trainiert werden, bevor sie global über Gcore Inference an den Edge-Knotenpunkten verteilt werden. Damit wird ein wesentliches Problem von Entwicklungsteams gelöst: Normalerweise werden KI-Modelle auf denselben Servern ausgeführt, auf denen sie auch trainiert wurden, was zu einer verminderten Leistung führt.

Weitere Vorteile von Gcore Inference at the Edge sind:

• Kostengünstige Bereitstellung: Eine flexible Preisstruktur sorgt dafür, dass Kund:innen nur für die Ressourcen zahlen, die sie auch tatsächlich nutzen.
• Eingebauter DDoS-Schutz: Die Infrastruktur von Gcore schützt ML-Endpunkte automatisch vor DDoS-Angriffen.
• Datenschutz und Sicherheit auf höchstem Niveau: Die Lösung verfügt über eine eingebaute DSGVO-Konformität und folgt den Standards PCI DSS und ISO/IEC 27001.
• Modell-Autoskalierung: Für Lastspitzen steht eine Autoskalierung zur Verfügung, so dass jederzeit ein Modell bereitgestellt werden kann, um Nachfragespitzen und unerwartete Lastspitzen zu bewältigen.
• Unbegrenzter Objektspeicher: Skalierbarer S3-kompatibler Cloud-Speicher, der mit den wachsenden Anforderungen des Modells wächst. Anwender:innen erhalten dadurch eine flexible, kosteneffiziente und zuverlässige Lösung, die eine einfache Integration ermöglicht.

Andre Reitenbach, Geschäftsführer von Gcore, erklärt: „Mit Gcore Inference at the Edge können sich unsere Kund:innen darauf konzentrieren, ihre Machine-Learning-Modelle zu optimieren, anstatt sich um die Kosten, Kapazitäten und Infrastruktur zu kümmern, die für die globale Bereitstellung von KI-Anwendungen erforderlich sind. Wir bei Gcore sind davon überzeugt, dass die beste Performance und das beste Endnutzer:innen-Erlebnis am Rande des Netzwerks erreicht wird. Deshalb entwickeln wir unsere Lösungen kontinuierlich weiter, um sicherzustellen, dass jede:r Kund:in eine konkurrenzlose Skalierung und Performance erfährt. Gcore Inference at the Edge ist leistungsstark, aber unkompliziert und bietet eine moderne, effektive und effiziente Echtzeitdatenverarbeitung mithilfe von Künstlicher Intelligenz."

Gcore Inference at the Edge ist ab sofort erhältlich. Mehr dazu unter:  https://gcore.com/inference-at-the-edge