La technologie Akamai lance Akamai Cloud Inference, un nouveau service cloud qui améliore l’efficacité des tâches d’inférence de l’IA. Il offre un débit amélioré, une latence réduite et des coûts inférieurs à l’infrastructure hyperscale traditionnelle.
Akamai Cloud Inference fonctionne sur Akamai Cloud, la plate-forme la plus distribuée au monde. Cette nouvelle technologie est conçue pour répondre aux limites des modèles de cloud centralisés en traitant les données d’IA plus près de l’utilisateur et des appareils.
Adam Karon, chef de l’exploitation et directeur général, Cloud Technology Group à Akamai, a souligné le défi de distribuer efficacement les données de l’IA. « Il est difficile de rapprocher les données d’IA des utilisateurs et des appareils, et c’est là que les nuages hérités luttent », a déclaré Karon.
L’inférence AI sur Akamai Cloud permet aux ingénieurs de plate-forme et aux développeurs de créer et d’exécuter des applications AI plus près des utilisateurs finaux. Cette nouvelle solution offre un meilleur débit 3X et jusqu’à 2,5x réduction de la latence.
Les nouveaux outils permettent aux entreprises d’économiser jusqu’à 86% sur l’inférence de l’IA et les charges de travail d’origine IA par rapport à l’infrastructure d’hyperscaleurs traditionnelle.
Les caractéristiques clés de l’inférence du nuage Akamai comprennent:
- Calculer: Akamai Cloud propose des options de calcul polyvalentes telles que des processeurs pour l’inférence affinée, des GPU pour le calcul accéléré et des VPUS ASIC. Etc. pour relever une gamme diversifiée de défis d’inférence de l’IA.
- Gestion des données: Akamai s’intègre à de vastes données pour l’accès aux données en temps réel et fournit un stockage d’objets évolutif pour gérer les ensembles de données AI. La société travaille également avec des fournisseurs de base de données vectoriels comme Aiven et Milvus pour permettre une génération auprès de la récupération.
- Conteneurisation: Akamai intègre la conteneurisation pour améliorer la résilience des applications et la portabilité hybride / multicloud. Akamai offre une inférence AI qui est plus rapide, moins chère et plus sécurisée avec Kubernetes, prise en charge par Linode Kubernetes Engine (LKE) -Enterprise. Le nouveau service permet un déploiement rapide des plates-formes prêtes à être Ai, y compris Kserve, Kubeflow et Spinkube.
- Calcul de bord: L’inférence Akamai AI comprend des capacités de webassembly (WASM). Les développeurs créent des applications alimentées par AI au bord, permettant des solutions sensibles à la latence.
L’architecture évolutive et distribuée du cloud Akamai permet à des ressources de calcul disponibles à l’échelle mondiale – du nuage au bord – tout en accélérant les performances de l’application et en augmentant l’évolutivité. La plate-forme s’étend sur 4 200 points de présence sur 1 200 réseaux dans plus de 130 pays.
Polyhedra vient de rendre public les secrets honnêtes de l’IA
Akasm révèle le passage des modèles de grande langue (LLMS) à la formation à l’inférence de l’IA, soulignant la nécessité de solutions pratiques d’IA. Les LLM sont efficaces pour les tâches à usage général, mais sont souvent livrées avec des coûts élevés et des exigences longues.
Au lieu d’investir massivement dans les LLM, les entreprises se déplacent vers des modèles d’IA plus légers. Ceux-ci sont optimisés pour des problèmes commerciaux spécifiques, offrent un meilleur retour sur investissement aujourd’hui.
L’inférence du cloud Akamai prend en charge le traitement des données d’IA plus près de l’endroit où elle est générée, résolvant les demandes de solutions d’IA plus distribuées.
La nouvelle offre d’Akamai représente une évolution notable vers une IA décentralisée, résolvant l’énigme classique de la distance. Pourquoi? Parce que la latence réduite se traduit directement par des économies réelles et immédiates et une meilleure expérience utilisateur, ce qui est une combinaison difficile à battre les concurrents.
Une caractéristique particulièrement avisée est l’accent mis sur la conteneurisation, garantissant que le déploiement des applications d’IA reste beaucoup plus facile et plus sécurisé que les configurations traditionnelles. L’utilisation du moteur Linode Kubernetes (LKE) -Entrise souligne l’engagement d’Akamai à offrir des outils modernes et efficaces adaptés aux défis technologiques d’aujourd’hui.
