Google dévoile XLA Serving Engine pour accélérer l'inférence sans Python
Google a dévoilé XLA Serving Engine (XSE), un moteur d'inférence destiné à exécuter des modèles d'intelligence artificielle sans interpréteur Python en production. Il offrirait un débit deux à cinq fois supérieur à celui d'un serveur Python optimisé, tout en réduisant l'empreinte mémoire.

XSE, basé sur le compilateur XLA, permet à Google de traiter plus de six millions de requêtes par seconde dans des services comme Google Search, Google Ads et YouTube Shorts. Il réduit la consommation de mémoire et améliore la densité de déploiement des modèles. Les développeurs peuvent continuer à utiliser JAX pour concevoir leurs modèles, avec XLA SavedModel comme format intermédiaire. XSE intégre également des accélérateurs TPU pour faciliter l'utilisation de modèles PyTorch. L'architecture cible les applications d'inférence à haut débit, contrairement aux modèles de langage génératifs, et permet une optimisation des ressources en réduisant la mémoire utilisée. L'adoption de XSE dépend de la migration des modèles existants et de la compatibilité des infrastructures matérielles.
Lemondeinformatique.fr
NewsAPI fournit un résumé de cette publication. Consultez le média d'origine pour lire l'article complet.




