Electronique Mag - Le journal de l'électronique.
- accueil .
- abonnement .
- newsletter .
Flux RSS . - soumissions .
- publicité .
- contacts
Flux RSS .
Advantech, acteur majeur des plateformes et services AIoT, dévoile GenAI Studio, un nouveau logiciel intégré au SDK (Software Développent Kit) Edge AI. Cette solution répond à la demande croissante d’options économiques pour le développement en local de modèles de langage (LLM, Large Language Model). Cette initiative vise à rendre l’adoption de LLM plus accessible aux développeurs et aux petites et moyennes entreprises (PME) en réduisant de manière significative la dépendance aux GPU, ce qui diminue les coûts et permet une utilisation plus répandue des technologies d’IA générative.
Accélérer le développement de l’IA pour relever les défis industriels. Faisant partie des solutions logicielles du SDK Edge AI d’Advantech, GenAI Studio répond à des problèmes industriels majeurs tels que la réduction des temps d’attente des opérateurs d’usine pour obtenir à des informations critiques et l’allègement des tâches de documentation des professionnels de santé.
Sa plateforme no-code, économique, simplifie l’adoption des modèles de langage de grande taille (LLM), permettant aux entreprises de déployer rapidement et efficacement des solutions d’intelligence artificielle, améliorant ainsi la productivité et l’efficacité opérationnelle. Intégré au SDK Edge AI d’Advantech, GenAI Studio exploite une plateforme LLM polyvalente avec des capacités d’intégration exceptionnelles pour les LLM locaux et cloud, notamment OpenAI, Gemini, Anthropic et Ollama. En outre, il introduit une fonctionnalité complète de réglage des paramètres, optimisée pour les environnements disposant de ressources GPU limitées, offrant une accessibilité accrue et des améliorations de performances.
GenAI Studio propose un ensemble d’outils complets pour le développement de modèles de langage (LLM) :
Services intégrés de réglage fin et d’inférence : GenAI Studio combine ces fonctionnalités pour maximiser l’utilisation du matériel, permettant une allocation des ressources plus flexible et efficace.
Gestion avancée des ressources GPU et planification des tâches : Ces outils permettent d’optimiser les performances du matériel d’IA, améliorant ainsi la rentabilité des équipements de grande valeur.
Avec la montée rapide de l’IA, la nécessité de solutions LLM accessibles s’est accrue, mais de nombreuses entreprises se heurtent à des ressources limitées.
Le SDK Edge AI d’Advantech répond à ce défi en proposant un ensemble d’outils qui permettent d’évaluer, de développer et de déployer efficacement des applications d’IA de pointe. Par exemple, le réglage fin d’un LLM de 70 milliards de paramètres, nécessitant habituellement plus de 30 GPUs de 48 Go chacun, peut être réalisé avec seulement 4 GPUs grâce au SDK Edge AI d’Advantech. Cela représente une réduction de 87 % des besoins en ressources, diminuant considérablement les coûts et rendant les solutions LLM plus accessibles.
Pour compléter GenAI Studio, le serveur Edge AI AIR-520 d’Advantech fournit une plateforme matérielle robuste dotée de cartes GPU NVIDIA RTX et de SSDs AI de Phison. Cette intégration garantit des capacités de calcul fiables et à hauts rendements, répondant aux exigences des applications d’IA dans des secteurs tels que la fabrication, les soins de santé et la vente au détail.
Le SDK Edge AI d’Advantech est une plateforme entièrement intégrée, conçue pour un développement fluide de l’IA en périphérie. Avec un matériel préconfiguré et un logiciel optimisé, il offre une expérience Plug-and-Play qui permet une personnalisation économique des modèles de langages (LLM), une compatibilité transparente des outils et une gestion sans effort des déploiements à grande échelle en périphérie. Pensé pour la fiabilité, la scalabilité et l’ergonomie, le SDK Edge AI d’Advantech simplifie la voie vers l’innovation en IA. Il comprend désormais trois composants principaux :
GenAI Studio : Facilite la création, l’évaluation et l’intégration rentables de LLM personnalisés en local, de manière économique.
Kit d’inférence : Optimise rapidement les runtimes IA efficaces, compatibles avec les systèmes d’exploitation embarqués.
Plateforme d’orchestration : Assure une gestion efficace des modèles d’IA et des mises à jour d’applications dans le cadre de déploiements à grande échelle en périphérie, intégrant les MLOps pour des opérations rationalisées.
Grâce à son SDK Edge AI et au nouveau module logiciel GenAI Studio, Advantech renforce ainsi les capacités des entreprises à développer et déployer des solutions d’IA plus efficacement et à moindre coût.
