Mattermost lance « OpenOps » pour accélérer l'évaluation responsable de l'IA générative appliquée aux workflows

Ian Tien, PDG de Mattermost, Inc.

OpenOps émerge à la croisée de la course pour tirer parti de l'IA afin d'obtenir un avantage concurrentiel et du besoin urgent de mener des opérations dignes de confiance, comprenant le développement de politiques d'utilisation et de surveillance et assurant des contrôles des données à la fois réglementaires et faisant l'objet d'une obligation contractuelle.

Cette plateforme vise à aider à dégager les goulots d'étranglement clés entre ces préoccupations cruciales en permettant aux développeurs et aux entreprises d'auto-héberger un environnement de type « bac à sable » avec un contrôle total des données pour évaluer de manière responsable les avantages et les risques de différents modèles d'IA et politiques d'utilisation sur des workflows de collaboration par t'chat multi-utilisateurs du monde réel.

Le système peut être utilisé pour évaluer des LLM auto-hébergés listés sur Hugging Face, dont Falcon LLM et GPT4All, lorsque l'utilisation est optimisée pour le contrôle des données, ainsi que les modèles hébergés par des fournisseurs en hyperscale depuis la plateforme Azure AI, OpenAI ChatGPT et Anthropic Claude lorsque l'utilisation est optimisée à des fins de performance.

Mattermost OpenOps

Mattermost announces “OpenOps” framework to speed responsible evaluation of generative AI applications to real world workflows.[/caption]

La première version de la plateforme OpenOps permet l'évaluation d'une variété de cas d'utilisation améliorés par l'IA, notamment :

Questions et réponses automatisées : pendant un travail individuel comme collaboratif, les utilisateurs peuvent poser des questions à des modèles d'IA générative, qu'ils soient auto-hébergés ou hébergés par un fournisseur, afin d'en savoir plus sur différents sujets pris en charge par le modèle.

Récapitulation des discussions : des résumés peuvent être générés par l'IA à partir de discussions auto-hébergées basées sur le t'chat afin d'accélérer les flux d'informations et la prise de décisions, tout en réduisant le temps et le coût requis pour permettre aux entreprises de rester informées.

Interrogation contextuelle : les utilisateurs peuvent poser des questions de suivi à des résumés de fils de discussion générés par des bots IA pour en savoir plus sur les informations sous-jacentes sans aller dans les données brutes. Par exemple, un résumé de discussion d'un bot IA sur un certain individu faisant une série de demandes en vue d'un dépannage pourrait être interrogé via le bot IA afin d'avoir davantage de contexte sur la raison de ces demandes, et sur la manière dont il avait l'intention d'utiliser les informations.

Analyse des sentiments : les bots IA peuvent analyser le sentiment des messages, une fonction qui peut être utilisée pour recommander et fournir des réactions sous forme d'émoticônes à ces messages pour le compte d'un utilisateur. Par exemple, après avoir détecté un sentiment de réjouissance, un bot IA peut ajouter une réaction sous la forme d'une émoticône « flamme » indiquant de l'enthousiasme.

Collection d'apprentissages de renforcement basés sur le feedback humain (Reinforcement Learning from Human Feedback, RLHF) : pour aider à évaluer et former les modèles d'IA, le système peut recueillir le feedback des utilisateurs concernant les réponses provenant de différents modèles et saisies en enregistrant les signaux « pouce vers le haut/pouce vers le bas » sélectionnés par les utilisateurs. À l'avenir, les données pourront être utilisées pour peaufiner les modèles existants et s'avèreront aussi utiles pour évaluer des modèles alternatifs sur des saisies d'utilisateurs passées.

Ce framework open-source auto-hébergé offre une « architecture d'opérations et d'IA contrôlée par le client », fournissant un hub opérationnel pour la coordination et l'automatisation avec des bots IA connectés à des backends interchangeables auto-hébergés d'IA générative et de LLM de services comme Hugging Face. Par ailleurs, cette solution peut à la fois prendre de l'ampleur pour devenir une architecture de data center et de cloud privé, ou réduire son échelle pour fonctionner sur l'ordinateur portable d'un développeur à des fins de recherche et d'exploration. Dans le même temps, elle peut aussi se connecter aux modèles hébergés par des fournisseurs en hyperscale depuis la plateforme Azure AI ainsi qu'OpenAI.

« Chaque entreprise est dans la course pour définir de quelle manière l'IA accélère son avantage concurrentiel », a déclaré Ian Tien, PDG de Mattermost. « Nous avons créé OpenOps pour aider les entreprises à dévoiler leur potentiel de manière responsable avec la capacité d'évaluer une large gamme de politiques d'utilisation et de modèles d'IA tout en accélérant leurs workflows internes. »

Le framework OpenOps recommande une approche en quatre phases pour développer les améliorations par IA :

1 - Un environnement de type bac à sable auto-hébergé - Demandez à des équipes techniques de mettre en place un environnement de type « bac à sable » auto-hébergé en guise d'espace sûr avec un contrôle des données et une vérifiabilité afin d'explorer et de démontrer les technologies de l'IA générative. Le bac à sable OpenOps peut inclure simplement la collaboration Web par t'chat multi-utilisateurs ou être étendu pour inclure les applications sur ordinateur de bureau et appareil mobile, les intégrations à partir de différents outils internes pour simuler un environnement de production, ainsi que l'intégration à d'autres environnements de collaboration, comme des canaux Microsoft Teams spécifiques.

2 - Un framework de contrôle des données - Les équipes techniques mènent une évaluation initiale de différents modèles d'IA sur des cas d'utilisation internes, et définissent un point de départ pour les politiques d'utilisation couvrant les questions de contrôle des données avec différents modèles, auto-hébergés ou hébergés par des fournisseurs, et dans ce dernier cas, sur la base de différentes assurances de manipulation des données. Par exemple, les politiques de contrôle des données peuvent aller du blocage total des IA hébergées par des fournisseurs au blocage de l'utilisation soupçonnée de données sensibles comme des numéros de carte de crédit ou des clés privées, ou alors il peut s'agir de politiques personnalisées pouvant être encodées dans l'environnement.

3 - Un framework de confiance, de sécurité et de conformité - Les équipes de confiance, sécurité et conformité sont invitées dans l'environnement de type bac à sable afin d'observer et d'interagir avec les premiers cas d'utilisation améliorés par l'IA et travaillent avec les équipes techniques afin de développer des politiques d'utilisation et de surveillance en plus du contrôle des données. Par exemple, il peut s'agir de la création de lignes directrices afin de décider si l'IA peut être utilisée pour aider les responsables à rédiger des évaluations de performance pour leurs équipes, ou pour savoir si l'IA peut être employée afin de rechercher des techniques de développement de logiciels malveillants.

4 - Pilote et production - Une fois un référentiel des politiques d'utilisation et les premières améliorations apportées par l'IA disponibles, un groupe d'utilisateurs pilotes peut être ajouté à l'environnement de type bac à sable pour évaluer les avantages de ces améliorations. Les équipes techniques peuvent répéter l'ajout d'améliorations de workflows à l'aide de différents modèles d'IA tandis que les équipes de confiance, sécurité et conformité peuvent surveiller l'utilisation avec une vérifiabilité totale et répéter les politiques d'utilisation et leurs mises en œuvre. À mesure que le système pilote mûrit, l'ensemble complet d'améliorations peut être déployé dans des environnements de production pouvant fonctionner sur une version mise en production du framework OpenOps.

Le framework OpenOps inclut les capacités suivantes :

Un hub opérationnel auto-hébergé : OpenOps permet des workflows opérationnels auto-hébergés sur une plateforme de messagerie en temps réel à travers les systèmes Web, mobiles et de bureau à partir du projet open-source Mattermost. Les intégrations aux systèmes internes et aux outils de développeurs populaires aident à enrichir les backends d'IA avec des données contextuelles cruciales. L'automatisation des workflows accélère les temps de réponse tout en réduisant les taux d'erreur et le risque.

Des bots IA avec des backends IA interchangeables : OpenOps permet aux bots IA d'être intégrés aux opérations tandis qu'ils sont connectés à une palette interchangeable de plateformes IA. Pour un contrôle maximal des données, travaillez avec des modèles LLM open-source auto-hébergés comprenant GPT4All et Falcon LLM de services comme Hugging Face. Pour des performances optimales, puisez dans le frameworking IA tiers comprenant OpenAI ChatGPT, la plateforme Azure AI et Anthropic Claude.

Contrôle total des données : OpenOps permet aux entreprises d'auto-héberger, contrôler et surveiller toutes les données, toutes les adresses IP et tout le trafic réseau au moyen de son infrastructure de sécurité et de conformité existante. Cela permet aux entreprises de développer un corpus riche de données de formation du monde réel pour l'évaluation et le peaufinage futurs de backends IA.

Gratuit et open-source : disponible sous les licences MIT et Apache 2, OpenOps est un système open-source gratuit permettant aux entreprises de déployer et d'exécuter l'architecture complète en toute simplicité.

Évolutivité : OpenOps offre la flexibilité d'un déploiement sur des clouds privés, des data centers ou même un ordinateur portable standard. Le système supprime aussi la nécessité de matériel spécialisé comme des processeurs graphiques, étendant le nombre de développeurs pouvant explorer les modèles d'IA auto-hébergés.

Le framework OpenOps est actuellement expérimental et peut être téléchargé sur openops.mattermost.com.

À propos de Mattermost

Mattermost fournit un hub extensible et sûr aux équipes techniques et opérationnelles qui doivent répondre à des exigences de confiance et de sécurité au niveau d'un État-nation. Nous desservons les industries de la technologie, du secteur public et de la défense nationale avec des clients allant des géants technologiques au Département de la défense des États-Unis en passant par des agences gouvernementales du monde entier.

Nos offres cloud auto-hébergées fournissent une plateforme robuste pour la communication technique à travers les systèmes Web, de bureau et mobiles prenant en charge les workflows opérationnels, la collaboration sur les incidents, l'intégration au Dev/Sec/Ops et aux chaînes de compilation internes et la connexion avec une large gamme de plateformes de communications unifiées.

Nous fonctionnons avec une plateforme open-source approuvée et déployée par les organisations les plus cruciales et sûres du monde, qui est co-construite avec plus de 4 000 contributeurs de projets open-source ayant fourni plus de 30 000 améliorations de codes en faveur de notre vision partagée des produits, et traduite en 20 langues.

Pour en savoir plus, veuillez consulter le site www.mattermost.com.

Mattermost et le logo Mattermost sont des marques commerciales déposées de Mattermost, Inc. Toutes les autres marques commerciales sont la propriété de leurs détenteurs respectifs.