Mode automatique LLM

Présentation

Le mode automatique LLM est une fonctionnalité de routage intelligent qui sélectionne automatiquement le meilleur modèle d'IA pour chaque message au cours d'une session de chat. Au lieu de s'appuyer sur un seul modèle pour toutes les requêtes, vous pouvez définir des règles personnalisées associant des modèles précis à des tâches ou sujets distincts.

Cette configuration optimise l'utilisation des crédits en attribuant les demandes simples à des modèles économiques et en réservant les modèles plus avancés aux tâches complexes. Elle offre également une grande flexibilité en permettant aux utilisateurs de désactiver le mode automatique et de choisir manuellement un modèle à tout moment.

Quand utiliser le mode automatique et avantages

Quand utiliser le mode automatique

• Agents polyvalents : Lorsqu'un même agent prend en charge des flux de travail variés, comme des questions générales, la rédaction de documents et l'extraction de données.

• Complexité variable des requêtes : Lorsque les messages des utilisateurs vont de simples vérifications factuelles à des raisonnements complexes nécessitant des modèles avancés.

• Gestion optimisée des coûts : Lorsque vous souhaitez réduire la consommation de crédits de votre espace de travail sans compromettre la qualité des réponses sur les tâches exigeantes.

Avantages clés

• Optimisation automatisée des coûts : Envoie automatiquement les requêtes légères aux modèles économiques, réduisant ainsi les dépenses globales en crédits IA.

• Expérience utilisateur fluide : Les utilisateurs obtiennent les meilleures réponses sans avoir à identifier et changer de modèle manuellement à chaque message.

• Flexibilité de session : Le contrôle manuel reste accessible à tout moment en permettant aux utilisateurs de désactiver le mode automatique pour épingler un modèle spécifique.

Prérequis

Avant de configurer le mode automatique LLM, assurez-vous de disposer de :

• L'accès en modification à l'agent (rôle Propriétaire ou Administrateur de l'agent).

• Une idée précise des tâches, sujets ou niveaux de complexité que vous souhaitez répartir entre les modèles.

• Crédits disponibles sur votre espace de travail.

Cette fonctionnalité est accessible sur tous les forfaits Swiftask.

Guide étape par étape

Activer les paramètres du mode automatique LLM

1. Accédez à la rubrique Agents depuis le menu principal et cliquez sur l'agent à modifier.

2. Rendez-vous dans Agent settings puis sélectionnez LLM.

3. Repérez la section LLM auto mode settings.

4. Activez le bouton bascule LLM auto mode settings.

5. Une fois activé, la section Auto model rules (session) et le bouton Add rule apparaissent.

Ajouter des règles de modèle automatique

1. Dans la section Auto model rules (session), cliquez sur Add rule.

2. Dans le menu déroulant Model, sélectionnez le modèle d'IA ciblé.

3. Dans le champ When to use this model, saisissez une description concise de la tâche, du sujet ou du format devant déclencher ce modèle.

4. Cliquez sur Save changes.

Gérer les règles existantes

1. Consultez vos règles configurées dans le tableau des règles.

2. Cliquez sur l'icône rouge de crayon sous Actions pour modifier le modèle ou la condition d'une règle.

3. Cliquez sur l'icône rouge de corbeille sous Actions pour supprimer une règle.

Fonctionnement du routage

Lorsque le mode automatique est actif, le système analyse chaque message entrant par rapport à vos règles de modèles configurées. Il sélectionne le modèle le plus adapté en fonction des descriptions fournies pour chaque tâche ou sujet.

Seules les définitions de règles et le texte du message sont évalués pour prendre la décision de routage. Le modèle sélectionné génère ensuite la réponse finale.

Utiliser le mode automatique dans le chat

1. Démarrez une conversation avec votre agent dans le Chat.

2. Remarquez l'indicateur Auto-mode affiché en bas à droite de la zone de saisie.

3. Cliquez sur Auto-mode pour ouvrir le menu des modèles.

4. Tant que l'interrupteur reste activé, l'agent choisit dynamiquement un modèle parmi vos règles et la sélection pour chaque message.

Remplacer manuellement le mode automatique

1. Ouvrez le menu déroulant Auto-mode dans la zone de saisie du chat.

2. Désactivez le commutateur Auto-mode.

3. Sélectionnez un modèle spécifique dans la liste pour l'épingler pour la session en cours.

4. Si disponible, sélectionnez le niveau d'effort de réflexion (Low, Medium ou High).

Cas d'usage pratiques

Génération de rapports longs

Routez les tâches complexes telles que "Exhaustive Weekly Reports / PDF Exports" vers un modèle à fort raisonnement, garantissant des documents détaillés et bien structurés.

Questions courantes et résumés de tableaux

Attribuez les "Standard Tech Inquiries & Table Digests" à un modèle équilibré afin de répondre rapidement aux questions techniques courantes avec une consommation modérée de crédits.

Scraping volumineux et synthèses rapides

Dirigez les "Bulk News Scraping & Quick Pulse Checks" vers un modèle rapide et économique afin de réduire la consommation de crédits sur les requêtes fréquentes.

Conseils et bonnes pratiques

• Rédigez des descriptions de règles courtes et centrées sur des tâches, mots-clés ou formats précis.

• Évitez les descriptions qui se chevauchent afin que le routeur puisse prendre des décisions sans ambiguïté.

• Associez des modèles économiques aux questions-réponses standard et réservez les modèles premium aux tâches spécialisées.

• Utilisez le remplacement manuel si vous souhaitez une parfaite cohérence de modèle tout au long d'un échange.

Dépannage

Le routeur ne choisit pas le bon modèle

• Cause : Les descriptions de règles sont trop larges ou se recoupent.

• Solution : Précisez le texte dans When to use this model avec des mots-clés distincts caractérisant chaque tâche.

Les règles ne se déclenchent pas dans le chat

• Cause : Le mode automatique est désactivé dans la session de chat.

• Solution : Cliquez sur le sélecteur de modèle dans la zone de saisie du chat et assurez-vous que l'option Auto-mode est activée.

Un modèle particulier n'apparaît pas dans la sélection manuelle du chat

• Cause : La liste du chat n'affiche que les modèles mis en avant et ceux associés à une règle active.

• Solution : Ajoutez ce modèle à une règle dans les paramètres de l'agent pour le rendre sélectionnable dans le chat.

Ressources additionnelles

• Définir les objectifs et instructions de votre agent

• Tester et interagir avec l'agent