L'essentiel à retenir
Le plugin llm-gemini donne accès aux modèles Gemini depuis la CLI LLM. Une clé Gemini est obligatoire. Après sa configuration, vous pouvez joindre une image, un fichier audio, une vidéo ou une URL YouTube à une demande. Vous pouvez aussi imposer une réponse JSON. Le même essai réunit donc un média, une instruction, un modèle et un format de sortie, sans interface dédiée.
Prenez une démonstration vidéo hypothétique d'un produit. Demandez une liste de faits selon un schéma JSON défini avant l'envoi : séquences observées, fonctions montrées, éléments absents et passages à relire. Examinez ensuite chaque champ, comparez la sortie au résultat attendu et notez les écarts. Conservez aussi le modèle sélectionné, les options appliquées, le coût indiqué et les données transmises.
Gardez le média identique, stabilisez la consigne et ne changez qu'un réglage à la fois. Selon le modèle, vous pouvez choisir un niveau ou un budget de raisonnement. La CLI propose également un délai d'expiration. Le dépôt source rassemble la documentation des options, des médias acceptés et des sorties disponibles.
Le problème que ça résout
Un essai multimodal comporte plusieurs éléments distincts : le fichier transmis, la question posée, la forme attendue et les paramètres du modèle. Sans protocole écrit, une nouvelle exécution peut modifier plusieurs de ces éléments en même temps. La comparaison perd alors son point de référence.
Le plugin rassemble ces éléments dans une invocation de la CLI LLM. Vous sélectionnez un modèle Gemini, joignez le média, formulez la demande et activez la sortie JSON. Le résultat peut ensuite être relu comme un objet structuré plutôt que comme un paragraphe libre.
Cette structure fixe la forme de la réponse. Pendant la relecture, classez chaque champ comme présent, absent, à corriger ou hors du format demandé. Comparez ensuite sa valeur au média et au résultat attendu. La relecture reste une étape séparée de la génération.
Conservez les paramètres et le résultat de l'essai. Notez le média utilisé, la formulation de la demande, le modèle choisi, les options activées et la sortie obtenue. Ajoutez le résultat attendu avant l'exécution, puis comparez les deux versions. Le dossier d'essai réunit ainsi le contexte nécessaire à sa relecture.
Ce que c'est concrètement
llm-gemini est un plugin qui relie la CLI LLM aux modèles Gemini. Il demande une clé Gemini configurée dans l'environnement de l'outil. Il ne fournit pas une interface métier consacrée à la vidéo, à l'audio ou à l'image. Le point d'entrée reste la ligne de commande de LLM.
Le plugin accepte des pièces jointes multimodales. Une image peut servir à extraire du texte ou à décrire un contenu. Un fichier audio peut être transmis avec une demande de transcription. Une vidéo peut être jointe avec une instruction portant sur ce qui s'y déroule. Une URL YouTube peut également être utilisée comme pièce jointe. Le dépôt documente aussi un réglage de résolution des médias.
La sortie JSON est une option de réponse. Vous décrivez les informations attendues et leur organisation, puis vous demandez au modèle de répondre sous cette forme. Le JSON obtenu peut contenir des objets, des listes, des libellés et des valeurs correspondant au schéma demandé. La présence du format JSON ne constitue pas une vérification des faits extraits du média.
Selon le modèle sélectionné, le raisonnement se règle par niveau ou par budget. Les valeurs disponibles dépendent du modèle. Si vous ne choisissez pas ce réglage, le modèle applique son comportement par défaut. Le plugin expose aussi un délai d'expiration pour interrompre une requête qui dépasse la durée fixée.
D'autres fonctions sont documentées dans le même outil. CodeExecution permet au modèle d'écrire et d'exécuter du code côté serveur. GoogleSearch lui permet d'utiliser des résultats de recherche lorsque le modèle le prend en charge. URLContext lui permet de récupérer du contenu depuis des adresses fournies. Le plugin conserve les métadonnées de grounding renvoyées avec les réponses fondées sur Google Search. Il prend également en charge des modèles d'embeddings qui renvoient des vecteurs au format JSON.
Comment s'en servir
Définir la sortie avant de choisir le média
Écrivez d'abord la forme du résultat attendu en mots ordinaires. Par exemple : un objet JSON contenant le titre de la démonstration, une liste de faits observables, les fonctions montrées, les passages incertains et une note de relecture. Chaque champ doit correspondre à une information que vous comptez examiner.
Préparez aussi une version attendue à partir de votre propre lecture du média. Cette version n'a pas besoin de reprendre chaque détail. Elle sert de point de comparaison lorsque le modèle rend sa réponse.
Préparer la CLI et la clé
Installez la CLI LLM, puis ajoutez le plugin Gemini dans le même environnement. Enregistrez ensuite une clé Gemini selon les indications du dépôt. La clé est requise avant l'appel au modèle.
Consultez la documentation du dépôt pour retrouver les actions exactes d'installation et de configuration. L'article ne les reproduit pas : la documentation source indique la syntaxe, les modèles exposés et les options actuellement prises en charge.
Choisir un média d'essai
Sélectionnez une image, un audio, une vidéo locale ou une URL YouTube. Gardez ce média inchangé pendant la première série d'essais. Notez son nom dans votre journal, sa nature et les données qu'il contient.
Prenons une démonstration vidéo hypothétique d'un produit. Vous souhaitez obtenir les faits visibles dans la séquence. Votre demande peut préciser que le modèle doit distinguer ce qui est montré, ce qui est seulement déclaré dans l'audio et ce qui n'apparaît pas. Ces catégories deviennent des champs séparés dans le JSON demandé.
Formuler une demande observable
Décrivez la tâche à partir du média : relever les fonctions montrées, extraire les libellés visibles, résumer les étapes présentées ou transcrire les passages parlés. Demandez ensuite le schéma JSON préparé plus tôt.
Écartez les formulations qui mélangent l'observation et votre décision finale. Demandez d'abord une restitution structurée. La décision peut intervenir pendant la relecture, à partir des champs obtenus et du résultat attendu.
Lancer un premier essai borné
Choisissez un modèle Gemini disponible dans le plugin. Joignez le média, transmettez la consigne et activez la sortie JSON. Si vous souhaitez borner la durée de la requête, ajoutez le délai d'expiration documenté.
Ne changez pas encore le niveau ou le budget de raisonnement. Conservez la première sortie comme référence. Enregistrez le texte de la demande, le modèle, les options et la réponse complète. Si l'outil affiche l'usage ou un coût, consignez cette indication avec le reste.
Relire champ par champ
Ouvrez le JSON et vérifiez chaque valeur face au média. Marquez les faits présents, les omissions, les éléments à corriger et les champs qui ne respectent pas la forme demandée. Comparez ensuite la sortie avec la version attendue préparée avant l'exécution.
Cette relecture doit rester descriptive. Écrivez ce qui diffère. Par exemple : une fonction visible manque dans la liste, un passage parlé apparaît comme un fait visuel, ou un champ contient une phrase alors qu'une liste était demandée. Le journal conserve ces écarts sans leur attribuer une cause non observée.
Modifier une seule variable
Relancez l'essai avec le même média et la même structure. Changez seulement la formulation, le modèle, la résolution du média, le niveau de raisonnement ou le budget de raisonnement. Notez la variable modifiée avant chaque nouvelle exécution.
Comparez les sorties sur les mêmes champs. Une comparaison peut porter sur la présence des faits attendus, les informations ajoutées, la conformité du JSON et le coût affiché. Gardez les réponses complètes avec leurs paramètres respectifs.
Consigner la fiche d'essai
Terminez avec une fiche qui réunit le média transmis, le modèle, les options, la consigne, le schéma JSON, la sortie, le résultat attendu, les écarts relevés, le coût indiqué et les données envoyées. Ajoutez la décision prise après relecture : poursuivre avec les mêmes réglages, modifier une variable ou arrêter l'essai.
Si vous activez GoogleSearch, conservez aussi les métadonnées de grounding exposées par le plugin. Si vous activez URLContext, notez les adresses fournies et l'usage de tokens associé. Si vous activez CodeExecution, consignez son activation avec les autres options serveur.
Ce que ça coûte vraiment
Le plugin donne accès à une API Gemini. Les requêtes et les tokens peuvent entraîner des coûts. Le montant dépend de l'usage effectué auprès du service et des fonctions activées. L'article ne fixe donc pas de tarif de référence.
Votre fiche d'essai peut séparer les postes observables : appel au modèle, tokens d'entrée, tokens de sortie et usage ajouté par un outil serveur. URLContext peut introduire des tokens d'entrée supplémentaires. La CLI peut afficher les détails d'usage correspondants. Reportez ces informations sans les convertir en estimation si aucun tarif n'a été vérifié pour le modèle sélectionné.
Le média transmis fait partie des données de l'essai. Notez sa présence dans la fiche avec la consigne et les adresses éventuellement fournies à URLContext. La clé Gemini reste nécessaire à l'exécution. Dans la fiche, indiquez seulement que cette configuration a été effectuée.
Le temps de relecture appartient aussi au protocole, même s'il ne provient pas de la facturation du plugin. Vous pouvez consigner le début et la fin de cette étape sans en tirer une règle générale. Le dossier final distingue alors les informations affichées par l'outil des observations saisies pendant le contrôle.
Pour qui ce n'est pas
Ce protocole suppose l'usage direct d'une ligne de commande. Le plugin s'emploie dans la CLI LLM et demande une installation, une configuration de clé et le lancement d'une requête.
Le périmètre documenté n'inclut pas une interface dédiée. L'essai décrit ici s'effectue directement dans la CLI. Les écrans, les comptes, les formulaires et les parcours intégrés ne font pas partie de ce protocole.
Une sortie acceptée sans relecture sort également du cadre décrit ici. Le JSON impose une structure de réponse, pas une validation du contenu. Le protocole demande une comparaison avec le média et avec un résultat attendu.
Enfin, ce cadre ne fusionne pas plusieurs essais en une conclusion automatique. Chaque changement de modèle, de consigne, de résolution ou de raisonnement reste identifié dans la fiche. Lorsque plusieurs variables changent ensemble, classez l'exécution comme une configuration nouvelle, sans attribuer l'écart à une option précise.
Source : https://github.com/simonw/llm-gemini
FAQ
Peut-on joindre une image, un audio et une vidéo à Gemini depuis la CLI ?
Le plugin accepte les images, les fichiers audio et les vidéos comme pièces jointes. Il accepte aussi les URL YouTube. La demande précise l'opération attendue sur le média, puis le modèle renvoie sa réponse dans la CLI.
Le plugin garantit-il un JSON conforme au contenu du média ?
L'option JSON force le format de la réponse. Elle ne vérifie pas que chaque valeur correspond au média. Relisez chaque champ, comparez-le au fichier transmis et notez les écarts face au résultat attendu.
Faut-il régler le raisonnement pour chaque essai ?
Non. Sans réglage, le modèle utilise son comportement par défaut. Certains modèles proposent un niveau de raisonnement, d'autres un budget. Les possibilités dépendent du modèle sélectionné et sont décrites dans le dépôt.
Peut-on limiter la durée d'une requête ?
Oui. Le plugin expose une option de délai d'expiration. Vous fixez cette limite lors de l'appel. Si elle est dépassée, la requête s'interrompt selon le mécanisme documenté par l'outil.
Que faut-il conserver après l'essai ?
Conservez le média identifié, la consigne, le schéma JSON, le modèle, les options, la sortie complète, le résultat attendu, les écarts relus, le coût ou l'usage affiché et la liste des données transmises. Avec GoogleSearch, ajoutez les métadonnées de grounding conservées par le plugin.
Les embeddings servent-ils au même type de sortie ?
Les embeddings renvoient des vecteurs sous forme de tableaux JSON. Ils ne correspondent pas à la restitution structurée d'une démonstration vidéo décrite dans ce protocole. Le dépôt documente séparément les modèles d'embeddings pris en charge.
Publié le 13 novembre 2026.
Cet article est un outil d'orientation, pas un avis juridique. Pour une analyse adaptée à votre situation, consultez un professionnel qualifié.
Rédigé avec l'aide d'une IA. Illustration générée par IA.



