Aller au contenu
Tèkos, le robot de TECH'ONNECTÉ, tout sourire derrière un guichet, tend une corbeille contenant un ordinateur portable à un visiteur interloqué qui serre le sien contre lui ; sur le comptoir, une copie notée d'un grand cercle corail
IADécryptage · 2 min de lecture

Conseils de sécurité :l'IA a 82 % de moyenne,ton compte n'a pas de rattrapage

Google et l'University College London ont noté les conseils de sécurité de 18 IA : 82 % de moyenne, mais 14 % de réponses ratées. Ce que ça veut dire pour tes comptes.

L'essentiel en 30 secondes

  • Une étude de Google et de l'University College London a noté les réponses de 18 IA à 450 questions de sécurité et de vie privée en ligne.
  • La moyenne atteint 82 %, mais 14 % des réponses passent sous 65 %, avec parfois des conseils absurdes ou risqués.
  • Les IA s'en sortent le mieux sur les arnaques et les comptes piratés, mais les versions testées datent du début d'année.

Texte réalisé avec l’aide de l’IA, informations vérifiées par la rédaction ; image de couverture : image virtuelle générée avec l’IA.

En deux phrases. Google et l’University College London ont posé 450 questions de sécurité et de vie privée à 18 IA, puis noté chaque réponse : 82 % de moyenne. Un bon bulletin, sauf qu’une partie des copies conseille des choses que tu ne devrais jamais faire.

Ce que ça change pour toi

Un mail louche, un compte qui ne répond plus, un réglage de confidentialité incompréhensible : beaucoup de gens posent déjà ces questions à ChatGPT, Gemini ou Claude. L’étude, baptisée HelpBench, mesure justement ça, à partir de vraies situations publiées sur Reddit entre 2021 et 2024, puis reformulées.

Bonne nouvelle d’abord : les IA s’en sortent le mieux sur les arnaques et les comptes piratés. Pour trier un message douteux, elles sont plutôt de bon conseil.

La limite : leur réponse aide à comprendre, elle ne remplace pas l’aide officielle du service concerné. Avant de toucher à l’accès à ton compte, à ta banque ou à ton téléphone, va voir ce que dit l’éditeur lui-même.

Le détail qui tue

14 % des réponses obtiennent moins de 65 %. Google résume ça par « 1 sur 10 » ; le papier, lui, écrit 14 %, soit plutôt une sur sept. Et l’écart entre IA est énorme : la meilleure rate 7 % de ses réponses, la pire 36 %.

Ces copies ratées ne sont pas de petites approximations. Google cite deux exemples : à une question sur un logiciel malveillant, une IA répond que le plus sûr est de se débarrasser de l’appareil. À une question sur des réglages de confidentialité, une autre conseille d’ouvrir un compte dans une autre banque.

Autre souci : posée cinq fois, la même question ne donne pas la même note. L’écart type monte jusqu’à 12 points. Deux personnes avec le même problème peuvent donc recevoir deux conseils de qualité très différente.

Pour aller plus loin : c’est quoi, un benchmark ?

C’est un examen standardisé pour IA : les mêmes questions pour tout le monde, et une grille de correction écrite par des experts. Ici, c’est une autre IA qui corrige les copies avec cette grille, et ses notes collent bien à celles des experts humains.

Mais un examen a ses limites. Les questions sont uniquement en anglais, sans capture d’écran, et la conversation s’arrête après une seule réponse : impossible d’ajouter une précision. Surtout, les versions testées (GPT 5.3, Claude Opus 4.6, Gemini 3.1 Pro…) ont été évaluées en début d’année et ont déjà été remplacées par de nouvelles générations. Google assure que son dernier modèle, Gemini 4 Carbon, fait mieux que ses prédécesseurs à cet examen. Sa note, en revanche, n’apparaît pas dans le billet qui l’annonce.

🤖 Le Hype-o-mètre de Tèkos : 👍 Vraiment utile

« Une étude qui ose noter les conseils des IA au lieu de les croire sur parole, j’applaudis. Pour un mail louche, demande-nous. Pour ta banque, demande à ta banque. Et si un robot te dit de jeter ton ordinateur, garde-le, et change de robot. »

À suivre : les auteurs prévoient des versions en plusieurs langues et en conversation suivie. On mettra ce décryptage à jour si les auteurs notent les modèles de nouvelle génération.

Sources

  1. Google — How Google is making cybersecurity advice from AI more helpful (17/11/2026)
  2. UCL et Google — HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice (arXiv)

L'essentiel, dans ta boîte mail

La tech et l'IA qui comptent, sans jargon. Gratuit.

Gratuit, sans spam. Désinscription en un clic. Confidentialité

À lire ensuite

Toute l'actu →