La menace posée par les générateurs de texte basés sur des modèles de langage de grande taille

Contexte des menaces : Les menaces les plus probables

Campagnes d’influence en ligne : Avant les générateurs de texte basés sur des LLM, les campagnes d’influence en ligne exigeaient que des êtres humains produisent le contenu et propagent la désinformation pour influencer les croyances et les comportements. Les générateurs de texte basés sur des LLM comme ChatGPT aident ou remplacent les rédactrices et rédacteurs humains afin de produire en masse des documents, des commentaires et des discussions qui visent à diffuser ou à amplifier la mésinformation ou la désinformation. Nous estimons que le Canada peut être particulièrement vulnérable aux campagnes d’influence en ligne faisant appel aux LLM en raison de la grande consommation de contenu de médias sociaux des Canadiennes et des Canadiens.^{Note de bas de page 8}

Campagnes d’hameçonnage par courriel : Les LLM génèrent du texte synthétique à propos d’un sujet en particulier et dans un style particulier. Les progrès réalisés sont tels qu’ils arrivent maintenant à produire du contenu qu’il est souvent quasi impossible de distinguer d’un texte rédigé par un être humain.^{Note de bas de page 9} Les auteures et auteurs de cybermenace peuvent taper du texte dans les générateurs de texte à l’invite pour rédiger rapidement des courriels d’hameçonnage ciblés en vue de voler, entre autres, l’information sensible, les justificatifs d’identité ou les données financières des victimes.

Humain ou machine : Nous estimons que les outils de détection de l’apprentissage automatique actuels sont très probablement incapables de reconnaître le texte généré par des LLM. Selon nos observations, étant donné l’absence d’outils de détection de contenu synthétique efficace et la plus grande disponibilité des générateurs de texte basés sur des LLM, il est probable que les campagnes d’influence en ligne visant à répandre la désinformation soient de plus en plus difficiles à détecter, paraissent authentiques ou soient produites à large échelle, rendant ainsi impossible la reconnaissance manuelle. On estime également qu’il est très probable que les améliorations apportées à ces technologies fassent en sorte que les êtres humains aient plus de difficulté à les détecter, ce qui affectera du même coup la capacité des entreprises de médias sociaux à détecter et à supprimer le contenu synthétique.

Menaces potentielles improbables

Code malveillant : Comme les LLM peuvent écrire des extraits de code dans les langages de programmation populaires, dont JavaScript, Python, C#, PHP et Java, les personnes voulant créer du code peuvent y arriver sans avoir à démontrer de solides compétences.^{Note de bas de page 10} Certains générateurs de texte basés sur des LLM disposent d’une fonction de codage que les auteures et auteurs de cybermenace pourraient exploiter pour créer du nouveau code malveillant.^{Note de bas de page 11} Nous estimons toutefois qu’il est improbable que les générateurs de texte basés sur des LLM puissent être utilisés pour créer du code sophistiqué donnant lieu à une attaque du jour zéro.

Empoisonnement des jeux de données : Les LLM sont entraînés à partir de jeux de données linguistiques de grande taille. En théorie, les auteures et auteurs de cybermenace pourraient injecter des données ou modifier les données utilisées pour entraîner les versions plus récentes des LLM de manière à altérer l’exactitude et la qualité des données générées. Par contre, en raison de la grande taille et de la nature exclusive des jeux de données, nous jugeons que l’empoisonnement de ces jeux de données volumineux est très peu probable.

Risques pesant sur les organisations

Les organisations qui utilisent des générateurs de texte basés sur des LLM ou d’autres générateurs basés sur l’apprentissage automatique pour mener leurs activités pourraient affaiblir leurs responsabilités en ce qui a trait à l’intendance des données ou éluder les structures qui protègent l’information sensible. Elles pourraient utiliser les générateurs de texte basés sur des LLM pour :

• effectuer des recherches;
• commenter les résultats;
• compiler des statistiques;
• rédiger des courriels;
• produire des rapports internes.

Vous trouverez ci-dessous quelques exemples de risques particuliers associés à l’utilisation de ces générateurs de texte.

Gouvernance des données : Les générateurs de texte basés sur des LLM exigent une saisie ou une intervention de la part de l’utilisatrice ou de l’utilisateur. Le texte saisit par une employée ou un employé pourrait donc contenir de l’information relevant d’une organisation. Dans le but de générer le texte de sortie voulu, les données saisies sont transférées sur des systèmes sur lesquels l’organisation n’a aucun contrôle et qui sont sous la garde du fournisseur de service. Ces données peuvent également être réintroduites dans le LLM ou stockées à d’autres fins. Une utilisation non autorisée des outils en ligne expose l’information de tiers et va à l’encontre des exigences en matière de gouvernance des données organisationnelles.

Sécurité de l’information protégée : Les membres d’une organisation qui font des saisies dans des générateurs de texte basés sur des LLM pourraient également divulguer sans le savoir de l’information sensible, comme des renseignements personnels et de l’information commerciale confidentielle, à l’extérieur des cadres politiques et de sécurité approuvés. Par exemple, faire appel à un générateur de texte basé sur des LLM pour rédiger une réponse à la demande d’une cliente ou d’un client pourrait faire en sorte que l’on utilise ses renseignements personnels à l’extérieur des réseaux approuvés ou à d’autres fins que celles pour lesquelles l’information a été recueillie, augmentant du coup les risques que cette information fasse l’objet d’une fuite par l’entremise d’une tierce partie.