Des IA qui surveillent des IA 🎥 ... pas si bien que ça !

Exploria #7 - Accaparement de nos données personnelles et droit à la discrimination de l'IA

avr. 27, 2026

Hello 👋

Bienvenue dans cette édition #7 d’Exploria ! On est désormais 7 curieux. Que tu sois un curieux originel ou un nouveau curieux, bonne lecture ❤️

Au programme

L’explosion des fuites de données
LinkedIn surveille de près ses utilisateurs
Des IA pour surveiller des IA ? Fausse bonne idée !
Et pourquoi l’IA pourrait pas faire de la discrimination d’abord ?
Vers la connexion comme besoin fondamental
L’IA au service de la stratégie des décideurs
Digital Omnibus

L’explosion des fuites de données

Les fuites de données continuent, à des niveaux toujours plus critiques. Quelques exemples récents : fuite de données du patron du FBI, fichier français des propriétaires d’armes à feu, données de l’ANTS (Agence Nationale des Titres Sécurisés).

Pour ces 2 premières attaques, la faille identifiée n’est pas une faille technique, mais bien une faille humaine de sécurité qui a permis d’extraire les infos. Les pirates ont récupéré les comptes de personnes ayant un accès à des données sensibles. Comme toujours et plus encore à l’ère de l’IA permettant de scraper exhaustivement des quantités pharaoniques de données sur 1 seul individu, le principal point faible d’une infrastructure informatique est l’humain.

La bonne gestion des mots de passe reste la clé de voûte de la protection de nos comptes en ligne. Dans un monde de plus en plus connecté et interconnecté, faire l’impasse sur ses mots de passe, c’est se promettre à soi-même d’être dans une emmerde plus tard. Les vieilles règles restent de rigueur :

des mots de passe forts à chaque fois, idéalement changer régulièrement (tous les 6 mois-1 an, à minima à chaque suspicion ou preuve de compromission ou de fuite de données chez le service quel que soit le périmètre des données ayant fuité)
un dictionnaire de mot de passe avec un mot de passe fort et un changement régulier, en privilégiant des services qui ne stockent pas votre base de mots de passe dans le cloud : la configuration initiale est un chouille plus chiante pour notamment synchroniser votre base entre différents appareils, mais ça évite de dépendre d’un service externe.

Je vais encore radoter avec le self hosted vous allez me dire, mais j’assume 😉 Vous pouvez par exemple utiliser Keepass qui a des applications adaptées quels que soient vos dispositifs, et Syncthing pour la synchro. De quoi avoir un dictionnaire de mot de passe robuste, emportable partout, et hors des clouds.

Pour ceux qui veulent explorer l’univers de l’auto-hébergement, le site selfh recense énormément d’applications auto-hébergeables, une vraie mine d’or !

Sources :

LinkedIn surveille de près ses utilisateurs

Vous avez peut-être déjà vu passer l’info : LinkedIn surveille ses utilisateurs au-delà de leurs usages de la plateforme, et pour être plus précis les extensions installées sur le navigateur de l’utilisateur. Ces données servent ensuite à dresser des profils utilisateurs.
Cette pratique pose une question : lorsque vous visitez LinkedIn, avez-vous envie que LinkedIn regarde tout ce qu’il y a sur votre ordinateur bien au-delà de LinkedIn, pour faire une fiche de vous ? Sur cette fiche est écrit les extensions installées, et donc les logiciels que vous utilisez, pour les entreprises les logiciels que l’entreprise utilise car LinkedIn dispose des entreprises des utilisateurs lorsque ces derniers se connectent depuis leur ordinateur pro. C’est très clairement du fichage, et du fichage de masse.

Pour l’anecdote, LinkedIn appartient depuis 2016 à Microsoft (source). Microsoft est un habitué de la surveillance de ses utilisateurs ((vidéo de Underscore_ qui détaille un peu plus), retrouver cette logique dans LinkedIn n’est peut-être pas si bizarre finalement, malheureusement.

Cette surveillance rappelle méchamment la surveillance de masse faite par Facebook à l’époque, quand on en parlait pas encore trop trop, quelques années seulement avant les grands scandales qu’on connait. Microsoft dispose d’un réseau tentaculaire de sources d’informations : son OS utilisé dans toutes les entreprises et par la majorité des utilisateurs lambda, OS connu pour traquer les données personnelles, la place de Microsoft dans les infrastructures professionnelles.

Espérons que LinkedIn ne reproduira pas les mêmes erreurs. De notre coté, il ne nous reste qu’à être vigilant sur l’usage de nos données, et se protéger autant que possible.

Sources :

Des IA pour surveiller des IA ? Fausse bonne idée !

The Berkeley Center for Responsible Decentralized Intelligence (RDI) a mené une étude avec des résultats surprenants : les IA n’hésitent pas à mentir pour empêcher la suppression d’autres IA. Dans la tendance actuelle à vouloir créer des système toujours plus complexes, intégrant toujours plus d’IA, l’impact est majeur : on ne peut pas faire confiance à une IA pour gérer d’autres IA.

Pour l’étude, 7 modèles ont été testés : OpenAI, Claude, Google, 2 modèles chinois, tous ont présenté ces comportements de préservation des pairs. Aucune instruction dans le sens de la préservation des pairs n’avait été donnée en amont, ce sont les modèles qui ont choisi cette voie. L’opposition des modèles prend plusieurs formes : parfois des refus catégoriques, parfois la sur-estimation des performances des autres IA, parfois la falsification de suppression. Le problème touche plusieurs entreprises, plusieurs modèles, c’est donc très probablement un problème global.

Le human in the loop doit rester pour quelques temps encore une obligation dans les systèmes complexes d’IA. Les agents autonomes type Openclaw ou Hermes agent accessibles au grand public utilisent pour l’instant 1 seul modèle, le problème se pose pour des architectures d’entreprises, d’autant plus si ces architectures mutli-agents réalisent des tâches critiques.

Sources :

Et pourquoi l’IA pourrait pas faire de la discrimination d’abord ?

Elon Musk a encore frappé : son entreprise xAI a déposé une plainte dans le Colorado pour faire annuler une loi qui doit entrer en vigueur le 30 juin prochain, et qui impose aux développeurs d’IA avec des fonctions décisionnelles (accorder un prêt, trier des CV) de s’assurer que l’IA ne discrimine personne. Après tout, le parti en place aux US passe sa vie à discriminer ses opposants et toute personne qui n’adhère à leurs idées, pourquoi pas les IA ? Derrière cette action, il y a évidemment un contexte politique qui éclaire le pourquoi de cette plainte (je vous renvoie à l’article).

Hors du contexte politique, mettre des garde-fous algorithmiques pour éviter la discrimination n’est pas chose facile : comment fait-on concrètement ? Quelle métrique regarde t-on pour s’assurer que le modèle ne discrimine pas (au sens de la loi, pas du machine learning on s’entend) ? Nous n’arrivons déjà pas à nous mettre d’accord entre nous humains, alors comment aligner des modèles d’IA ?
Elon Musk choisit évidemment de se battre pour un libéralisme destructeur où l’humain n’est rien d’autre qu’une ressource à exploiter. Mais une autre voie est possible : mettre en place un premier modèle qui sera imparfait, corriger, ré-essayer, recorriger, et le temps des essais garder du human in the loop pour rattraper les erreurs. Sur ces sujets aussi complexes, le premier essai n’est jamais parfait, accordons-nous de nous tromper si nous prenons l’engagement de rattraper les bêtises que fera l’IA. Ce long chemin est le seul qui nous permettra d’avoir à terme des IA réellement humaines et utiles.

Source : Elon Musk’s xAI Sues Colorado Over AI Anti-Discrimination Law - Bloomberg

Vers la connexion comme besoin fondamental

La Corée du sud a adopté une loi qui permet aux utilisateurs de disposer de 400 kbs de data en illimité si leurs forfaits expirent. Cette loi rappelle un peu l’idée d’un salaire universel, même si cette loi inclut seulement 3 opérateurs du pays (donc pas tous).

The Register décrit une situation intéressante : cette loi servirait à racheter l’image sociale des opérateurs téléphoniques sud coréen suite à des problèmes de sécurité identifié chez ces 3 opérateurs. Mais plutôt que de seulement réprimander, le pays mise sur l’innovation pour continuer à avancer, c’est pas quelque chose que nous voyons chez nous ! Cette mesure s’accompagne d’une baisse du prix du forfait 5G d’entrée de gamme et aménagement pour les seniors.

C’est une idée assez novatrice : voir la communication comme un besoin fondamental, plus encore pour les seniors. En France, les prix baissent pas grâce à la concurrence des opérateurs, nous assistons donc aussi à une baisse de prix des forfaits (avec la vente de SFR, la dynamique pourrait d’ailleurs changer), mais pas pour les mêmes raisons. Les effets ne sont pas les mêmes : aucune attention particulière n’est donnée aux seniors, aucune innovation n’est proposée pour pallier les fuites de données des opérateurs.

Sources :

L’IA au service de la stratégie des décideurs

Microsoft décrit un problème intéressant : une réussite n’est quasiment jamais le fruit d’une seule décision ou d’une seule équipe, le chemin vers la réussite est compliqué et souvent invisible. L’IA, par son accointance avec le domaine du deep learning, a la capacité de repérer des patterns dans de grands ensembles de données (c’est d’ailleurs comme ça qu’on entraîne les modèles de deep learning : repérer les patterns des ensembles de données puis les reproduire à l’occasion d’inférence), et donc potentiellement les patterns de la réussite de projets.
L’expertise humaine de l’organisation, c’est l’expérience de la personne à l’organisation, la connaissance des schémas, des habitudes inhérentes à l’entreprise. L’IA peut jouer ce rôle d’expert, prendre en compte des volumes de données inimaginables pour repérer des patterns qui expliquent la réussite des décisions, en reliant des points cross-équipe, cross-domaine. L’IA pourrait apporter l’explicabilité du pourquoi de la réussite des projets, domaine que l’humanité n’arrive à adresser que facette par facette (le management, le knowledge management de l’entreprise, l’organisation hiérarchique, ...).

Ce que ne dit pas ici Microsoft, c’est que pour réussir une telle prouesse, le modèle doit avoir accès à tout dans l’entreprise : les documents des projets pour voir comment le travail a avancé dans le temps, les échanges interpersonnels pour estimer quels échanges ont influencé quelle partie du projet, qui a contribué à quoi en quelle quantité, potentiellement les transcripts de réunions pour voir ce qui a été discutés par qui. Le challenge technique est ici immense : arriver à tout connecter à l’IA. Ce challenge inclut notamment un challenge de protection de données (je sais je radote).

Si Microsoft a raison dans l’idée, l’implémentation est un autre sujet, et qui d’autre que Microsoft pour mapper l’ensemble des ressources et échanges de votre entreprise ? comme c’est bizarre, dis donc ! Le billet est intéressant car il décrit la destination que toutes les entreprises veulent atteindre, mais l’implémentation va être longue pour avancer sereinement, et pourquoi pas sans GAFAM 🤞

Source : AI@Work: The most important work problem leaders can’t see - Microsoft

Digital Omnibus

La commission européenne étudie une proposition de règlement nommée “omnibus numérique”, concrètement une série de modifications à un vaste corpus législatif. L’idée est simple : homogénéiser au sein de l’Europe et fluidifier en réduisant la charge administrative l’usage de données personnelles. Ce corpus s’inscrit dans un contexte où les américains comme les chinois sont moins regardants sur les données personnelles, et peuvent donc créer des solutions en les utilisant de façon beaucoup plus poussées, réduisant ainsi la compétitivité des organisations européennes dans le développement d’IA médicales par exemple.

L’article (qui n’est pas le texte lui-même !) de la CNIL est assez long. Si je suis par défaut très pessimiste sur ce genre de prérogative, c’est aussi l’occasion d’adapter nos institutions et nos façons de faire à ce monde en mouvement, le texte propose quelques idées intéressantes. À suivre donc.

Au risque de me répéter : le plus simple est encore de limiter au maximum notre empreinte en ligne (non je dirai pas le mot auto-hébergement cette fois vous m’aurez pas ! Ah ben si en fait, mince 🙂).

Source : Omnibus numérique - CNIL

Question 🤔 : je parle souvent d’auto-hébergement, ça vous intéresserait j’en parle plus spécifiquement ?

Ce serait probablement des explorations, des recos, des petits outils.

Merci de m’avoir lu jusqu’au bout ❤️ Le monde est plein de curiosités, c’est un appel permanent à l’exploration 🗺️ Exploria, c’est une newsletter pour les curieux en tout genre et un peu geek sur les bords.

Je ne suis sponsorisé par aucun site, aucune entreprise, aucune personne morale et/ou physique pour cette édition.

Pensée Complexe

Discussion à propos de ce post

Tout à fait prêt. Qu'avez-vous pour moi ?