Comme d’habitude, Mr Phi a bien fouillé les articles sur le sujet et donne un état de l’art sur les preuves mathématiques par des LLMs
Comme d’habitude, Mr Phi a bien fouillé les articles sur le sujet et donne un état de l’art sur les preuves mathématiques par des LLMs
Ouais sinon on arrête les LLM de merde et on réaffecte 1% des couts de l’IA dans la recherche et on obtient des résultats fiables et une humanité qui n’empire pas, et avec une planète qui ne part pas en combustion spontanée dans les 6 mois.
Sinon, tu as aussi le droit de regarder une vidéo avec de nombreux mathématiciens, y compris Medaille Fields, qui disent que c’est une avancée majeure et que non seulement la preuve est correcte, mais qu’elle est en plus élégante et originale…
Oui, ça change les capacités intellectuelles qui sont utiles pour les humains. Et il se trouve que le mec qui fait cette vidéo, l’angle qui l’intéresse le plus, c’est la philosophie. Et que ça, il en parle. Et il parle des pistes que les mathématiciens, justement, posent eux-mêmes sur leur propre discipline.
Arrêter les modèle de merde ça inclut pas arrêter les modèles de recherche. Mais ça inclus les llm de surveillance heureusement
Mais enfin, vous n’y pensez pas !!
– C’est impossible !!
Si si c’est tout à fait possible, il suffit de sortir du capitalisme et de mettre d’accord la Chine et les US, et accessoirement la France, sur le fait que ce qui semble effectivement être la plus grosse avancée d’ingénierie depuis l’invention de l’informatique est en fait quelque chose qu’on doit arrêter juste parce que quelques personnes se sentent inconfortables d’une façon qu’ils n’arrivent même pas à formaliser.
Ah oui, le changement climatique et la destruction de la planète c’est inconfortable.
Je pensais pas voir des AI-bros ici
Je pense pas que l’ambiance soit giga AI bro ici, c’est plus un mix entre “l’usage de l’IA pour tout et n’importe quoi a un impact social et écologique énorme” et “il faut bien admettre que dans certains domaines l’IA semble permettre des découvertes”
Cette vidéo penche plus du deuxième côté, mais je pense que tout le monde a bien conscience des conséquences négatives de l’IA.
Franchement, quantifiez l’impact écologique de l’IA avant de le dire “énorme”.
Il y a énormément d’activités humaines qui ont un impact nul, voire négatif, qui ont un impact écologique bien plus grand.
Quant à l’impact social, oui, il me paraît clair qu’il est énorme, il est gigantesque. Par contre, il ne m’apparaît pas évident qu’il soit négatif à long terme. Si on sort enfin de la tyrannie du travail et de l’obligation de travailler pour avoir droit à la survie, ce sera la plus grande avancée sociale de notre vivant.
Ouais, j’ai hésité à mettre impact énorme “dans les années qui viennent”.
C’est sûr que d’un côté, l’impact écologique réel de l’IA est discutable, c’est impossible de s’y retrouver. Il y a des exagérations dans les deux sens : oui, ça ne consomme pas tant que ça comparé à d’autres secteurs, mais ça be génère pas 0 émissions contrairement à ce qui a pu être sous-entendu. Entre les impacts de construction de datacenters et l’apports d’électricité produite par des sources fossiles (sachant que même les sources decarbonées ont un coût écologique à leur construction, qui est infime une fois étalé sur leur production mais qui existe), il y a forcément un impact à considérer, même s’il est relativisé.
Les apports de l’impact social, on verra bien, j’aimerais être aussi positif que toi. Jusqu’ici toutes les révolutions technologiques n’ont pas vraiment réduit la quantité de travail par rapport à une vie humaine, elles ont juste changé l’organisation du travail et la productivité. Peut-être que celle-ci est la bonne, mais je ne veux pas me faire de faux espoirs perso
Moi, je veux bien parler des gains et des coûts. Et je veux bien qu’on regarde le résultat net. Mais je refuse de le faire avec des gens qui ne veulent pas quantifier. La comparaison que je faisais à une époque et qui m’apparaissait assez pertinente, c’est que les gros modèles open source émettaient à peu près en CO2 autant qu’un avion faisant un vol transatlantique. J’utilisais cette base pour dire qu’une conférence internationale sur un sujet de recherche, c’était à peu près le même bilan carbone.
Il y a un certain consensus pour dire que les conférences internationales de recherche, c’est quand même un truc utile. Je pense qu’on peut probablement trouver plus d’avancées dans la recherche liées à des modèles d’IA que dans leur équivalent CO2 en conférences internationales. Je veux dire, rien que Alpha Fold nous fait faire une telle avancée qu’on a un offset pour un petit moment.
Et cette vidéo parle entre autres d’un aspect dont quiconque a fait un petit peu de recherche réalise la portée: Les LLMs aujourd’hui ont une immense culture scientifique dans tous les domaines et sont très bons pour faire de la recherche documentaire dans des domaines très différents. Le boost que ça donne en recherche d’avoir l’équivalent de 5 à 10 personnes qui font ta biblio, Je pense qu’il y a 10 ans, tous les chercheurs en rêvaient.
Bah quand même, si, et ce graphe ne tient pas compte des années de retraite et d’étude, bien plus nombreuses qu’il y a un siècle.
On notera quand même que toutes les professions qui avaient pour but principal d’utiliser la force musculaire ont disparu. Il y a toujours des gens qui font de la manutention, mais ils le font avec des machines. Et ça démultiplie leurs capacité de transport.
Le progrès technologique, lui, a tenu ses promesses, mais ce qui s’est passé, qui a fait louper le calcul qui nous promettait la fin du travail, c’est qu’on s’est rendu compte que les gens préfèrent avoir beaucoup plus de confort plutôt que de travailler moins. C’est enfin un calcul dont on est un petit peu en train de sortir avec la critique de la société de consommation. Mais aujourd’hui, si tu veux vivre comme quelqu’un de 1880 dans un logis insalubre (selon nos standards) sans eau et sans électricité, ça ne te coûtera pas très cher et tu peux travailler à temps très partiel pour ça.
Ouais, déjà qu’en quantifiant le débat est loin d’être tranché, sans quantifier c’est juste donner son ressenti on est d’accord.
Je ne relève pas particulièrement la comparaison avec les vols internationaux, je ne comprends pas bien si c’est l’usage total, un usage personnel ou l’entraînement du modèle qui correspond à un vol transatlantique. Quoiqu’il en soit, d’accord sur deux points : c’est pire de prendre l’avion, et à peu près autant utile, et on peut trouver des domaines où l’IA est particulièrement utile.
Sur la réduction du temps de travail, oui on est en pente descendante depuis le XIXe siècle, mais à l’échelle de l’histoire de l’humanité globale, c’est pas drastiquement descendu. Certaines révolutions ont contribué à le diminuer (notamment l’usage du pétrole), mais d’autres l’ont fait augmenter (la révolution industrielle et le travail en usine). C’est touchy, ça nécessite de définir le travail (faire ton potager ou ton asso le soir après le boulot, c’est du travail ?), mais à très grande échelle je juge que ça stagne, avec une tendance à l’amélioration récemment.
MDR, je ne peux qu’espérer que c’est une généralisation dont l’excès est assumé, parce que clairement non. Déjà, on va mettre de côté les pays en voie de développement. Mais même dans notre société, je sors de ma journée dans les vignes, j’ai pioché, j’ai ébourgeonné, j’ai cisaillé des branches. Oui, le secteur s’est énormément motorisé, mais y’a toujours de quoi bosser avec tes mains (on est d’ailleurs plus nombreux.ses côté ouvriers viticoles que côté tractoristes). Pour l’anecdote, les machines conduisent à de nouvelles tâches, ou en rendent certaines essentielles : par exemple, les machines à vendanger ne font pas le tri entre grappes et merdes qui traînent dans la vignes, donc c’est essentiel de virer certaines plantes qui résistent aux produits et seraient récoltées en même temps que le raisin, et pour ça on pioche. En vendanges à la main, ce serait pas un problème.
Sur l’équilibre confort / travail, on est plutôt d’accord, même s’il faut quand même souligner que c’est pas uniquement “les gens préfèrent du confort que de travailler moins”, c’est “la société a imposé le confort”, imposé à la fois au sens de suggérer massivement (société de consommation, pubs, toussa toussa) et au sens d’empêcher ou de complexifier le manque de “confort” (aujourd’hui, vivre sans voiture peut être un handicap majeur selon ta situation, et vivre sans téléphone/ordi idem).
Et dans le même bloc, à nouveau, la comparaison avec le XIXe siècle est légitime, mais ça reste une des pires périodes de l’humanité. Si je veux vivre aujourd’hui comme au Moyen-Âge (matériellement, pas dans l’organisation sociale), bah c’est vachement compliqué en fait. Je vais pas te mentir, perso avoir une vieille bicoque, un potager, et un boulot dans les champs du village, même sans eau courante et sans électricité, ça me chauffe bien, mais je suis bloqué pour l’accès au logement, l’accès au bois, l’accès à l’eau (rivières turbo-polluées, sources contrôlées par la communauté, etc.). Ça me va que les choses soient comme ça, qu’il faille faire avec, mais qu’on ne vienne pas me dire que je choisis tout ça parce que j’aime mon petit confort, j’ai pas eu mon mot à dire, et les masses non plus.
1-3% de l’électricité mondiale projetée en 2030. C’est énorme.
Consommer de l’électricité, ce n’est pas émettre du CO2.
L’électricité, c’est la façon la plus propre de consommer de l’énergie, au point que le GIEC recommande une électrification des process et une augmentation de la production d’électricité, évidemment de façon renouvelable et décarbonée.
C’est un réflexe purement américain d’essayer de faire une équivalence entre le kWh et le CO2 émis en faisant l’hypothèse qu’on va créer de l’électricité en brûlant du pétrole ou du charbon. On ne fait plus ça en France, et le monde en sort progressivement.
Attends tu peux pas séparer la consommation de la production nécessaire pour permettre cette consommation, même l’ademe et l’aee comparent les émisisons en conséquence de la consommation
Consommer de l’énergie c’est augmenter l’empreinte humaine. Le réchauffement climatique n’est que le problème actuel. Avant c’était la destruction dew cours d’eau, encore avant la disparition des forets, ça commence a être aujourd’hui la gestion des déchets de fission…
Ce genre de projection ne veut rien dire : on vient de vivre un boom de l’IA, évidement que l’empreinte du secteur a augmenté rapidement, on ne peut pas extrapoler ces dernières années aux années à venir.
On est déjà entre 1&2% aujourd’hui.
Le changement climatique est causé par l’émission de CO2. Les IA n’émettent pas de CO2. Zéro. Nichts. Nada. Kein. Wallou.
Elles consomment de l’électricité. L’électricité, on sait la générer sans émettre de CO2.
En général, à ce stade, la conversation change de but. On va se mettre à parler des terres rares, qui ne sont absolument pas rares, qui ne manquent pas, qui ne sont pas exploitées de façon disproportionnée par l’IA. Ou on va se mettre à parler de l’eau en faisant semblant de croire que l’eau c’est comme le pétrole, que c’est une ressource fossile.
Franchement, à un moment, je pense que je vais accepter cette épithète parce que l’inverse semble être du neoludisme qui fait semblant de croire que toutes les technologies sont néfastes tout le temps pour tout le monde alors que ce n’est clairement pas le cas. Moi, je suis un libristre, les start-upeurs me sortent par le nez mais apparemment, on est tech bro ou AI bro dès qu’on pense que c’est possible de générer l’électricité d’une façon renouvelable ou que l’informatique a des points positifs.
Donc si les gens qui développent de l’open source, des fab labs, qui font des formations pour des gens en réinsertion, l’initiation à l’informatique, de la récup, du recyclage, de l’upcycling, du recyclage de plastique, du développement de véhicules légers et intermédiaires (liste d’activités de tech bro auxquelles je m’adonne personellement), je pense que c’est un titre que je veux bien prendre, oui.
Vous savez que l’IA, vous avez aussi le droit de vous y intéresser d’une façon locale et ouverte, sans aduler Musk ou Altman, hein. Moi, les LLM que j’utilise, ils sont ouverts, refroidis à air sur du matos qui est chez moi.
Fabriquer des composants électroniques consomme énormément de CO2.
Fabriquer des éoliennes, des panneaux photovoltaïques, des barrages, centrales électriques, consomme énormément de CO2.
L’eau utilisée pour la fabrication des composants électroniques et pour le refroidissement des centrales électriques et pour le refroidissement des centres de données, c’est de l’eau potable. Va expliquer aux gens qui n’ont pas suffisamment d’eau potable pour vivre en bonne santé que c’est parce que t’en a besoin pour générer des images numériques s’il te plaît, perso j’ai honte.
Et quel process dans la fabrication de composants électroniques demande d’émettre du CO2, je te prie ?
Ce sont des process qui consomment de l’électricité. L’électricité, on sait la produire sans émettre de CO2. Ce sont des process qui demandent du transport. Le transport, on sait le faire sans émettre de CO2.
Les gens qui n’ont suffisamment pas d’eau potable pour vivre en bonne santé n’en auraient pas plus si on éteignait les data centers qui sont à l’autre bout du monde aujourd’hui. Les tensions hydriques, ça ne fonctionne pas comme ça, c’est quelque chose de très local.
https://letmegooglethat.com/?q=datacenters+in+regions+with+hydric+stress
Et moi, je n’ai aucun problème à expliquer aux gens qui ont voté pour des connards ultra-capitalistes que si leurs dirigeants ont préféré filer de l’eau à des industriels plutôt que de réparer les structures qui donnent de l’eau potable, c’est plus un problème politique qu’un problème technologique.
https://letmegooglethat.com/?q=carbon+footprint+of+electronic+components
https://ecochain.com/blog/scope-1-2-and-3-emissions-overview-to-direct-and-indirect-emissions/
ah oui les datacenter faits en terre-paille compostable oui
Je crois que t’as pas compris que la critique n’est pas sur la technologie mais bien spécifiquement sur les fondations politiques et écologiques de l’IA. Personne ici ne se plaint des fab-labs. Ça serait bien d’être un peu sérieux dans tes arguments
Ce serait bien que vous soyez un petit peu rigoureux dans vos critiques aussi également.
Ne dites pas IA quand ce que vous critiquez, c’est la Silicon Valley. Ne parlez pas des LLM quand le problème c’est Peter Thiel ou Sam Altman.
Personne ici ne se plaint des fablabs, pourtant ce genre de discussion néoludite, c’est ce qui a amené des gens à incendier celui que j’avais aidé à fonder à Grenoble. Parce que tu comprends, il y a des ordinateurs, donc ça procède aux nécro-technologies de Minatech qui est à l’autre bout de la ville.
Donc ne venez pas parler d’IA si vous venez parler de politique et d’écologie. L’IA, c’est un domaine de l’informatique qui est purement algorithmique. Il n’y a, à mon grand regret d’ailleurs, aucune pensée politique derrière l’IA. À la limite, vous pourriez dire que la pensée politique qui en est le plus proche est celle du revenu universel, parce que ces deux notions sont souvent très liées, et que vous trouverez beaucoup de personnes dans l’IA qui pensent que justement, elle permettra d’implémenter ce genre de choses.
Mais les gens dont vous entendez parler et que vous associez à cette technologie, ce sont des patrons d’industrie. Ce sont des gens qui vendent de l’IA, mais qui auraient vendu de l’acier il y a 100 ans, ou des chemins de fer, il y en a 150. Ils n’ont rien à voir avec la tech, ils ont tout à voir avec le capitalisme.
C’est incroyable d’être aussi stéréotypé que ça.
C’est qui qui a incendié ton fablab ? Je suis pas d’accord avec toi donc c’est forcément moi ? Tous les gens qui s’opposent à l’IA ont brûlé ton fablab ? Est-ce que je te traite de pédocriminel parce que yen a qui utilisent l’IA ? Un peu de rigueur stp
Si tu penses que l’IA est purement algorithmique c’est que tu fermes volontairement les yeux sur la politique. Tu veux juste pas la voir mais il y a une vision politique bien précise de l’IA. La domination est au coeur de son idéologie. Quelle que soit sa forme, appeler quelque chose spécifiquement IA (et pas juste llm, ou machine learning, ou…) c’est toujours de la domination de l’homme, généralement blanc, sur tout le reste. Ce que fait l’IA ne sort pas de nulle part, moi aussi j’aimerais bien que ça pousse tout seul sur les arbres et ya qu’à se baisser mais c’est pas ça la réalité. Il n’y a pas d’intelligence sans définir ce que c’est et oh surprise, la totalité de ses fondations sont faites par des hommes blancs dominants, dont certains ouvertement racistes quand on regarde dans quel but les tests de QI ont été inventés. Une intelligence artificielle n’est jamais créée dans le but d’être autonome mais toujours utilisée. La totalité de l’histoire du terme est solidement ancrée sur de la domination de l’homme sur le reste.
Utilise llm ou autre si tu veux parler strictement technique, mais attends-toi à ce qu’on te dise qu’on ne peut pas aborder la technique en faisant comme si les aspects sociaux n’existaient pas, ça n’a aucun sens.
Et c’est moi le stéréotype…
Je vais pas répondre au reste parce que la flemme de debunker un aibro, mais juste une chose : un modèle local est rarement entrainé en local, et dans tous les cas décentraliser les couts de l’IA ne la rend pas plus efficace. Le local c’est pour des questions de vie privée, pas d’environnement.
M’enfin je sais même pas pourquoi je m’emmerde à taper ça quand la personne en face essaie de jouer martyr.
“la flemme de débunker un aibro”… bravo le niveau. Tu n’es pas obliger de polluer les discussions auxquels tu ne veux pas prendre part.
On est quand même en droit de penser qu’il vaut mieux avoir des GPU à 400W qui font des spikes occasionnels et déversent quelques calories dans le buffer thermique d’une résidence (où elles sont compensées mécaniquement par moins de chauffage etc…), que des data centers en spike permanent qui dumpent des MW de chaleur dans leur environnement immédiat.
Et en vrai, même les data centers pourraient faire le choix de se refroidir à l’air ou pourraient se mettre à des endroits où leur consommation d’eau ne poserait aucun problème ou alors pourrait faire comme les incinérateurs et alimenter des réseaux de chaleur. C’est purement un problème capitaliste et politique, ça.
Microsoft avait expérimenté avec Data Center immergé. Je crois que la Chine en a également. L’histoire de chuaffage, là, c’est vraiment un problème artificiel.
Pour le coup je pense que l’océan c’est le pire endroit possible pour dumper autant de chaleur. C’est vraiment très problématique surtout que ça nuit à la capacité de l’eau à absorber le CO2 de l’air donc ça a un effet composé.
Après pour les résaux de chaleur c’est super intéressant je ne sais pas dans quelle mesure c’est possible mais du coup un DC avec énergie décarbonée + production de chaleur pour la communauté locale ça devient assez attrayant comme proposition.
Oui, et puis le debunking, c’est dur, ça demande à se baser sur la réalité.
Oui, en effet, c’est moins efficace d’avoir de l’inférence décentralisée. Merci de rappeler que les data centers, en fait, représentent une économie en énergie. Par contre, il y a une question de mix énergétique qui se pose vraiment entre les data centers situés aux US qui vont tourner aux énergies fossiles et ceux situés en France qui vont tourner au nucléaire décarboné.
La réalité :
Après je ne suis pas anti-ia. En recherche elles ont leur place. En automatique et conduite aussi. En décisionnel c’est une très mauvaise idée, même si on arrive a diminuer les biais qui sont produits en miroir de notre société. En médical c’est pas du tout mûr. En psychologie c’est dangereux car incontrôlable. En militaire c’est a contrôler à fond, faire les dernier 500m d’un drone vers un tank n’a rien a voir avec appliquer une stratégie destruction définitive des terres agricoles enemies car c’est efficace et le faire sans que les humains ne s’en rendent compte / n’interviennent. Associé a des humanoïdes / robots de présence / de conversation c’est complètement idiot, ça délite encore plus une société. Idem pour les arts. En agriculture intensive je vois du potentiel rapidement (est-ce souhaitable?) en extensif a moyen terme, en permaculture on en est très loin.
Après, pour le décisionnel, quand on voit la baseline, je ne sais même pas si les IA d’aujourd’hui ne sont pas prêtes. Alors oui, moi je trouve qu’il vaut mieux attendre que des progrès soient faits. Mais je dirais que les LLMs d’aujourd’hui ont un niveau de culture et d’intelligence qui est supérieur à la moyenne des dirigeants humains aujourd’hui.
De toute façon c’est un peu parler dans le vent que de se demander si “l’IA” c’est “bien” ou “pas bien”, la seule question sensé et concrète c’est “qu’est-ce qu’on fait de l’IA ?”.
deleted by creator