A propos de ce blog

 

 S'abonner par RSS ou mail

French Web 2.0 Group Linked In
Rejoindre le French Web 2.0 Group
french 2.0
Technorati Profile

Mes Liens

Une Idée pour Faire Face aux Intelligences Artificielles Malfaisantes

Just a comment I dropped on a recent post by Michael Anissimov's on his blog Accelerating Future:

Michael, you write smart articles and ask tough questions. And there are many smart people reading you and posting comments.

But you know as well as I do that no one has come up with a clear and definitive answer to these problems. How could we solve these mysteries? Maybe we're not smart enough to find the answers.
I was just thinking: maybe a little (early-stage) intelligence enhancement could help us grasp what's in store for us when the subsequent generations of huge intelligence enhancements arrive.

We believe that once humans build smarter-than-human intelligence, it will engage a positive feedback loop and enhance itself, probably at an accelerating or even explosive rhythm. But right before it happens it would be nice if that smarter-than-human intelligence could join us, participate at SIAI, LifeBoat Foundation & other places and help us get ready to face rogue AIs.

Future Evolution of Software, Computing, and Self-Improving AI

One for my most geeky readers: you think you've thought it all out already? Well sit back and watch this lecture by Stephen Omohundro at Stanford a few days ago. He explains clearly how and why designing software that writes software with rational economics goal systems is the way to self-improving systems.


It's funny how we, engineers, will probably get replaced by machines in our daily jobs too.

Found via the SIAI blog which also links to audio, slides and a transcript.

Matrix, Terminator, Robocop, Info ou Intox ?

L'évolution de la robotique et de l'intelligence artificielle s'accélère. Comme nous l'annonce le SIAI, cette évolution pourrait s'emballer et donner lieu à la Singularité Technologique.

Dans son interview du 15/10/2007 sur ITworld.com, Ian Pearson, futuriste attitré de British Telecom depuis 1991 nous fait part de ses prédictions qui placent l'arrivée d'une intelligence artificielle consciente dès 2015, et dépassant l'intelligence humaine vers 2020.

En réponse au journaliste, Pearson commente les espoirs qu'on peut fonder sur ces avancées mais également les craintes qu'on peut avoir. En particulier la question revient comme souvent sur le risque de créer Matrix ou bien Terminator. Ces questions sont-elles bien pertinentes ?

Pour y voir plus clair, lisez ce post sur le blog "Overcoming bias" de Eliezer Yudkowsky : il y explique que c'est un faux raisonnement que de généraliser ainsi à partir de la fiction. Il faut reconnaître que son argumentation tient debout. La fiction n'est pas une base solide pour fonder des prédictions.

Alors parlons des faits : Noah Shachtman nous relate dans ce post une tragédie qui s'est déroulée en Afrique du Sud lors d'une séance d'exercice militaire la semaine dernière où un Robot Canon anti-aérien déréglé façon Robocop s'est mis à canarder dans tous les sens, tuant 9 soldats et en blessant 14 autres !

Donc je suis d'accord avec Eliezer Yudkowsky, il ne faut pas de prédire l'avenir uniquement en nous référant à la science fiction. Mais réalisons tout de même qu'en armant des robots avec des gros flingues, on joue avec le feu. Même avant d'avoir des intelligences artificielles générales (AGI) on a déjà à en découdre avec les bugs, même ordinaires, qui ne manquent pas de se glisser dans ce genre de systèmes...

Réalisons également que c'est une problématique d'arbitrage : les hommes aussi font des erreurs. Les robots militaires autonomes sont développés avant tout dans le but d'épargner les vies de nos soldats et des civils en général. Il est donc indispensable de comparer les risques de toutes les solutions envisageables.

Et vous, ça vous fait peur Matrix et Terminator ? Ou bien êtes-vous optimistes quant aux promesses de ces évolutions pour les 50 ans à venir ?

Les 3 Ecoles de la Singularité Technologique

Qu'est-ce que la Singularité Technologique ?

Laissons de côté les conséquences positives ou négatives qu'elle peut impliquer et penchons nous sur la définition de ce concept. Lors du Singularity Summit 2007 le mois dernier, Eliezer Yudkowsky nous a clarifié différents aspects de la Singularité en distinguant les 3 Ecoles de la Singularité Technologique. Voici ma version de son exposé, +/- traduite de son article sur le blog de SIAI (avec son autorisation) :

Accélération des Changements (accelerating change)

C'est l'école de Ray Kurzweil et John Smart. Elle est fondée sur une analyse et une modélisation de l'histoire des changements depuis le Big Bang et notamment de l'évolution des technologies de l'information.

Proposition de base

Notre intuition nous ment en nous baignant dans l'illusion du progrès linéaire. On s'attend à voir autant de changement dans le futur que l'on en a connu dans le passé. Or nos innovations technologiques servent à la recherche de nouvelles innovations. Le progrès technologique s'auto-alimente et donc s'accélère. Il y aura donc plus de changement dans les années qui viennent que dans les années passées.

Proposition forte

Le changement suit une courbe prévisible, disons en exponentielle. On peut donc prédire l'arrivée de telle ou telle technologie, comme par exemple l'intelligence artificielle générale : il suffit de calculer quand un certain seuil sera franchi par l'exponentielle.

Horizon des Evènements (event horizon)

Terme inspiré des trous noirs en astrophysique. Le principe est celui d'une limite que l'on ne peut pas franchir par la pensée. On ne peut pas savoir ce qui se passe au-delà. C'est une thèse de Vernor Vinge.

Proposition de base

Depuis cent mille ans, les humains sont les êtres les plus intelligents sur cette terre. Ce sont les cerveaux humains qui ont permis nos avancées sociales et technologiques. Or la technologie va bientôt permettre d'améliorer l'intelligence humaine : soit sous la forme d'une intelligence artificielle, soit à l'aide d'interfaces entre cerveaux et ordinateurs. Cela va engendrer un futur bien plus étrange que la science fiction aie pu prédire. Bien au-delà des gadgets brillants qui font bip bip.

Proposition forte

Pour comprendre ce que ferait une intelligence supérieure, il faudrait avoir cette intelligence supérieure. Le futur après l'apparition de l'intelligence surhumaine est donc absolument impossible à prédire.

Explosion d'Intelligence

Thèse défendue par I. J. Good et Eliezer Yudkowsky.

Proposition de base

L'intelligence est source de technologie. Si la technologie permet d'améliorer significativement l'intelligence, alors la boucle est bouclée et nous obtenons un feedback positif. Que feraient des humains rendus plus intelligents grâce à des interfaces cerveau-ordinateur ? On peut parier qu'ils auraient l'idée d'utiliser leurs nouvelles capacités pour concevoir la génération suivante d'interfaces cerveau-ordinateur - de même pour des intelligences 100% artificielles. Plus vous êtes intelligent, plus vous avez le moyen de vous rendre plus intelligent encore.

Proposition forte

L'explosion d'intelligence s'emballe comme une réaction en chaîne - similaire au phénomène de l'explosion nucléaire. Chaque étape apporte une amélioration d'ordre supérieur à 1000, même si ce n'est pas une exponentielle parfaite. Les progrès de l'intelligence passent dans l'échelle du progrès des transistors au lieu de celui des neurones. L'évolution décolle à toute vitesse et nous amène à de nombreux ordres de grandeur au-dessus de l'intelligence humaine avant de heurter les barrières de la physique.

Distinguons ces 3 Logiques

Le truc c'est que ces 3 approches ont des logiques bien distinctes. Et, alors que les 3 propositions de base se soutiennent mutuellement, les 3 propositions fortes se contre-disent.

Voyez : si vous extrapolez votre loi de Moore préférée pour faire des prédictions au-delà de l'intelligence artificielle surhumaine, après 2099, alors vous êtes en contradiction avec l'horizon d'évènement (qui vous interdit de prédire au-delà de l'intelligence surhumaine) et avec l'explosion d'intelligence (qui voudrait que l'intelligence accélère encore plus une fois qu'elle sera dans le domaine des transistors).

Bref, pour avoir des discussions intelligibles à propos de la singularité, il est souhaitable de distinguer ces trois écoles de pensées.

Un dernier mot : si vous voulez savoir laquelle des 3 écoles est à l'origine du concept de Singularité, il s'agit de l'Horizon d'évènement, thèse de Vernor Vinge, qui a utilisé ce terme en premier.

Un sujet Majeur

Ce sujet vous intéresse ? Vous commencez à réaliser qu'il concerne non pas seulement les prochaines générations mais bien notre propre avenir à nous, de notre vivant.

Alors dites-moi ce que vous en pensez ici en commentaire. Sachez aussi que j'ai créé un groupe Facebook de "La Singularité Technologique FR" dans l'espoir d'augmenter l'exposition de ces problématiques dans la francophonie - les entrées sont libres.

Prédiction des 25 Prochaines Années du Jeu-Vidéo

Qu'avez-vous à faire du progrès des technologies ?

Si guérir le cancer et mettre fin à la faim dans le monde ne vous suffisent pas, lisez cet article approfondi de David Wong et Steve Woyach :

The Next 25 Years of Video Games

Transhumanisme, IA, Nanotechnologie et Risque Existentiel

Voici un blog que vous devez lire absolument si vous voulez comprendre le futur de la technologie et pourquoi ça compte :

Accelerating Future - par Michael Anissimov

Je me demande pourquoi je ne l'ai pas ajouté plus tôt à mon blog-roll - la réponse c'est que j'étais si captivé par sa lecture que j'en ai même oublié que j'avais un blog-roll.

Alors je viens de l'ajouter juste après avoir lu cet excellent article intitulé Technological Transcension. Soyez juste assez intelligents pour comprendre que ses idées sont partagées par de grands penseurs et scientifiques reconnus et qu'il a raison : les gens doivent comprendre que ce futur arrive et nous devons nous y préparer, au meilleur comme au pire.

Humanité 2.0 - la bible du changement

Le futur de la technologie vous intéresse ?

Vous avez peut-être déjà entendu parler, au moins sur ce blog, de la Singularité technologique et des théories de Ray Kurzweil ?

... mais votre niveau d'anglais ne vous permet pas d'apprécier les exposés scientifiques et technologiques dans la langue de Newton... pas grave ! voilà enfin Ray Kurzweil traduit en français :

Humanité 2.0 - la bible du changement - édité depuis le 5 septembre 2007.

Merci à Laurent Hentz qui m'a annoncé ça il y a déjà quelques temps via ce lien. Et le livre est dispo sur amazon.fr par exemple. Je n'ai pas lu cette version VF mais je suis certain que ça vaut le détour.

Je ne suis pas forcément hyper convaincu par le choix du titre, mais il faut reconnaître que c'est du marketing dans l'ère du temps. En tout cas rassurez-vous, Ray Kurzweil fonde ses réflexions sur des modèles de progrès technologiques profonds et ancrés dans l'histoire de l'univers, et non sur les dernières tendances du Web 2.0.

Au passage, sachez aussi que le film tiré du livre sort en 2008 : "The Singularity is Near - a true story about the future". Je n'ai aucune idée de la forme que ça prendra. C'est en tout cas une bonne occasion de sensibiliser les masses aux promesses et aux menaces de la Singularité.

Pour en discuter vous pouvez me rejoindre sur le groupe "La Singularité Technologique FR" sur Facebook.

Faire Pousser des Intelligences Artificielles dans les Mondes Virtuels

Scientists are working on many different kinds of AIs.

So imagine you had programmed an AI which is starting to take shape and it's meant to be the brain of a pet or potentially a baby robot. But in order for the robot body to move around in the real world, see and touch things, you would need a few more years or decades of R&D just to make it work mechanically.

Meanwhile you wish your pet-brain AI wants to learn from interacting with other things and beings. Kind of a chicken and egg situation. But now you can get around it pretty easily: just plug your AI into a virtual world such as Second Life. No need for a robotic body, the virtual body will be your AI's interface into the virtual world...

Researchers at US firm Novamente are working in this direction according to this BBC article.

Found via Blogging the Singularity.

La Singularité

The Second Singularity Summit is nearing, as it will take place on September 8-9 in San Francisco. So it's a good time to watch the speech by Ray Kurtzweil last year in Stanford. Watch his brilliant briefing on exponential growth and how it leads to strong Artificial Intelligence and a super-intelligent digital brain:

   

Technorati Tags: , , , , , ,

L'Humanité Risque de Disparaître Bientôt - Vous Y Avez Pensé ?

Are you aware of the existential risks that loom and threaten humanity?

Do you realize that the time frame for these threats is between 3-30 years, a much shorter time frame than global warming (I believe media attention will probably tire of global warming long before that)?

Michael Anissimov is one of those young thinkers who are aware of the existential risks for humanity, just as much as they're aware of the great potential for greater-than-human intelligence to emerge if we don't blow it before then. I wonder how many there are.

Read on his series of recent posts on the subject:

Then realize that it is not only about the lives of our children but really about our lives. And I even include my baby-boomer parents in the lot.

What can we do about it? Michael explains it so I will stress the easiest part: be aware, be conscious. That's what I am doing, I spread the word.

Do you understand these risks? Do you believe in them? Tell me.

Technorati Tags: , ,

Le Sommet de la Singularité à San Francisco

Ce sommet est pour bientôt, le 8-9 septembre. Plus d'infos sur leur site ici. Mais savez-vous au moins de quoi il s'agit ?

C'est le bon moment pour revenir sur ce concept majeur et existentiel : la Singularité Technologique.

Le progrès technologique continue de s'accélérer et nous allons bientôt atteindre un seuil critique, où les ordinateurs doués d'intelligences artificielles (IA) seront aussi intelligents que les hommes.

Peu après, ces IA seront capables de concevoir et d'implémenter leur propres améliorations. S'en suivra une fuite en avant, puisque très rapidement cette IA développera de nouvelles IA d'une intelligence excédant celle d'un homme, et même de toute l'humanité.

Le système va s'emballer et transcender la condition humaine et matérielle. Difficile de prédire ce que deviendra alors le monde...

Ce cap, c'est la Singularité Technologique.

Quel intérêt y a-t-il à réfléchir à ça ?

Primo il faut réaliser que les conséquences de la singularité seront énormes. Du même ordre que l'apparition de la technologie chez Homo Sapiens, si vous voyez ce que je veux dire. La Singularité soulève donc de grands espoirs mais aussi des risques existentiels pour l'humanité.

Comment en profiter au max et éviter le pire ? Un des enjeux principaux est tout simplement de créer un intelligence supérieure "amicale" (friendly AI) - histoire d'éviter l'effet Terminator.

Alors les plus grands cerveaux y réfléchissent. Ils ont créé le SIAI: Singularity Institute for Artifical Intelligence. Ils ont un site Web. Et ils ont un blog.

Il est indispensable d'augmenter la visibilité de cette problématique dans l'opinion publique. Pour cela vous pouvez rejoindre le groupe anglophone sur Facebook : Technological Singularity Club.
Et j'ai moi-même fondé un groupe francophone sur Facebook : La Singularité Technologique FR (encore tout neuf, à peine déballé).

Rejoignez-nous !

SIAI : Notre Ultime Défense Contre Terminator & Matrix

SIAI - The Singularity Institute for Artificial Intelligence.

Une association qui travaille sur la problématique la plus importante de toute l'histoire de l'Humanité : La Singularité. Qu'est-ce que ça veut dire ? SIAI a ouvert un blog et fait quelques efforts pour nous expliquer la Singularité.

Je suis bien curieux de savoir ce que vous en pensez. Convaincu / Perplexe ? Dites-moi ça dans les commentaires.

Si vous me demandez mon avis, ces gars sont en train de former les premiers stades de notre ligne de défense la plus critique. Est-ce que l'intelligence surhumaine artificielle sera bienveillante ? ou bien va-t-elle décider de nous réduire en esclavage ou de nous exterminer ? Arrêtez de sourire une minute et prenez conscience que c'est le défi le plus important que nous ayons jamais eu à relever. Il pourrait en résulter une élévation spirituelle et la fin des contraintes matérielles. Mais si nous foirons le coup, cela pourrait aussi être fatal et l'enfer de Terminator et Matrix pourrait bien s'abattre sur nous.



Eliezer Yudkowsky is one of the world's foremost researchers on Friendly AI and recursive self-improvement. He created the Friendly AI approach to AGI, which emphasizes the importance of the structure of an ethical optimization process and its supergoal, in contrast to the common trend of seeking the right fixed enumeration of ethical rules a moral agent should follow. In 2001, he published the first technical analysis of motivationally stable goal systems, with his book-length Creating Friendly AI: The Analysis and Design of Benevolent Goal Architectures. In 2002, he wrote "Levels of Organization in General Intelligence," a paper on the evolutionary psychology of human general intelligence, published in the edited volume Artificial General Intelligence (Springer, 2006). He has two papers forthcoming in the edited volume Global Catastrophic Risks (Oxford, 2007), "Cognitive Biases Potentially Affecting Judgment of Global Risks" and "Artificial Intelligence as a Positive and Negative Factor in Global Risk."

Mon Blog-Roll Enfin Complété

Il était grand temps. Depuis quelques mois que je me suis mis aux blogs, j'en ai découvert un certain nombre qui me plaisent particulièrement et que je voudrais partager avec vous. Je les lis régulièrement, lorsque les articles touchent mes centres d'intérêt, avec plaisir même si je ne suis pas toujours d'accord avec l'auteur.

La liste est à présent dans la colonne de gauche. J'en ai juste exclus les sites de news éditoriaux et les grands classiques que vous devez déjà connaître, du genre TechCrunch ou Slashdot.

Voici les nouveaux que je viens donc d'ajouter :

Le Futur Est Prévisible - Ray Kurzweil Vous Met au Parfum

J'apprécie énormément le travail de Ray Kurzweil, son œuvre et ses prédictions futuristes. Disons que je suis un de ses grands fans. Vous pouvez découvrir sa carrière et ses récompenses sur Wikipedia (plus d'infos sur Wikipedia EN). Je vous recommande aussi fortement de lire son dernier ouvrage : The Singularity is Near (when humans transcend biology).

Ce qui me fascine le plus chez Ray Kurzweil, au-delà de ses inventions et de ses accomplissements en tant qu'ingénieur et entrepreneur, c'est le succès de ses prédictions du futur. Jadis dans les années 80 il a réussi à prédire l'émergence d'Internet au milieu des années 90 et il a prédit que les meilleurs joueurs d'échec au monde seraient battus par un ordinateur en 1998 - Kasparov s'est moqué de cette prédiction en 1993, et il a bien mangé ses dents en 1997 lorsque la prophétie s'est réalisée avec un an d'avance. En effet Kurzweil est souvent un peu pessimiste dans ses prédictions.

Ses méthodes sont fondées non pas sur le chamanisme ni sur les boules de cristal, mais profondément ancrées dans la science, l'ingénierie, et l'étude historique des technologies. Il analyse minutieusement les tendances et remarque que la technologie évolue de manière exponentielle. C'est vrai depuis la nuit des temps, c'est encore vrai aujourd'hui, et il existe de nombreuses raisons rationnelles pour être convaincus que ça va continuer sur cette tendance exponentielle. La loi qui régit cette évolution s'appelle "Law of Accelerating Returns".

Qu'est-ce que ça implique pour le futur ? A quel point cela impactera-t-il notre vie quotidienne d'ici quelques années ? Notez que nous sommes déjà habitués au progrès accéléré : après le PC, Internet, le haut débit, le sans-fil et la mobilité qui explosent dans des délais toujours plus courts...

Alors, pouvez-vous seulement imaginer que le progrès continue encore plus vite dans les 10 ans qui viennent ? 20 ans ?

Ray Kurzweil a construit un modèle qui prédit l'accession des machines au niveau d'intelligence d'un humain en 2029. Si ça vous intéresse d'en entendre parler, et de vous laisser convaincre par la pléthore de courbes exponentielles qu'il a à vous présenter pour corroborer ses thèses, alors lisez ses livres, ou commencez par regarder ci-dessus son récent exposé à la Killer App Expo. De plus, des liens de téléchargement en qualité HD et une transcription en texte sont disponibles sur technologyevangelist.com.