DOSSIER – Comment l’IA transforme l’avenir du RPG ?

Cela ne vous aura pas échappé, l’intelligence artificielle est au cœur de l’attention et des débats depuis quelques mois. Que l’on s’inquiète de ses avancées techniques fulgurantes ou que l’on s’en émeuve, le débat de l’IA semble ne laisser personne indifférent. Il faut dire que le potentiel de ce nouveau fleuron du numérique est énorme : dialogue en langage naturel, génération de code informatique sur demande, résolution de problèmes complexes, débugage et recherche de failles, analyse et interprétation de gigantesques jeux de données, etc. Le champ d’application est vaste. Tellement vaste que bien des secteurs commencent à réinventer leur force de travail et à imaginer un avenir différent face à ce nouvel outil. Les changements à venir fractionnent l’opinion et ouvrent à la fracture sociale : de nombreux métiers pourraient être en passe d’être remplacés par l’IA, ce qui peut alarmer voire insurger. C’est à n’en pas douter une révolution industrielle qui est à l’œuvre, et l’industrie du jeu vidéo est elle aussi concernée. A bien des égards, elle serait même centrale.

Mais alors, sans pour autant jouer à la divination ou à la lecture d’oracles, que peut-on raisonnablement attendre en tant que joueurs de cette révolution technologique dans les RPG de demain ?

Dessine moi un mouton… en trois dimensions . Vous vous en doutez, le monde de la recherche n’a pas attendu l’engouement que nous connaissons aujourd’hui pour développer des projets en lien avec les studios de jeu vidéo. C’est même assez naturellement qu’au cours du dernier trimestre de 2021, Cyber Valley, Square Enix et IT-Farm – un consortium spécialisé dans l’IA, un des plus gros studios de jeux vidéo actuels et une boîte de conseil et de financement en informatique – ont conjointement mis sur pied la compétition AI Gamedev.

Le but visé, me direz-vous ? Proposer aux participants de résoudre un problème connu et récurrent de l’industrie en lui apportant une résolution par l’usage de l’I.A. A la clé, la possibilité de se rendre dans les studios tokyoïtes de Square Enix pour mettre en œuvre une application concrète de sa technologie. Et certainement signer un contrat juteux au passage, de quoi motiver les troupes. Les applications peuvent sembler assez vagues dit comme ça, mais quand on regarde de plus près les projets gagnants de cette première édition, tout s’éclaire. Tour d’horizon du podium.

Au prix du public, la start-up française Kinetix a développé un système qui permet de transformer une vidéo 2D en une modélisation d’avatar en 3D. L’outil a pour but de démocratiser l’animation de personnages afin que toute personne puisse à terme peupler facilement un univers 3D avec de solides créations graphiques. Interrogé à ce sujet, le PDG de la société, Yassine Tahi explique : « Animer une minute demande un mois de travail, même pour des professionnels de l’animation 3D. Nous allons permettre aux créateurs non spécialisés d’avoir accès à l’animation de personnages 3D, ce qui leur demande trop de savoir technique aujourd’hui. »

Comme le montre la vidéo de présentation récupérée sur leur site, la société française commercialise aujourd’hui sa solution à destination des développeurs. Tournée vers les applications Web, elle vise pour le moment le marché du metavers, ou du jeu mobile. Rien n’empêche cependant d’imaginer un glissement de son usage vers le développement de jeux PC et consoles. D’autant plus que cette technologie démocratisant la motion capture a visiblement de beaux jours devant elle, puisqu’elle attire les investisseurs. Au mois de Mai 2022, une levée de fonds a permis à l’entreprise parisienne de récolter onze millions de dollars auprès de grands noms du milieu, tels qu’Adobe, Voodoo ou encore Xavier Niel.

Revenons à notre concours en nous intéressant cette fois au prix scientifique, décerné à Katja Schwarz pour son papier sur les GRAF (Generative Radiance Fields). Pour la faire courte, il s’agit d’un framework qui consiste schématiquement à créer des ressources 3D à partir de deux vues en 2D. Un outil là encore très puissant, puisque qu’une vue 2D ne prend que quelques minutes à créer pour un artiste chevronné et qu’il est même possible d’imaginer alimenter la machine avec des photos d’un objet sur fond uni.

Comme le commente la scientifique, “la création d’assets 3D est la clé du développement d’environnements de jeux réalistes et de réalité virtuelle. Cependant, la création de contenu en 3D requiert un énorme effort de conception, ce qui allonge les délais et les coûts de production. » En résultera un gain de temps considérable pour les équipes qui s’empareront de ce type d’outils de production.

Il est encore difficile à l’heure actuelle de savoir quels sont les studios qui utilisent ce dispositif, et à quelle ampleur dans un projet complet. Les post-mortem à venir seront sans doute des sources instructives pour retracer l’histoire de l’industrie. En attendant, nous pouvons tout de même supposer que certains géants du secteur auront misé sur la tech de Katja Schwarz. C’est peut-être le cas de Nvidia, qui sort en Mai 2022 un article complet sur la technologie NeRF, alors en développement dans leurs laboratoires. Les images soumises au grand public attestent effectivement d’une génération d’images 3D sur base d’input d’images 2D.

Invitée à Toronto au Summer Camp de 2022 quelques mois plus tard, il n’est pas fantaisiste de penser que la doctorante ait échangé avec les développeurs du projet NeRF sur son domaine d’expertise. L’outil aurait alors lui aussi de beaux jours devant lui.

Enfin, vient le prix principal du jury. Décerné à mlxar (machine learning extended architecture), une startup australienne pour la technologie Atlas, le principe de cette dernière solution est de générer par IA des bâtiments en 3D à destination du world design.

Pendant son interview, Ben James, le PDG de la société, revient sur la manière actuelle de concevoir un monde et sur les problèmes que cela pose. Il affirme que « la conception architecturale est un processus manuel, peu efficace et chronophage. C’est déjà un problème lorsqu’il faut concevoir un bâtiment, et il devient énorme lorsqu’il faut imaginer une ville, un niveau ou un monde entier. C’est pourtant exactement ce qui se passe dans le développement de jeux vidéo et dans l’industrie du cinéma. »

A la lumière de ce constat, il explique au sujet de sa ressource « Notre innovation par l’I.A n’envisage pas le remplacement du concepteur. Il faut l’appréhender comme une manière de valoriser l’expertise, et ultimement de créer un nouvel outil qui aide les humains à accroître leur propre intuition et leur sensibilité. »

L’idée est belle, car elle permet d’esquisser mentalement un futur palpable où le machine learning se chargerait des tâches répétitives pour le concepteur. Cela lui laisserait alors du temps pour imaginer un monde plus cohérent, plus riche voire plus vaste. Et c’est finalement ce qui ressort du trio de tête : déléguer à la machine des tâches répétitives, chronophages et peu valorisantes.

On se met alors rêver à un RPG où les bâtiments extérieurs et intérieurs seraient tous conçus sur une base différente, où la variation des modèles 3D serait plus riche et plus diversifiée, où l’attention portée aux petits détails serait bien plus précise car plus de temps serait alloué par les studios aux équipes artistiques en charge du projet. Nous pensons instinctivement aux productions de gros jeux triple A, mais c’est finalement tout le secteur qui serait tiré vers le haut et qui pourrait bénéficier de ces outils à coût modique. Cela laisse entrevoir une hausse de la qualité des petits titres indés, qui sont souvent riches de leurs idées mais pêchent parfois à leur réalisation.

PNJ, raconte moi une histoire. L’aspect graphique est un point important pour tout le secteur du jeu vidéo, et notamment dans un RPG. Mais l’écriture et les dialogues ont pour moi et pour de nombreux joueurs une importance capitale. Alors, quel est l’état de la recherche en intelligence artificielle concernant cet aspect central de nos titres préférés ? Comme vous allez le voir, tous les espoirs semblent à nouveau permis.

Votre site préféré vous partageait il y a peu une vidéo surprenante qui présentait un nouveau mod pour Skyrim basé sur Chat GPT. Le propriétaire de la chaîne « Art from the machine » y présente avec une humilité folle ce qui pourrait bien être l’avenir de l’interaction avec les PNJ dans les jeux de demain. Au lieu de dialoguer par l’intermédiaire de lignes de texte pré-écrites, au lieu de recracher bêtement ce qu’ils sont sensés dire dans tel contexte et face à telle option ; les PNJ dialoguent avec le joueur en langage naturel.

Comprenons-nous bien : les réponses fournies par les PNJ sont ancrées dans un contexte global (le PNJ a un rôle défini, il a une identité, se trouve en un lieu du monde virtuel et a accès au Lore du jeu dans la mesure de ses connaissances intra diégétiques), mais tout ce que répond le personnage est une interprétation en langage naturel par Chat GPT. Cela signifie que vous pouvez en effet demander à Lydia de vous « raconter des histoires au coin du feu », et qu’elle vous répondra peut-être, comme dans la vidéo, qu’elle connaît des histoires « de trolls et de draugr héritées de son père ». Mais elle vous racontera peut-être autre chose.

Et c’est justement dans cet autre chose que la magie réside. Car offrir à un joueur un monde vaste, virtuellement sans limite et le peupler de PNJ à l’interaction toujours neuve, c’est revenir à l’essence même du jeu de rôle papier. C’est être enfin capable de transposer à l’écran ce qui nous faisait lancer des dés pour vivre des aventures dont nous étions les seuls maîtres. Et c’est si vertigineux que ça donne le tournis.

Evidemment, l’engouement est grand, à juste titre. Un mois après la sortie de cette vidéo, Nvidia – qui s’est visiblement fixé comme objectif de devenir le fer de lance de l’industrie sur la question de l’IA générative – annonce à l’occasion du Computex 2023 travailler sur un nouveau moteur de jeu, Ace. La société reprend dans les grandes largeurs ce qu’un paquet de petits bidouilleurs teste dans son coin depuis quelques semaines, et le professionnalise. Plusieurs outils sont alors mis à disposition des développeurs pour créer des PNJ complexes et profonds : un modèle de langage permettant de donner une identité au PNJ, un modèle de reconnaissance vocale pour comprendre et répondre, et un outil de génération d’expressions faciales très réalistes.

La démonstration est d’ores et déjà bluffante. Tellement d’ailleurs, que la cotation boursière de Nvidia s’est envolée d’environ 30% ces cinq derniers jours. Les investisseurs ne sont pas dupes, ils voient clairement, tout comme nous, la puissance de l’outil qui leur a été présenté.

Bien entendu, l’entreprise américaine n’est pas la seule à innover dans ce domaine, comme le prouve de son côté Ubisoft. Le 21 mars 2023, la firme présente sur son propre site un nouvel outil propulsé à l’IA, fort bien baptisé « Ghostwriter ». L’intérêt de l’outil est d’écrire une base de travail des « barks », ces lignes de dialogues qui servent l’immersion du joueur lorsqu’il passe dans une foule et entend les PNJ échanger entre eux. Habituellement rédigées par une équipe narrative de A à Z, Ubi propose à ses équipes de simplifier cette tâche de fond si importante et pourtant si répétitive au profit de la conception globale de l’histoire et des cinématiques. Comme pour les outils de génération d’images dont nous parlions précédemment, l’usage de l’intelligence artificielle chez Ubisoft sert avant tout à gagner du temps pour laisser les artisans faire leur œuvre. Grâce à ce genre d’initiatives, nous pourrions bien à terme nous retrouver avec des histoires plus longues, mieux ficelées scénaristiquement, plus ambitieuses et plus conséquentes.

Créer des PNJ plus réalistes, c’est aussi s’intéresser à leur pathfinding – c’est à dire à leurs déplacements dans l’univers du jeu – et à leurs interactions entre eux. Pour le moment assez limités techniquement, les PNJ se contentent bien souvent de suivre un chemin préétabli par les développeurs et d’adopter un comportement correspondant au contexte local. Les gardes de Skyrim, pour filer cet exemple, vont et viennent dans Blancherive, suivant leur propre emploi du temps. Ils se montrent cordiaux avec le joueur, tentent de l’arrêter ou de le tuer s’il se montre agressif, et réagissent en cas d’aggression par des mobs. Leur pathing ne varie jamais et ils n’influent d’aucune manière sur l’univers qu’ils fréquentent.

Cela pourrait être en passe de changer grâce aux travaux d’une équipe de chercheurs qui a monopolisé l’attention il y a quelques semaines. Le projet Smallville, piloté par six informaticiens – de l’université de Stanford et de Google Research – consistait à mettre en place un microcosme semblable aux Sims et à le peupler de 25 PNJ contrôlés par ChatGPT et par un code propriétaire. Ils ont tous un rôle basique dans le monde – certains sont des artistes, d’autres des auteurs ou des scientifiques – qui leur permet de savoir ce qu’ils doivent jouer. Les personnages sont ensuite laissés libres de leurs interactions, et aucun développeur ne peut influer sur le cours des évènements qui se produisent.

Pour résumer brièvement les résultats de cette étude, disons simplement que les scientifiques en charge du projet ont pu observer que les agents conversationnels mis en place dans ce petit monde ont simulé un comportement humain tout à fait crédible. Ils disent par exemple : « Les agents génératifs se réveillent, préparent le petit-déjeuner et se rendent au travail ; les artistes peignent, tandis que les auteurs écrivent ; ils forment des opinions, se remarquent et engagent des conversations ; ils se souviennent et réfléchissent aux jours passés alors qu’ils planifient le lendemain. »

Mais le vrai graal dans tout cela, ce sont les comportements qui se mettent naturellement à émerger du groupe étudié. Le retour sur les interactions vécues au cours la journée et la planification du lendemain donnent bien vite lieu à une organisation de ce petit monde autonome. Les PNJ décident alors d’eux même d’organiser la Saint-Valentin, des amitiés commencent à prendre forme entre eux en raison de leurs points d’intérêt convergents, puis des élections municipales se mettent en place.

L’univers était vide, il s’est enrichi de lui même et une histoire est née à Smallville. On ne peut, encore une fois, qu’imaginer ce que cela pourrait donner à grande échelle dans un RPG moderne. Imaginez que vos actions passées dans un lieu du monde façonnent les décisions prises par la population après votre passage, que lorsque vous reveniez sur vos pas, vous trouviez l’univers changé, repensé, refaçonné sans que les développeurs n’aient orienté ce choix de jeu. Chaque joueur vivrait alors sa propre histoire, au gré de ses actions, de manière indépendante et naturelle. Plus que jamais, le RPG se rapproche du JdR dont il tire ses origines premières.

Aïe, robot ! Alors ! Tout cela fait rêver, n’est-ce pas ? On reste songeur devant tant de technique et de progrès, on se sent tout petit et nos yeux pleurent d’envie face à l’avenir radieux qui nous attend. Or, si plus de cent-cinquante années de science-fiction nous ont bien appris quelque chose, c’est que les révolutions technologiques ne veulent pas forcément notre bien. La science entraîne parfois dans son sillage son lot d’injustices et de dommages collatéraux. Les utopies peuvent s’écrouler et le progrès broyer l’humain. On s’inquiète, on s’insurge, souvent par crainte de l’avenir.

Depuis le tout début de cet article, nous évoquons le temps de travail revalorisé, requalifié et des conditions améliorées pour les professions artistiques du secteur. Tous ces outils visent premièrement l’émancipation du développeur, qui loin du travail à la chaîne pourrait superviser avec plus de cohérence artistique la partie du projet qu’il a en charge. Et si, ce qui est en effet vertueux dans la proposition de départ virait au cauchemar pour de nombreux créatifs ?

Prenons de la hauteur et regardons du côté du cinéma. Les milieux sont proches, si bien que certains métiers forment même des passerelles fréquentes d’un média à l’autre à l’occasion. Depuis le 2 mai dernier, les scénaristes hollywoodiens sont en grève pour de multiples raisons. Si le sujet vous intéresse, je vous invite à consulter l’article très bien résumé de Franceinfo sur le sujet. Parmi leurs revendications, l’une d’entre elles pointe l’encadrement des usages de l’IA, qui menace de changer les conditions de travail et d’impacter les salaires des écrivains du secteur pour des causes de rentabilité. La célèbre Writers Guild craint qu’au delà des tâches répétitives, – pour lesquelles, par ailleurs, les scénaristes se disent prêts à utiliser l’IA – les géants du secteurs soient prêts à tous les compromis pour faire un maximum de profits.

En ce cas, pourquoi ne serait-ce que l’apanage de ce secteur précis ? Ne pourrait-on pas conjecturer que les géants du jeu vidéo puissent faire de même d’ici quelques années ? Dans un secteur déjà tiraillé par les mouvements sociaux, en raison des conditions de travail difficiles, des périodes de « crunch » à répétition, de la pression permanente sur le personnel pour tenir des délais parfois ubuesques ; ne pourrait-on pas imaginer que l’avènement de l’IA rime avec suppressions massives de postes ?

Cela reste malheureusement possible, mais pour le moment, aucun licenciement massif n’a eu lieu dans l’industrie à ma connaissance. Attention au passage à certaines rumeurs récentes sur le sujet qui jettent la diatribe sur certains acteurs du milieu. A titre d’exemple, le studio taïwanais Rayark, spécialisé dans le développement de jeux mobiles, a été la cible des attaques. Une fausse information répandue affirmait que le studio s’était séparé de tout son personnel artistique au profit des IA. Quelques jours plus tard, le studio a réalisé un communiqué contraire dans lequel il affirme que son département artistique se porte bien et que l’usage de l’IA dans la société est justement accompagné par une embauche d’experts dans ce domaine. Une preuve en soi que ces nouveaux outils pourraient aussi bien à terme être créateurs d’emploi ou amener à une restructuration bien venue de certaines entreprises.

Une chose demeure certaine : l’avenir est propice aux espoirs et aux rêves, et toutes les cartes sont entre les mains des studios de développement. Il incombe désormais à leurs dirigeants de savoir accompagner les équipes de terrain pour faire la transition avec sérénité.