Au départ du corpus de référence et de la méthode propre à la Media Visualization, produite et théorisée par Lev Manovich (et son équipe, le Cultural Analytics Lab), notre projet vise à proposer un cadre de réflexion pour le développement de nouveaux modes d’indexation des archives d’images.
Depuis 2007, le Cultural Analytics Lab rassemble des chercheurs de plusieurs disciplines (Digital Humanities, Media Studies, Visual Studies, Webdesign, Data Science, Computer Science, Urban planning, etc.) qui interrogent ensemble la problématique de l’exploration et de la visualisation de la grande quantité de contenus culturels ; « contenus culturels » qui sont actuellement à la fois produits et diffusés par des professionnels des médias et par les utilisateurs de ces médias. La particularité du Cultural Analytics Lab a trait au choix des données qui sont prises en compte : ce laboratoire inclut également des analyses des réseaux sociaux (p. ex. : Instagram) et de dispositifs médiatiques contemporains (p. ex. : smartphone, ordinateurs, caméra numérique, etc.). De plus, il vise à utiliser des méthodes issues des sciences des données (Data science) pour analyser globalement les artefacts visuels de la culture contemporaine, tout en proposant une réflexion critique sur ces méthodes et leurs applications dans la recherche en sciences humaines, ainsi que dans l’étude des pratiques médiatiques contemporaines. Plus précisément, ce projet part du principe qu’il est nécessaire de développer de nouvelles méthodes d’analyses des pratiques culturelles depuis l’apparition des nouvelles technologies numériques, puisque les progrès effectués dans les sciences informatiques ont permis d’élaborer des programmes qui sont capables de réaliser des tâches analytiques très complexes et sur de très larges quantités de données.
D’une manière générale, ce type projet rencontre déjà un grand retentissement dans divers endroits et pays du monde. Dans cette perspective, de plus en plus de travaux et recherches combinent notamment le « design informatique », la « visualisation de données » (Data visualization), l’« apprentissage automatique » (machine learning), ou encore l’ « analyse statistique », afin d’associer ces nouveaux concepts et techniques avec des réflexions et méthodologies plus anciennes, propres aux sciences humaines et sociales, ainsi qu’à la théorie « traditionnelle » des médias. Pour Manovich, si l’on dispose séparément de nombreuses collections et archives d’images qui sont numérisées, en revanche, l’on ne dispose pas d’échantillons systématiques des médias et des cultures visuelles. Autrement dit : les ressources multimédias qui sont mises en ligne après la numérisation d’œuvres d’art ne sont pas généralement représentatives, mais concernent seulement des institutions et des entreprises spécifiques. C’est pourquoi d’aucuns affirment qu’il est nécessaire de développer une procédure systématique d’échantillonnage et de représentation des données culturelles (telles que les grands ensembles d’images ou de vidéos) à partir des méthodes d’échantillonnage de l’analyse statistique.
En associant des compétences au croisement de la sémiotique, des sciences de l’information et de la communication, de l’histoire de l’art, des Humanités Numériques et de la Computer Science, la révolution opérée par le nouveaux paradigme des Big Data et les instruments relatifs à la Media Visualization, ainsi que d’autres interfaces informatiques de traitement et de visualisation automatiques, proposent de nouveaux outils pour analyser automatiquement de collections d’images (autant aux usagers qu’au chercheurs spécialisés dans l’études des images). En effet, si dans un premier temps les dispositifs informatiques de visualisation permettait seulement de représenter les images ou des artefacts visuels en les remplaçant par des éléments abstrait dans un graphe virtuel (ronds, carrés, triangles, etc. au sein d’un espace virtuel à deux ou à trois dimensions), le but de la Media Visualization est de représenter la structure de ces images ou artéfacts en montrant tous les composants qui la constituent. C’est pourquoi, dans ce dernier cas, il est plus approprié de parler d’ « artefacts culturels massifs » (Big Cultural Objects Collection) que de considérer qu’il s’agit de « données massives » (Big Data).
Les propositions de Manovich et son équipe sont particulièrement éclairantes pour saisir la portée des analyses que permettent les instruments de la Media Visualization. Par exemple, à travers les « montages » ou les « diagrammes d’images numériques » (peintures, photographies archivées sur Internet), qu’il s’agit d’organiser respectivement d’après des métadonnées (autrement dit : des données qui servent à définir ou à décrire d’autres types de données, d’après des formats et des supports techniques) ou selon des catégories plastiques (formes, couleurs, textures, luminance, saturation, etc.). D’un côté, les « montages d’images » utilisent seulement les métadonnées relatives aux images (par exemple, les dates respectives de leurs productions originales) afin d’organiser les images dans une seule totalité visuelle, où les images sont reparties selon les caractéristiques de leurs métadonnées ; à l’instar de la plupart des pratiques d’archivage et d’indexation d’images, qui utilise la date de production, la localisation, le nom de l’auteur et d’autres métadonnées qui sont exclusivement contextuelles, c’est-à-dire qui ne dépendent pas des caractéristiques plastiques propres de l’image. D’un autre côté, les « diagrammes d’images » n’organisent pas la collection d’images en suivant uniquement leurs métadonnées, mais utilisent des outils d’analyse qui ont été développés dans le domaine des sciences informatiques, et qui permettent d’extraire des caractéristiques plastiques des images elles-mêmes ; par exemple, à travers la reconnaissance d’un motif récurrent. Plus précisément, ces diagrammes permettent de répartir une grande quantité d’images (par exemple d’une même collection artistique, d’un même fonds d’archive) selon des propriétés visuelles et de produire ainsi une analyse (de la collection, du fonds) qui illustre ainsi la fonction proprement analytique du langage visuel.
Si l’on considère toute la production visuelle, par exemple, d’un peintre, une analyse qualitative « classique » (ou close reading) ne permet pas d’observer l’ensemble d’un corpus d’image ni d’observer les variations, les transformations, l’évolution du style artistique dans cet ensemble. Cependant, des instruments tels que ceux proposés par le Cultural Analytics Lab ou d’autres projets similaires nous permettent désormais de voir la totalité de la production d’un artiste d’un seul coup d’œil, au sein d’une sorte de cartographie virtuelle, où toutes les images sont connexes et constituent une nouvelle représentation, mais dans ce cas « à distance ». Organiser ainsi une totalité d’images propose vraisemblablement une perspective différente de celles de l’artiste ou du public de son époque, et très différente aussi de celle que proposerait un analyste qui observerait successivement chaque image de manière rapprochée.
Tandis que dans les « montages » les images sont positionnées d’après leurs métadonnées (p. ex. : l’auteur, la localisation, la date, etc.), les visualisations des « diagrammes d’images » se basent plutôt sur l’analyse automatique des paramètres plastiques pour classer et regrouper les images du corpus. De telle sorte que les images qui partagent les mêmes caractéristiques plastiques sont regroupées dans les mêmes zones du système de coordonnées. Ainsi, les positions des images apportent une caractérisation de leurs « qualités visuelles », tout en mettant les images en relation les unes avec les autres. Par rapport à une vision locale, l’analyse automatique peut mettre en évidence des tendances qu’on remarque plus facilement à travers une vision globale et distante. D’une certaine manière, les instrument de visualisation d’images groupent les images d’un corpus selon des paramètres qu’il est possible d’appliquer automatiquement à de nombreuses images. Ce type de visualisation permet de diviser un corpus, ainsi que de classer et d’agglomérer les images dans un système de coordonnées, mais qui comporte des possibilités dynamiques inédites, puisque les images numériques y sont en quelques sortes manipulables, et qu’on peut multiplier les réorganisations, les agencements, les paramètres, etc. Dans cette perspective, c’est bien tout le corpus qui est présenté au sein de la visualisation, ce qui permet de mettre en scène, à travers un espace virtuel, une représentation de la structure ou de la configuration d’ensemble des images qui composent le corpus ; et surtout, de mettre en évidence des relations entre les différentes images, mais en les manifestant dans tous leurs aspects plastiques originaux. Les outils standards d’indexation ajoutent des « caractéristiques externes » aux images à travers leurs métadonnées, tandis que les instruments informatiques qui permettent d’extraire de caractéristiques plastiques des images visent à rester plus adéquats aux caractéristiques internes des images. Toutefois, il faut décrire les stratégies communicationnelles à travers lesquelles ce nouveau type d’analyse « se réalise ».
À travers l’étude de plusieurs dispositifs de visualisation d’images, l’objectif général de notre projet est donc non seulement de définir une série de nouveaux paramètres d’indexation des corpus numériques et des bases de données d’images, afin de dépasser les outils standards d’indexation des images par métadonnées (date, lieu de production, thématique) en utilisant en outre des descripteurs visuels (la couleur, la forme, l’organisation topologique), mais aussi de mettre en contraste ces nouveaux instruments d’analyse automatiques avec d’autres instruments d’analyse, plutôt qualitative. En outre, nous pouvons aussi affirmer davantage que le « concept d’analyse » ne se résume pas exclusivement aux langages naturel et formel, mais que le langage visuel peut également servir de support à l’analyse et au travail interprétatif. Une visualisation d’images produite selon des descripteurs visuels permet notamment d’étendre le concept de « métavisuel » (tel qu’il est expliqué et appliqué dans le cadre de l’analyse qualitative) à l’analyse quantitative. On peut d’ailleurs remarquer quatre raisons selon lesquelles la Media Visualization participent à des « analyses métavisuelles » : 1) « ces visualisations sont des images d’images » ; 2) « les paramètres qui permettent de les organiser sont des descripteurs visuels (saturation chromatique, intensité lumineuse, typologie des contours, dimensions, etc.) » ; 3) « la distribution automatique des images est directement visualisable à travers une topologie régie par des d’abscisses et des ordonnées » ; 4) « le design de ces visualisations est en lui-même une opération métavisuelle ».
Ainsi, ces nouveaux instruments d’analyse permettent de voir les contenus culturels d’une nouvelle manière et, potentiellement, de révéler des relations précédemment inaperçues entre des grandes quantités de contenus. Mais c’est un programme informatique qui réalise l’extraction automatique de certaines caractéristiques visuelles et qui permet de visualiser l’ensemble des données dans une nouvelle totalité signifiante ; en l’occurrence dans une nouvelle interface, en les organisant selon telle ou telle caractéristique, que nous pouvons rapporter à des considérations, des statuts et des pratiques sémiotiques. Par ailleurs, on renoue aussi avec les projets d’anciens historiens de l’art (Wölfflin, Focillon, ou encore Warburg,) mais en utilisant dès lors les instruments informatiques pour définir les caractéristiques formelles et plastiques des images. L’objectif est de faire émerger des motifs et des formes similaires dans des groupes d’images qui n’ont pas encore été mis en relation par les méthodes classiques de l’histoire de l’art. En croisant les recherches dans le domaine des technologies de pointe en sciences informatiques avec les travaux en sémiotique qui se sont penchées sur la question des « formes », dans l’image et dans les arts visuels en général, et avec le renouvellement profond des études en histoire de l’art qui renouent avec le « formalisme » de ses fondateurs, il s’agit donc de poursuivre la démarche théorique et méthodologique amorcée par les approches historiques et qualitatives sur la « généalogie des formes », tout en les reconnectant à l’étude du sens et en ouvrant ces approches à une meilleure compréhension du pouvoir des images. Ceci afin de les accommoder et de les intégrer dans l’environnement technologique et les changements épistémologiques plus récents.
→ Colloque international : La généalogie des formes dans la perspective du Deep Learning
→ L’impact du numérique dans les dispositifs de communication des archives d’images