Sony va rendre l'intelligence artificielle encore plus indispensable à la photographie 1

Publié le 17 mai 2020, proposé par Louis Viratelle.

Comme nous l’avons constaté dans le PhiloTech « Une photographie simulée ? », l’avènement des smartphones et la popularisation des capteurs photo et des optiques compactes induisent d’augmenter les capacités physiques des photosites via le traitement numérique. L’idée est de traiter en profondeur les signaux émis par les capteurs photo. Ce traitement permet de convertir numériquement des informations de sorte à s’approcher le plus possible d’une image « compatible avec l’œil humain ».

Autrement dit, l’image doit restituer des couleurs proches voir plus prononcées que ce que nous voyons, l’image doit également capter autant voire plus de lumière que notre vision le permet et la mise au point doit être au moins aussi performante et homogène que celle de nos yeux. Le tout bien entendu en limitant les déformations optiques et les faux positifs des capteurs photo, qui se traduisent par du bruit.

Pour atteindre ce but, nous faisons appel à des algorithmes numériques de pointe, afin de pallier les limites physiques. La puissance des SOC de nos smartphones est de plus en plus sollicitée pour exécuter ce code qui est de plus en plus conséquent. Les ISP se complexifient également à mesure que les caps de performance sont franchies. Enfin un troisième module de calcul est de plus en plus utilisé et développé, le DSP.

La notion de SOC est souvent évoquée pour exprimer la partie CPU et GPU qu’il rassemble. Ces deux parties sont exploitées pour le traitement de l’image, mais leur conception est beaucoup plus adaptée à l’exécution de codes plus « traditionnels », à savoir l’exécution d’un système d’exploitation et d’applications pour le CPU ainsi que l’exécution et l’affichage des graphismes pour le GPU.

C’est alors que l’ISP rentre en jeu et se spécialise, lui, dans le traitement numérique de l’image post conversion analogique / numérique qui est réalisée par le composant ADC (Analog to Digital Converter).
L’ISP exécute des algorithmes de traitement pour bonifier le résultat numérique de l’image et applique le traitement final en fonction du format d’image prédéfinie (.PNG, .jpg, .DNG, etc…). C’est un composant qui n’a cessé de s’améliorer, au même titre que les logiciels de traitement.

Sony va rendre l'intelligence artificielle encore plus indispensable à la photographie 2

Exemple de capteur photo.

Mais ces dernières années, nos smartphones ont encore franchi des gaps impensables il y a de ça dix ans. Pour réussir ces prouesses, le logiciel s’appuie de plus en plus sur une logique d’intelligence artificielle. Le « Machine Learning » et le « Deep Learning » sont basés dans ce cas sur l’analyse et le traitement de millions voire de milliards d’images afin de générer des « connexions neuronales » qui en fonction d’un certain contexte doivent plutôt privilégier une tendance de traitement plutôt qu’une autre. Cette logique reprend certains principes de la déduction neuronale d’un être vivant, d’où le nom très marketing « IA ».

Mais ce code si peu ordinaire nécessite une architecture matérielle particulière et peu comparable aux traditionnels CPU pour être efficace. C’est alors qu’est né le concept de DSP, un composant dédié à l’exécution du code IA pour la photographie. L’IA est particulièrement sollicitée dans ce cas particulier, afin de décupler les possibilités d’un capteur « limité » par la place et l’encombrement.

Il y a quelques jours, le leader mondial du capteur photo Sony a dévoilé un nouveau type de capteur qui confirme cette tendance d’exploitation de l’intelligence artificielle pour la photographie. Ce nouveau capteur associe un substrat assez traditionnel dans lequel sont gravés les photosites, à un ISP et un DSP ainsi qu’à une très petite puce mémoire. L’ensemble est « collé » pour ne former qu’un seul composant. Cette association est une volonté forte d’affirmer que le logiciel et le traitement font partie fondamentaux du principe de la photographie numérique. 

Ces différentes parties vont donc travailler simultanément et à l’unisson pour proposer une image parfaitement optimisée, étant donné que c’est le fabricant du capteur photo lui-même qui a optimisé les composants et le logiciel de traitement numérique. Ce rapprochement permettra surement de modifier la logique de conception dans les smartphones, les modules ISP et DSP pour la photo n’étant plus regroupés dans le SOC mais dans le capteur photo lui-même.

Cette nouvelle conception affirme la volonté de Sony d’exécuter les traitements localement, sur les appareils. L’exécution des processus se réalise sans aucune sollicitation distante d’un serveur, ce qui permet une protection plus grande de la vie privée, et de diminuer grandement les latences, d’autant plus car les éléments qui composent le capteur sont particulièrement proches.

Sony va rendre l'intelligence artificielle encore plus indispensable à la photographie 3

Image illustrant les différentes composantes des nouveaux capteurs de Sony.

Pour l’instant cette solution clé en main prévoit pour caractéristique principale un capteur assez conventionnel d’environ 12,3 millions de pixels taillés individuellement à 1.55 µm. L’ensemble est associé à un traitement optimisé pour l’utilisation professionnelle. Le traitement est donc axé vers la reconnaissance de l’image à des fins bien spécifiques qui divergent de l’aspect esthétique et réaliste que le grand public souhaite obtenir avec son smartphone.

C’est une avancée très importante car la volonté des industriels n’est pas de réaliser des photographies artistiques ou de souvenir, mais d’en récolter une information « plus directement utile » via l’imagerie.
Au lieu que le capteur donne un flux vidéo constant avec une majeure partie de data absolument inutile, ce capteur permettra de déduire et d’informer directement une caractéristique spécifique à l’unité centrale de l’appareil.

Vidéo illustrant les nouveaux capteurs de Sony.

Pour reprendre l’exemple de Sony, cela permettrait de savoir directement à la sortie du capteur photo si oui ou non une personne a pris un produit dans un rayon de grande surface sans caisse (à l’image d’Amazon Go).
Si chacun des capteurs est autonome pour faire ses déductions, la puissance de calcul centralisée sera beaucoup moins grande, car il n’est plus question d’analyser des quantités astronomiques de vidéos en temps réel, mais seulement de faire appliquer le paiement aux bons utilisateurs.
Bien que cette première mondiale soit avant tout ciblée pour les professionnels, les ingénieurs de Sony pensent démocratiser dans les années qui suivent ce type de capteurs aux industries grand public. C’est donc une évolution majeure pour l’ensemble des secteurs qui exploitent les capteurs sensibles à la lumière.

Partager

Partager