Le mois dernier, plusieurs rapports ont fait surface sur l'ajout par Google Photos d'une nouvelle option de retouche photo appelée Ultra HDR dans l'application. Nous savons maintenant que cela permettra de contrôler les niveaux de luminosité des images Ultra HDR au niveau des pixels. Mais il n’y avait aucune explication sur la manière dont cela aide lors d’éditions complexes. Désormais, Google détaille comment les modifications complexes dans Google Photos conserveront la qualité Ultra HDR sur le Pixel 8 et supérieur.
Problèmes de carte Gain lors de la modification d'une image Ultra HDR à l'aide d'outils basés sur ML sur les appareils Pixel
Des modifications auparavant complexes au-delà du recadrage ou de la rotation créaient une nouvelle copie de l'image en qualité SDR. Cela s'est apparemment produit en raison de métadonnées supplémentaires liées à l'Ultra HDR. La société précise que le problème concerne spécifiquement la Gain Map. Pour ceux qui ne le savent pas, Gain Map est « une image codée en journal stockée à côté de l’image SDR qui indique dans quelle mesure il faut éclaircir chaque pixel SDR pour produire le rendu HDR cible ».
Notamment, la modification de Gain Map avec des outils tels que Magic Eraser, Magic Editor, etc. dans Google Photos est assez complexe. En effet, Google a développé ces outils pour les images SDR et les modèles attendent des images SDR comme entrées. Cela se traduit par des images SDR en sortie. Google a en outre fourni un exemple d'utilisation de la fonctionnalité Magic Eraser pour expliquer le problème.
Auparavant, lorsque vous utilisiez la fonction Magic Eraser dans Google Photos pour supprimer un élément lumineux d'une image, « il est probable que la zone Gain Map correspondante était également lumineuse ». Inpainting la partie manquante de l’image nécessiterait également d’inpainting la Gain Map pour éviter « l’effet fantôme ». Cela s'est produit parce que la carte de gain d'origine apparaît en superposition sur l'image SDR modifiée. Par conséquent, la modification d'images Ultra HDR dans Google Photos à l'aide d'outils basés sur MIL rétrograde simplement l'image modifiée en qualité SDR.
Le nouveau modèle de reconstruction Gain Map corrige le problème précédent pour conserver la qualité Ultra HDR
Google Photos utilise désormais un nouveau modèle ML pour résoudre ce problème. Le nouveau modèle reconstruit la carte de gain manquante des images SDR « après l'édition des images HDR ». Il prédit une nouvelle carte de gain basée sur l'image SDR d'origine, l'image SDR modifiée et la carte de gain de l'image d'origine.
Google indique que le modèle mélange ensuite la carte de gain prévue avec celle d'origine à l'aide d'un masque dans lequel les pixels des images SDR ont été précédemment modifiés lors de l'édition. Enfin, tout se mélange pour former une image uniforme tout en « optimisant le rendu pour les affichages HDR ».
Il convient de noter que le modèle de reconstruction Gain Map de Google est « inférieur à 1 Mo et fonctionne à des fréquences d'images interactives sur les appareils mobiles ». De plus, Google a formé ce modèle sur des milliers d'images HDR. De plus, ces modifications Ultra HDR dans Google Photos sont désormais disponibles sur les appareils Pixel 8 et plus récents.
