Cunat, Christophe (2004) Accélération matérielle pour le rendu de scènes multimédia vidéo et 3D. PhD thesis Electronique et Communications, ENST - COMELEC Communication et Electronique, ENST.

Full text available as: - cunat04these.pdf ( 5871 Kb )

Licence: Copyright

Abstract

Un processus de convergence des techniques algorithmiques de deux domaines autrefois disjoints, convergence facilité par l'émergence de normes telles que MPEG-4, s'est engagé au cours de ces dernières années. Grâce au concept de codage par objets, une scène peut être reconstituée par la composition de divers objets dans un ordre déterminé.
Cette thèse s'inscrit dans le cadre de la composition d'objets visuels qui peuvent être de natures différentes (séquences vidéo, images fixes, objets synthétiques 3D, etc.). Néanmoins, les puissances de calcul nécessaires afin d'effectuer cette composition demeurent prohibitives sans mise en place d'accélérateurs matériels spécialisés et deviennent critiques dans un contexte de terminal portable.
Une revue tant algorithmique qu'architecturale des différents domaines est effectuée afin de souligner à la fois les points de convergence et de différence. Ensuite, trois axes (interdépendants) de réflexions concernant les problématiques de représentation des données, d'accès aux données et d'organisation des traitements sont principalement discutés.
Ces réflexions sont alors appliquées au cas concret d'un terminal portable pour la labiophonie: application de téléphonie où le visage de l'interlocuteur est reconstruit à partir d'un maillage de triangles et d'un placage de texture. Une architecture unique d'un compositeur d'image capable de traiter indifféremment ces objets visuels est ensuite définie. Enfin, une synthèse sur une plateforme de prototypage de cet opérateur autorise une comparaison avec des solutions existantes, apparues pour la plupart au cours de cette thèse.

Table of content

Table des figures
Liste des tableaux
I Introduction
II Convergence entre vidéo et synthèse d'images
1 Contexte
1.1 Un scénario futuriste ?
1.2 Différents domaines supports mis en oeuvre
1.2.1 La synthèse d'images en trois dimensions
1.2.3 Le support matériel
2 Problématique
III Algorithmes et architectures pour le rendu d'images
3 Algorithmes de rendu d'images
3.1 Le rendu d'une scène graphique 3D
3.1.1 Modélisation d'une scène
3.1.2 Pipeline graphique
3.1.3 Compléments sur le pipeline graphique
3.2 Traitements vidéo
3.2.1 Modélisation
3.2.2 Codage numérique des images
3.2.3 Post-traitements
3.2.4 Un pipeline de rendu vidéo
3.3 Premières similitudes
3.3.1 Le processus de filtrage
3.3.2 Organisation des traitements
3.4 Résumé
4 Architectures matérielles
4.1 Architectures pour la synthèse graphique
4.1.1 Des architectures pour de hautes performances
4.1.2 Architectures pour processeurs 3D intégrés
4.2 Architectures pour la vidéo
4.2.1 Architectures dédiées et reconfigurables
4.2.2 Architectures programmables spécialisées
4.3 Architectures pour les systèmes embarqués
4.3.1 Architectures orientées traitement vidéo
4.3.2 Architectures orientées traitement graphique
5 Algorithmes et architectures: conclusion
IV Propositions pour un rendu unifié
6 Représentation des données
6.1 Présentation
6.1.1 Espaces de couleurs
6.1.2 Domaines de variations
6.1.3 Échantillonnage
6.1.4 Résumé
6.2 Support matériel des traitements
6.2.1 Espace de couleur unifié
6.2.2 Espaces de couleur multiples
6.3 Résumé
7 Le rendu d'images par tuiles: modélisation et optimisation
7.1 Introduction
7.2 Puissances de calcul lors d'un traitement tuile
7.2.1 Définition d'un modèle de rendu idéal
7.2.2 Taille d'une tuile et temps de traitement
7.2.3 Parcours d'une tuile
7.2.4 Complexité de calcul
7.2.5 Résumé
7.3 Accès aux données, pipeline et cache déterministe
7.3.1 Traitements préliminaires: tri des primitives
7.3.2 Organisation pipelinée
7.3.3 Cache déterministe
7.3.4 Architecture d'un opérateur
7.4 Bilan
8 Transformations affines et filtrages
8.1 Introduction
8.1.1 Parcours arrière
8.1.2 Parcours avant
8.2 Réorganisation du parcours des triangles
8.2.1 De la simplification de la transformation affine...
8.2.2 ... A un nouvel espace de parcours des triangles
8.3 Questions autour d'une implémentation matérielle
8.4 Bilan
V Réalisation d'un opérateur de rendu MPEG-4
9 Contexte: le projet TEMPOVALSE
9.1 Le rendu de visage parlant
9.1.1 Justification
9.1.2 Modèle articulatoire physique
9.1.3 Paramètres d'animation faciale: FAP
9.2 Composition d'images
9.2.1 Caractéristiques fonctionnelles
9.2.2 Caractéristiques temporelles
9.3 Problématiques
10 Partitionnement logiciel-matériel
10.1 Partitionnement et interface
10.1.1 Adéquation algorithme/architecture
10.1.2 Interfaces de communication
10.2 Ordonnancement
10.2.1 Ordonnancement global de l'opérateur de rendu MPEG-4
10.2.2 Ordonnancement local du parcours géométrique modifié
10.3 Résultats d'implémentation
10.3.1 Maquette de prototypage
10.3.2 Synthèse du parcours géométrique
10.3.3 Synthèse du coprocesseur complet
11 Conclusion
VI Conclusions
12 Bilan général
13 Perspectives
13.1 Rendu par tuiles
13.1.1 Tuiles et modes de rendu alternatifs
13.1.2 Compression de texture
13.2 Évolutivité du compositeur d'image
13.2.1 Contrôle microprogrammé
13.2.2 Graphisme 3D
13.2.3 Graphisme 2D vectoriel
Bibliographie
VII Annexes
A Mesures expérimentales de jeux vidéo 3D
B Précision et dynamiques d'opérateurs
C Opérateur de transformation géométrique

Statistiques de consultation

Repository Staff Only: edit this item