Javascript templating

< BACK TO HOME


Digitization Process







Processus de numérisation

Le travail de numérisation consiste à recréer sur un écran une vision tridimensionnelle d'un objet réel. Il s'agit de "capturer" grâce à des scanners de surface, caméras ou appareils photographiques, des informations permettant de reconstituer informatiquement l'objet sous tous ses angles.
En fonction de la complexité de l'objet, de l'éclairage, de la précision des appareils de capture,la reconstruction numérique de l'objet sera plus ou moins précise, plus ou moins fidèle.

Ainsi au même titre qu'une photographie, l'objet 3D ne peut être considéré comme un double, une copie carbone de l'objet original, mais bien comme une représentation, une interprétation numérique d'un objet authentique.
La figure ci-après présentent les différences entre le rendu de la représentation 3D est une photographie ayant servie à générer cette représentation.

Différences photographie (gauche) / représentation numérique (droite) pour les céroplasties MHS-3 et MHS-4

The digitisation process

Digitisation consists of recreating a three-dimensional view of a real object on a screen. This involves ‘capturing’ information using surface scanners, cameras and photographic equipment to digitally reconstruct the object from every possible angle. The accuracy and faithfulness of the digital reconstruction are dependent on the complexity of the object, the lighting and the precision of the capture equipment.

As is true of a photograph, the 3D model should not be seen as a duplicate or carbon copy of the original object, but rather as a representation, a digital interpretation of a real object. The figure below shows the differences between the 3D model and a photograph used to generate this representation.

Differences between the photograph (left) and the digital representation (right) for moulages MHS-3 and MHS-4


Usage de la photogrammétrie

Les céroplasties présentes sur ce site web ont été numérisées à l'aide d'une technique nommée "photogrammétrie". Cette dernière consiste à prendre une centaine de vues photographiques du moulage sous différents angles. Les objets de taille modeste sont généralement positionnés sur un plateau synchronisé à l'appareil photographique et tournant automatiquement d'un angle de 5 à 10 degrés.

Un logiciel spécialisé va ensuite reconstruire numériquement la forme de l'objet en analysant les images et déduisant leurs positions dans l'environnement. Le logiciel va pouvoir ainsi successivement calculé un nuage de points et un maillage tridimensionnelle de faces reliant ces points. Enfin les photographies sont projetées sur la forme en 3 dimensions de l'objet afin de lui donner son aspect final.

Processus de numérisations à partir de photos

La photogrammétrie offre l'avantage d'obtenir un rendu très réaliste des couleurs et textures, une caractéristique essentielle pour rendre fidèlement compte des lésions syphilitiques. Elle est cependant dépendante de la qualité des photos et les calculs de reconstruction 3D nécessitent du temps et de la puissance computationnelle.

La cire est naturellement translucide et par conséquent sa couleur est impactée par l'éclairage. Nos prises de vue ont été réalisées avec un éclairage par flash lumineux d'un blanc froid. Il en résulte une colorimétrie plus neutre, une cire d'un aspect souvent moins jaune que sous un éclairage chaud classique. Les flashs permettent également de capturer plus de détails et facilitent une reconstruction informatique précise de l'objet.

Using photogrammetry

The wax moulages on this website have been digitised using a technique called ‘photogrammetry’. The process begins by taking a series of a hundred or so photographs of each moulage from different angles. Smaller objects are usually positioned on a turntable that is synchronised to the camera and automatically rotates through an angle of 5 to 10 degrees.

Specialist software is then used to digitally reconstruct the shape of the object by analysing the images and deducing their locations in the space. The software calculates a ‘point cloud’, and then a three-dimensional mesh of faces linking these points. Finally, the photographs are projected onto the object in 3D to give it its final appearance.

Processus de numérisations à partir de photos

Photogrammetry is excellent at producing highly realistic rendering of colour and texture, which is crucial for faithful digitisation of syphilitic lesions. But it is dependent on the quality of the photographs, and 3D reconstruction calculations are time-consuming and require a lot of computational power.

As wax is naturally translucent, its colour is affected by the lighting. Our photographs were shot using a cool white flash for more neutral colourimetry, in which the wax often looks less yellow than it does under conventional warm lighting. Using flash also helped us capture more detail, improving the accuracy of the digital reconstruction.



Les Défis

Reflets lumineux

Certains moulages possèdent des socles en bois vernis reflétant la lumière. Ces reflets peuvent perturber la reconstruction informatique et engendrer des "artefacts de numérisation" (taches, déformations) visibles sur le modèle. Les moulages scellés derrière une vitre en verre peuvent également être difficile à numériser. La vitre demande une gestion de l'éclairage adaptée pour limiter les reflets de l'environnement masquant les moulages. Dans tous les cas les vitres ne seront pas numérisées mais peuvent être ajoutées informatiquement pour se rapprocher de l'objet original. Ce procédé a notamment été employé pour la numérisation de la céroplastie MHS-14.

Pilosité

Il est fréquent de trouver sur les céroplasties de véritables cheveux, poils, cils. Si ces derniers ne perturbent pas la prise de vue photographique, ils se révèlent en revanche très difficiles à reconstituer informatiquement, les logiciels n'étant pas capable de reconstituer à partir de photos des détails de l'épaisseur d'un cheveu. Ils en résultent une reconstruction tridimensionnelle grossière dont le réalisme est uniquement apporté par l'application de la texture photographique en fin de processus.

Challenges

Reflected light

Some of the moulages have varnished wooden mounts that reflect the light. These reflections can interfere with the digital reconstruction and produce ‘digitisation artefacts’ (such as marks or distortions) that are visible on the model. Moulages sealed behind glass can also be difficult to digitise, since the lighting has to be managed in order to prevent them being masked by reflections from their surroundings. Glass is not digitised but can be added digitally to reproduce the original object as closely as possible. This technique was used to digitise moulage MHS-14, for example.

Hair

The wax moulages often include real hair and eyelashes. These features do not interfere with photographic capture but are very difficult to reconstruct digitally, as the software is unable to reconstruct hair-thin details from the photographs. This results in a crude three-dimensional reconstruction that can only be made to look realistic by applying photographic texture at the end of the process.



Diffuser sur le web

La phase de numérisation des moulages permet d'obtenir des fichiers 3D, ces derniers doivent cependant être lus à travers un lecteur 3D nous permettant de les visualiser et d'interagir avec. Réaliser cette interaction sur le web augmente la difficulté, la lecture du fichier devant prendre en compte la vitesse de connexion et la puissance possiblement limitées de l'ordinateur ou du smartphone sur lequel le fichier est lu.

Afin de palier à ces difficultés les modèles 3D ont été rendus aussi légers que possible via une compression des images et une simplification du maillage des faces. Ils ont ensuite été intégrés à ce site internet grâce à Sketchnote 3D©, un lecteur/éditeur spécialement conçu pour fonctionner dans un navigateur web et développé en interne au sein de l'Unité d'Anatomie, faculté de Médecine - Université de Genève.

Sketchnote 3D©

Christophe Lamy & Julien Da Costa (2020-2023)

Un outil en ligne pour afficher, annoter et partager des modèles 3D interactifs : sn3d.unige.ch

Making the models available online

Digitising the wax moulages produces 3D files, but a 3D reader is needed to visualise and interact with them. Enabling users to interact with the models online presented an additional challenge, since we had to account for users who might be looking at the file with limited connection speed and/or on a computer or smartphone with limited power.

To overcome these problems, the 3D models were made as light as possible by compressing the images and simplifying the face mesh. They were then integrated into the website using Sketchnote 3D©, a reader/editor specially designed to run in a web browser and developed in-house by the Anatomie Unit, at the University of Geneva Faculty of Medicine.

Sketchnote 3D©

Christophe Lamy & Julien Da Costa (2020-2023)

An online tool to display, share and annotate 3d interactive models : sn3d.unige.ch



Looking forward: Future directions for research

Digitisation / 3D model / 3D-printed model

Digitising objects results in a more porous boundary between the real and the virtual, and offers a new way to share knowledge. The reverse process – transitioning from the digital to the physical – is also now growing rapidly due to the increasingly widespread use of 3D printers.

While the ability to hold a 3D-printed wax moulage in your hands and feel its contours for yourself is an exciting development, the scientific and educational value of this is still limited by the monochrome appearance of the 3D-printed output, which only partially reproduces the object and the nuances of the disease. Multicolour 3D printers remain expensive at present but are already in use in industry, and are almost certain to be adopted in future by private individuals.

The legal, ethical and moral framework for these emerging practices is therefore a subject of great interest, and academic institutions have a role to play in the development of this framework as it evolves in response to technological advances.

As part of this project, we wanted to explore the opportunities these technologies offer for showcasing and disseminating knowledge about these museum and heritage collections in a different way. 3D media, in all its forms, opens up a whole new world of possibilities for research and teaching, many uses of which are yet to be explored.



Julien Da Costa / Adjoint scientifique Anatomy Unit – Faculty of Medicine, University of Geneva

Perspectives d'avenir : Orientations futures de la recherche

Numérisation / Modèle 3D / Modèle imprimé en 3D

La numérisation d’objet rend plus perméable la frontière réel/virtuel et étend nos possibilités de partage de la connaissance. Si le passage du physique au numérique est ainsi possible, l’inverse est également en plein essor grâce à des machines d’impression 3D de plus en plus répandus.

Bien qu’il soit saisissant d’avoir entre les mains une céroplastie imprimée en 3D et pouvoir en apprécier les contours, l’intérêt scientifique ou pédagogique reste encore limité par son aspect monochrome ne restituant que partiellement l’œuvre et les nuances de la maladie. Des machines multi-chromatiques couteuses existent cependant déjà dans l’industrie et leur adoption future chez les particuliers est pratiquement certaine.

L’encadrement légal, éthique, moral de ces pratiques émergentes est ainsi un sujet d’intérêt, évoluant au rythme des avancées techniques et auquel les institutions académiques ont un rôle à jouer.

Dans le cadre de ce projet nous avons souhaité explorer les possibilités offertes par ces technologies pour mettre en lumière et diffuser autrement du savoir autour de ces collections muséales et patrimoniales. Les supports 3D, sous toutes leurs formes, ouvre un champ des possibles pour la recherche et l’enseignement dont beaucoup restent encore à explorer en termes d’usage.



Julien Da Costa / Adjoint scientifique Unité d'Anatomie - Faculté de Médecine, Université de Genève


< BACK TO HOME