Reconstruction 3D - comment créer un modèle 3D à partir d'une image 2D?

si je prends une photo avec une caméra, alors je connais la distance entre la caméra et l'objet, comme une maquette à l'échelle d'une maison, je voudrais transformer ceci en un modèle 3D que je peux manœuvrer autour de

si je m'assois et que je pense à prendre plus d'une photo, la direction de l'étiquetage, et la distance, je devrais être en mesure de comprendre comment faire cela, mais, j'ai pensé que je demanderais si quelqu'un a un papier qui peut aider expliquer plus.

quel langage vous expliquez n'a pas d'importance, car je suis à la recherche de la meilleure approche.

en ce moment je considère montrer la maison, alors l'utilisateur peut mettre dans une certaine aide pour la hauteur, comme la distance de l'appareil-photo au sommet de cette partie du modèle, et étant donné assez de cela il serait possible de commencer à calculer des hauteurs pour le reste, surtout s'il y a une image du haut vers le bas, puis des images des angles sur les quatre côtés, pour calculer relative Heights.

alors les pièces devront différer en couleur pour aider à séparer les différentes parties du modèle que j'attends aussi.

24
demandé sur Amir 2011-10-09 21:55:49
la source

5 ответов

la recherche a fait des progrès significatifs et de nos jours il est possible d'obtenir des formes 3D assez belles à partir d'images 2D. Par exemple, dans notre récent travail de recherche intitulé " synthà © tiser des formes 3D par modà © lisation de cartes et de Silhouettes Multi-View avec des rà © seaux gà © nà © ratifs profonds " a fait un grand pas dans la résolution du problème de l'obtention de formes 3D à partir d'images 2D. Dans notre travail, nous montrons que vous pouvez non seulement passer directement de la 2D à la 3D et obtenir une bonne reconstruction 3D approximative mais vous pouvez également apprendre une distribution de formes 3D d'une manière efficace et générer/synthétiser des formes 3D. Ci-dessous une image de nos travaux montre que nous sommes capables de faire reconstruction 3D même à partir d'une seule silhouette ou carte de profondeur (à gauche). Les formes 3D de ground-truth sont indiquées à droite.

enter image description here

l'approche que nous avons adoptée a quelques contributions liées à la science cognitive ou à la façon dont le cerveau fonctionne: le modèle que nous construit partage des paramètres pour toutes les catégories de forme au lieu d'être spécifique à une seule catégorie. De plus, il obtient des représentations cohérentes et tient compte de l'incertitude de la vue d'entrée lors de la production D'une forme 3D en sortie. Par conséquent, il est capable de naturellement donner significatives résultats même pour des entrées très ambiguës. Si vous regardez la citation de notre papier, vous pouvez voir encore plus de progrès juste en termes de passer des images 2D aux formes 3D.

2
répondu Amir 2018-05-05 01:16:57
la source

Comme mentionné, le problème est très dur et est souvent aussi appelé multi-objet de vue de la reconstruction. Il est généralement abordé en résolvant le problème de reconstruction stéréo-vue pour chaque paire d'images consécutives.

pour effectuer une reconstruction stéréo, il faut prendre des paires d'images qui présentent un bon Chevauchement visible des points physiques. Vous avez besoin de trouver points correspondants tels que vous pouvez alors utiliser triangulation pour trouver les coordonnées 3D des points.

géométrie épipolaire

la reconstruction stéréo se fait habituellement en calibrant d'abord la configuration de votre caméra pour que vous puissiez rectifier vos images en utilisant la théorie de géométrie épipolaire. Cela simplifie la recherche des points correspondants ainsi que les calculs de triangulation finale.

Si vous avez:

vous pouvez calculer le fondamentaux et matrices essentielles en utilisant uniquement la théorie de la matrice et utilisez-les pour rectifier vos images. Cela nécessite une certaine théorie sur coordonner les projectionshomogènes coordonne et aussi la connaissance du appareil photo à sténopé modèle et appareil photo de la matrice.

si vous voulez une méthode qui n'a pas besoin des paramètres de la caméra et qui fonctionne pour des réglages de caméra inconnus, vous devriez probablement regarder dans les méthodes pour reconstruction stéréo non calibrée.

Correspondance problème

trouver les points correspondants est le partie délicate qui nécessite de chercher des points de la même luminosité ou couleur, ou d'utiliser des motifs de texture ou d'autres caractéristiques pour identifier les mêmes points dans les paires d'images. Les Techniques pour ce travail soiten local en recherchant une meilleure correspondance dans une petite région autour de chaque point, ou mondiale en considérant l'ensemble d'une image.

Si vous avez déjà le matrice fondamentale, il vous permettra de rectifier les images telles que les points correspondants dans deux images seront contraints à une ligne (en théorie). Cela vous aide à utiliser des techniques locales plus rapides.

il n'y a pas encore de technique idéale pour résoudre le problème de correspondance, mais les approches possibles pourraient tomber dans ces catégories:

  • sélection Manuelle: demandez à une personne de sélectionner des points de correspondance.
  • marqueurs Personnalisés: placez des marqueurs ou utilisez des motifs/couleurs spécifiques que vous pouvez d'identifier facilement.
  • Somme des différences au carré: prenez une région autour d'un point et trouvez la région la plus proche dans l'autre image.
  • coupures de graphe

pour des implémentations spécifiques, vous pouvez utiliser Google Scholar pour chercher dans la littérature actuelle. Voici un article très Cité comparant diverses techniques: Une Taxonomie et de l'Évaluation de Dense de Deux-Image Stéréo Correspondance Algorithmes.

reconstruction Multi-view

une fois que vous avez les points correspondants, vous pouvez alors utiliser la théorie de la géométrie épipolaire pour les calculs de triangulation pour trouver les coordonnées 3D des points.

cette reconstruction stéréo complète serait alors répétée pour chaque paire d'images consécutives (ce qui implique que vous avez besoin d'un ordre aux images ou au moins de la connaissance dont les images ont de nombreux points de chevauchement). Pour chaque paire vous calculeriez une matrice fondamentale différente.

bien sûr, en raison du bruit ou des inexactitudes à chacune de ces étapes, vous pourriez vouloir considérer comment résoudre le problème d'une manière plus globale. Par exemple, si vous avez une série d'images qui sont prises autour d'un objet et forment une boucle, cela fournit des contraintes supplémentaires qui peuvent être utilisées pour améliorer la précision des étapes précédentes en utilisant quelque chose comme bundle ajustement.

comme vous pouvez le voir, la reconstruction stéréo et multi-view sont loin d'être des problèmes résolus et font encore l'objet de recherches actives. Moins vous voulez faire de manière automatisée, plus le problème est bien défini, mais même dans ces cas, un peu de théorie est nécessaire pour commencer.

Alternatives

si c'est dans les contraintes de ce que vous voulez faire, je recommande d'envisager des capteurs matériels dédiés (tels que Kinect de XBox) au lieu de n'utiliser que des caméras normales. Ces capteurs utilisent la lumière structurée, le temps de vol ou une autre technique d'imagerie de portée pour générer une image de profondeur qu'ils peuvent également combiner avec des données de couleur de leurs propres caméras. Ils résolvent pratiquement le problème de reconstruction d'une vue unique pour vous et comprennent souvent des bibliothèques et des outils pour assembler/combiner plusieurs vues.

géométrie épipolaire références

Ma connaissance est en fait assez mince sur la plupart de la théorie, donc le mieux que je puisse faire est de continuer à vous fournir quelques références qui je l'espère utile (dans l'ordre de pertinence):

Je ne suis pas sûr de l'utilité de tout cela, mais j'espère qu'il comprend assez de terminologie et de références utiles pour trouver d'autres ressources.

49
répondu Silveri 2018-05-01 08:35:56
la source

Ce problème est connu comme Photogrammétrie.

Google vous fournira avec d'innombrables références, juste être conscient que si vous voulez faire vos propres, c'est un très problème difficile.

11
répondu smirkingman 2012-05-29 19:18:59
la source

Google Sketchup (gratuit) a un photo outil d'appariement cela vous permet de prendre une photo et de faire correspondre sa perspective pour un modelage facile.

EDIT: il semble que vous soyez intéressé à développer votre propre solution. Je pensais que vous essayiez d'obtenir un modèle 3D d'une image en une seule instance. Si cette réponse n'est pas utile, je m'en excuse.

3
répondu Peter 2011-11-22 02:09:58
la source