मौलिक मैट्रिक्स (कंप्यूटर विज़न)

कंप्यूटर दृष्टि में, मौलिक मैट्रिक्स $\mathbf {F}$ एक 3×3 मैट्रिक्स है जो स्टीरियो (त्रिविम) छवियों में संबंधित बिंदुओं से संबंधित है। अधिध्रुवीय ज्यामिति में, एक स्टीरियो इमेज युग्म में संबंधित बिंदुओं के सजातीय छवि निर्देशांक, x और x' के साथ, Fx एक रेखा (एक अधिध्रुवीय रेखा) का वर्णन करता है जिस पर अन्य छवि पर संबंधित बिंदु x' होना चाहिए। इसका अर्थ है, सभी युग्मों के लिए संगत बिंदु मान्य हैं।

$\mathbf {x} '^{\top }\mathbf {Fx} =0.$

श्रेणी दो का होने और केवल पैमाने तक निर्धारित होने के कारण, मौलिक मैट्रिक्स का अनुमान कम से कम सात-बिंदु पत्राचार दिया जा सकता है। इसके सात पैरामीटर कैमरों के बारे में एकमात्र ज्यामितीय जानकारी का प्रतिनिधित्व करते हैं जो अकेले बिंदु पत्राचार के माध्यम से प्राप्त की जा सकती है।

शब्द "मौलिक मैट्रिक्स" को क्यूटी लुओंग ने अपने प्रभावशाली पीएचडी थीसिस में इसको लिखा था। इसे कभी-कभी "बाइफोकल टेन्सर" भी कहा जाता है। एक टेंसर के रूप में, यह एक दो-बिंदु टेंसर है क्योंकि यह अलग-अलग समन्वय प्रणालियों में बिंदुओं से संबंधित एक द्विरेखीय रूप है।

उपरोक्त संबंध जो मूलभूत मैट्रिक्स को परिभाषित करता है, 1992 में ओलिवियर फौगेरस और रिचर्ड हार्टले दोनों द्वारा प्रकाशित किया गया था। यद्यपि एच. क्रिस्टोफर लॉन्गुएट-हिगिंस का आवश्यक मैट्रिक्स एक समान संबंध को संतुष्ट करता है, आवश्यक मैट्रिक्स कैलिब्रेटेड कैमरों से संबंधित एक मीट्रिक वस्तु है, जबकि मौलिक मैट्रिक्स प्रक्षेप्य ज्यामिति के अधिक सामान्य और मौलिक शब्दों में पत्राचार का वर्णन करता है। इसे मौलिक मैट्रिक्स $\mathbf {F}$ और इसके संबंधित आवश्यक मैट्रिक्स $\mathbf {E}$, जो कि है, के बीच संबंध द्वारा गणितीय रूप से ज्ञात कर लिया गया है।

$\mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K}$

$\mathbf {K}$ और $\mathbf {K} '$ शामिल दो छवियों के आंतरिक अंशांकन मैट्रिक्स हैं।

परिचय

मौलिक मैट्रिक्स एक ही दृश्य की किन्हीं दो छवियों के बीच एक संबंध है जो यह निर्धारित करता है कि दृश्य से बिंदुओं का प्रक्षेपण दोनों छवियों में कहां हो सकता है। छवियों में से एक में एक दृश्य बिंदु के प्रक्षेपण को देखते हुए दूसरी छवि में संबंधित बिंदु को एक रेखा तक सीमित कर दिया जाता है, जिससे खोज में मदद मिलती है, और गलत पत्राचार का पता लगाने में मदद मिलती है। संबंधित बिंदुओं के बीच का संबंध, जो मौलिक मैट्रिक्स का प्रतिनिधित्व करता है, को एपिपोलर बाधा, मिलान बाधा, असतत मिलान बाधा, या घटना संबंध के रूप में जाना जाता है।

प्रक्षेप्य पुनर्निर्माण प्रमेय

मूलभूत मैट्रिक्स को बिंदु पत्राचार के एक सेट द्वारा निर्धारित किया जा सकता है। इसके अतिरिक्त, इन संबंधित छवि बिंदुओं को सीधे इस मौलिक मैट्रिक्स से प्राप्त कैमरा मैट्रिक्स की सहायता से विश्व बिंदुओं पर त्रिकोणित किया जा सकता है। इन विश्व बिंदुओं से बना दृश्य वास्तविक दृश्य के एक प्रक्षेपी परिवर्तन के अंतर्गत है।

प्रमाण

मान लीजिए कि छवि बिंदु पत्राचार $\mathbf {x} \leftrightarrow \mathbf {x'}$ कैमरा मैट्रिस $\left({\textbf {P}},{\textbf {P}}'\right)$ के अंतर्गत विश्व बिंदु ${\textbf {X}}$ से प्राप्त होता है।

${\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}$

मान लें कि हम एक सामान्य होमोग्राफी मैट्रिक्स ${\textbf {H}}_{4\times 4}$ द्वारा स्थान को इस प्रकार परिवर्तित करते हैं कि ${\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}$।

कैमरे फिर रूपांतरित हो जाते हैं

${\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}$

${\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x}$ और इसी तरह के साथ ${\textbf {P}}_{0}'$ अभी भी हमें वही छवि बिंदु मिलते हैं।

समतलीय स्थिति का उपयोग करके मौलिक मैट्रिक्स की व्युत्पत्ति

मौलिक मैट्रिक्स को समतलीय स्थिति का उपयोग करके भी प्राप्त किया जा सकता है।

उपग्रह चित्रों के लिए

मौलिक मैट्रिक्स अधिध्रुवीय ज्यामिति को स्टीरियो छवियों में व्यक्त करता है। परिप्रेक्ष्य कैमरों से ली गई छवियों में अधिध्रुवीय ज्यामिति सीधी रेखाओं के रूप में दिखाई देती है। हालाँकि, उपग्रह छवियों में, छवि अपनी कक्षा (पुशब्रूम सेंसर) के साथ सेंसर की गति के दौरान बनती है। इसलिए, एक छवि दृश्य के लिए कई प्रक्षेपण केंद्र होते हैं और अधिध्रुवीय रेखा एक अधिध्रुवीय वक्र के रूप में बनती है। हालाँकि, विशेष परिस्थितियों जैसे छोटी छवि टाइलों में, उपग्रह छवियों को मौलिक मैट्रिक्स का उपयोग करके ठीक किया जा सकता है।

गुण

मौलिक मैट्रिक्स रैंक (रैखिक बीजगणित) 2 का है। इसका कर्नेल (मैट्रिक्स) अधिध्रुवीय ज्यामिति#एपिपोल या अधिध्रुवीय बिंदु को परिभाषित करता है।

यह भी देखें

• अधिध्रुवीय ज्यामिति
• आवश्यक मैट्रिक्स
• ट्राइफोकल टेंसर
• आठ-बिंदु एल्गोरिथ्म

संदर्भ

• Olivier D. Faugeras (1992). "What can be seen in three dimensions with an uncalibrated stereo rig?". Proceedings of European Conference on Computer Vision. CiteSeerX 10.1.1.462.4708.

• Olivier D. Faugeras; Q.T. Luong; Steven Maybank (1992). "Camera self-calibration: Theory and experiments". Proceedings of European Conference on Computer Vision. doi:10.1007/3-540-55426-2_37.

• Q.T. Luong and Olivier D. Faugeras (1996). "The Fundamental Matrix: Theory, Algorithms, and Stability Analysis". International Journal of Computer Vision. 17 (1): 43–75. doi:10.1007/BF00127818. S2CID 2582003.

• Olivier Faugeras and Q.T. Luong (2001). The Geometry of Multiple Images. MIT Press. ISBN 978-0-262-06220-6.

• Richard I. Hartley (1992). "Estimation of relative camera positions for uncalibrated cameras" (PDF). Proceedings of European Conference on Computer Vision.

• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in Computer Vision. Cambridge University Press. ISBN 978-0-521-54051-3.

• Richard I. Hartley (1997). "In Defense of the Eight-Point Algorithm". IEEE Transactions on Pattern Analysis and Machine Intelligence. 19 (6): 580–593. doi:10.1109/34.601246.
• Nurollah Tatar (2019). "Stereo rectification of pushbroom satellite images by robustly estimating the fundamental matrix". International Journal of Remote Sensing. 40 (20): 1–19. doi:10.1080/01431161.2019.1624862.

• Q.T. Luong (1992). Matrice fondamentale et auto-calibration en vision par ordinateur. PhD Thesis, University of Paris, Orsay.

• Yi Ma; Stefano Soatto; Jana Košecká; S. Shankar Sastry (2004). An Invitation to 3-D Vision. Springer. ISBN 978-0-387-00893-6.

• Marc Pollefeys, Reinhard Koch and Luc van Gool (1999). "Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Intrinsic Camera Parameters". International Journal of Computer Vision. 32 (1): 7–25. doi:10.1023/A:1008109111715. S2CID 306722.

• Philip H. S. Torr (1997). "The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix". International Journal of Computer Vision. 24 (3): 271–300. doi:10.1023/A:1007927408552. S2CID 12031059.

• Philip H. S. Torr and A. Zisserman (2000). "MLESAC: A New Robust Estimator with Application to Estimating Image Geometry". Computer Vision and Image Understanding. 78 (1): 138–156. CiteSeerX 10.1.1.110.5740. doi:10.1006/cviu.1999.0832.

• Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.

• Zhengyou Zhang (1998). "Determining the epipolar geometry and its uncertainty: A review". International Journal of Computer Vision. 27 (2): 161–195. doi:10.1023/A:1007941100561. S2CID 3190498.

टूलबॉक्स

• [1] मजबूत आँकड़ों के लिए एक GPL C (प्रोग्रामिंग भाषा)/C++ लाइब्रेरी है, गैर-रेखीय (लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म पर आधारित) मौलिक मैट्रिक्स मिलान किए गए बिंदु जोड़े और विभिन्न वस्तुनिष्ठ कार्यों से अनुमान (मानोलिस लौराकिस)।
• MATLAB में संरचना और मोशन टूलकिट (फिलिप एच.एस. टोर)
• मौलिक मैट्रिक्स अनुमान टूलबॉक्स (जोआकिम साल्वी)
• अधिध्रुवीय ज्योमेट्री टूलबॉक्स (ईजीटी)

बाहरी संबंध

• Epipolar Geometry and the Fundamental Matrix (chapter from Hartley & Zisserman)
• Determining the epipolar geometry and its uncertainty: A review (Zhengyou Zhang)
• Visualization of epipolar geometry (originally by Sylvain Bougnoux of INRIA Robotvis, requires Java)
• The Fundamental Matrix Song Video demonstrating laws of epipolar geometry.