मौलिक मैट्रिक्स (कंप्यूटर विज़न)

कंप्यूटर दृष्टि में, मौलिक मैट्रिक्स $\mathbf {F}$ एक 3×3 मैट्रिक्स है जो स्टीरियो (त्रिविम) इमेजेस में संबंधित बिंदुओं से संबंधित है। एपिपोलर ज्यामिति में, स्टीरियो इमेज युग्म में संबंधित बिंदुओं के सजातीय इमेज निर्देशांक, x और x' के साथ, Fx एक रेखा (एपिपोलर रेखा) का वर्णन करता है जिस पर अन्य इमेज पर संबंधित बिंदु x' होना चाहिए। इसका अर्थ है, सभी युग्मों के लिए संगत बिंदु मान्य हैं।

$\mathbf {x} '^{\top }\mathbf {Fx} =0.$

रैंक दो का होने और केवल पैमाने तक निर्धारित होने के कारण, मौलिक मैट्रिक्स का अनुमान कम से कम सात बिंदुओं के अनुरूप होने पर लगाया जा सकता है। इसके सात पैरामीटर कैमरों के बारे में एकमात्र ज्यामितीय जानकारी का प्रतिनिधित्व करते हैं जो अकेले बिंदु अनुरूपता के माध्यम से प्राप्त की जा सकती है।

शब्द "मौलिक मैट्रिक्स" को क्यूटी लुओंग ने अपने प्रभावशाली पीएचडी थीसिस में इसको लिखा था। इसे कभी-कभी "बाइफोकल टेन्सर" भी कहा जाता है। टेंसर के रूप में, यह दो-बिंदु टेंसर है क्योंकि यह अलग-अलग समन्वय प्रणालियों में बिंदुओं से संबंधित द्विरेखीय रूप है।

उपरोक्त संबंध जो मूलभूत मैट्रिक्स को परिभाषित करता है, 1992 में ओलिवियर फौगेरस और रिचर्ड हार्टले दोनों द्वारा प्रकाशित किया गया था। यद्यपि एच. क्रिस्टोफर लॉन्गुएट-हिगिंस का आवश्यक मैट्रिक्स एक समान संबंध को संतुष्ट करता है, आवश्यक मैट्रिक्स कैलिब्रेटेड कैमरों से संबंधित मापीय वस्तु है, जबकि मौलिक मैट्रिक्स प्रक्षेप्य ज्यामिति के अधिक सामान्य और मौलिक शब्दों में पत्राचार का वर्णन करता है। इसे मौलिक मैट्रिक्स $\mathbf {F}$ और इसके संबंधित आवश्यक मैट्रिक्स $\mathbf {E}$, जो कि है, के बीच संबंध द्वारा गणितीय रूप से ज्ञात कर लिया गया है।

$\mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K}$

$\mathbf {K}$ और $\mathbf {K} '$ सम्मिलित दो इमेजेस के आंतरिक कैलिब्रेशन मैट्रिक्स हैं।

परिचय

मौलिक मैट्रिक्स एक ही दृश्य की किन्हीं दो इमेजेस के बीच एक संबंध है जो यह निर्धारित करता है कि दृश्य से बिंदुओं का प्रक्षेपण दोनों इमेजेस में कहां हो सकता है। इमेजेस में से एक में दृश्य बिंदु के प्रक्षेपण को देखते हुए दूसरी इमेज में संबंधित बिंदु को एक रेखा तक सीमित कर दिया जाता है, जिससे खोज में मदद मिलती है, और गलत पत्राचार का पता लगाने में मदद मिलती है। संबंधित बिंदुओं के बीच का संबंध, जो मौलिक मैट्रिक्स का प्रतिनिधित्व करता है, को एपिपोलर बाधा, मिलान बाधा, असतत मिलान बाधा, या घटना संबंध के रूप में जाना जाता है।

प्रक्षेप्य पुनर्निर्माण प्रमेय

मूलभूत मैट्रिक्स को बिंदु पत्राचार के एक समूह द्वारा निर्धारित किया जा सकता है। इसके अतिरिक्त, इन संबंधित इमेज बिंदुओं को सीधे इस मौलिक मैट्रिक्स से प्राप्त कैमरा मैट्रिक्स की सहायता से विश्व बिंदुओं पर त्रिकोणित किया जा सकता है। इन विश्व बिंदुओं से बना दृश्य वास्तविक दृश्य के प्रक्षेपी परिवर्तन के अंतर्गत है।

प्रमाण

मान लीजिए कि इमेज बिंदु पत्राचार $\mathbf {x} \leftrightarrow \mathbf {x'}$ कैमरा मैट्रिस $\left({\textbf {P}},{\textbf {P}}'\right)$ के अंतर्गत विश्व बिंदु ${\textbf {X}}$ से प्राप्त होता है।

${\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}$

मान लें कि हम एक सामान्य होमोग्राफी मैट्रिक्स ${\textbf {H}}_{4\times 4}$ द्वारा स्थान को इस प्रकार परिवर्तित करते हैं कि ${\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}$।

कैमरे फिर रूपांतरित हो जाते हैं

${\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}$

${\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x}$ और इसी तरह ${\textbf {P}}_{0}'$ के साथ भी हमें अभी भी वही इमेज बिंदु मिलते हैं।

समतलीयता स्थिति का उपयोग करके मौलिक मैट्रिक्स की व्युत्पत्ति

मौलिक मैट्रिक्स को समतलीय स्थिति का उपयोग करके भी प्राप्त किया जा सकता है।

सैटेलाइट इमेजेस के लिए

मौलिक मैट्रिक्स स्टीरियो इमेजेस में एपिपोलर ज्यामिति को व्यक्त करता है। परिप्रेक्ष्य कैमरों से ली गई तस्वीरों में एपिपोलर ज्यामिति सीधी रेखाओं के रूप में दिखाई देती है। हालाँकि, उपग्रह चित्रों में, इमेज अपनी कक्षा (पुशब्रूम सेंसर) के साथ सेंसर की गति के दौरान बनती है। इसलिए, एक इमेज दृश्य के लिए एकाधिक प्रक्षेपण केंद्र होते हैं और एपिपोलर रेखा एक एपिपोलर वक्र के रूप में बनती है। हालाँकि, विशेष परिस्थितियों जैसे कि छोटी इमेज टाइलों में, उपग्रह इमेजेस को मौलिक मैट्रिक्स का उपयोग करके ठीक किया जा सकता है।

गुण

मूलभूत मैट्रिक्स श्रेणी 2 का है। इसका कर्नेल एपिपोलर को परिभाषित करता है।

यह भी देखें

• एपिपोलर ज्यामिति
• आवश्यक मैट्रिक्स
• ट्राइफोकल टेंसर
• आठ-बिंदु एल्गोरिदम

संदर्भ

• Olivier D. Faugeras (1992). "What can be seen in three dimensions with an uncalibrated stereo rig?". Proceedings of European Conference on Computer Vision. CiteSeerX 10.1.1.462.4708.

• Olivier D. Faugeras; Q.T. Luong; Steven Maybank (1992). "Camera self-calibration: Theory and experiments". Proceedings of European Conference on Computer Vision. doi:10.1007/3-540-55426-2_37.

• Q.T. Luong and Olivier D. Faugeras (1996). "The Fundamental Matrix: Theory, Algorithms, and Stability Analysis". International Journal of Computer Vision. 17 (1): 43–75. doi:10.1007/BF00127818. S2CID 2582003.

• Olivier Faugeras and Q.T. Luong (2001). The Geometry of Multiple Images. MIT Press. ISBN 978-0-262-06220-6.

• Richard I. Hartley (1992). "Estimation of relative camera positions for uncalibrated cameras" (PDF). Proceedings of European Conference on Computer Vision.

• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in Computer Vision. Cambridge University Press. ISBN 978-0-521-54051-3.

• Richard I. Hartley (1997). "In Defense of the Eight-Point Algorithm". IEEE Transactions on Pattern Analysis and Machine Intelligence. 19 (6): 580–593. doi:10.1109/34.601246.
• Nurollah Tatar (2019). "Stereo rectification of pushbroom satellite images by robustly estimating the fundamental matrix". International Journal of Remote Sensing. 40 (20): 1–19. doi:10.1080/01431161.2019.1624862.

• Q.T. Luong (1992). Matrice fondamentale et auto-calibration en vision par ordinateur. PhD Thesis, University of Paris, Orsay.

• Yi Ma; Stefano Soatto; Jana Košecká; S. Shankar Sastry (2004). An Invitation to 3-D Vision. Springer. ISBN 978-0-387-00893-6.

• Marc Pollefeys, Reinhard Koch and Luc van Gool (1999). "Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Intrinsic Camera Parameters". International Journal of Computer Vision. 32 (1): 7–25. doi:10.1023/A:1008109111715. S2CID 306722.

• Philip H. S. Torr (1997). "The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix". International Journal of Computer Vision. 24 (3): 271–300. doi:10.1023/A:1007927408552. S2CID 12031059.

• Philip H. S. Torr and A. Zisserman (2000). "MLESAC: A New Robust Estimator with Application to Estimating Image Geometry". Computer Vision and Image Understanding. 78 (1): 138–156. CiteSeerX 10.1.1.110.5740. doi:10.1006/cviu.1999.0832.

• Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.

• Zhengyou Zhang (1998). "Determining the epipolar geometry and its uncertainty: A review". International Journal of Computer Vision. 27 (2): 161–195. doi:10.1023/A:1007941100561. S2CID 3190498.

टूलबॉक्स

• [1] मजबूत आँकड़ों के लिए एक GPL C (प्रोग्रामिंग भाषा)/C++ लाइब्रेरी है, गैर-रेखीय (लेवेनबर्ग-मार्क्वार्ड एल्गोरिथ्म पर आधारित) मौलिक मैट्रिक्स मिलान किए गए बिंदु जोड़े और विभिन्न वस्तुनिष्ठ कार्यों से अनुमान (मानोलिस लौराकिस)।
• MATLAB में संरचना और मोशन टूलकिट (फिलिप एच.एस. टोर)
• मौलिक मैट्रिक्स अनुमान टूलबॉक्स (जोआकिम साल्वी)
• एपिपोलर ज्योमेट्री टूलबॉक्स (ईजीटी)

बाहरी संबंध

• Epipolar Geometry and the Fundamental Matrix (chapter from Hartley & Zisserman)
• Determining the epipolar geometry and its uncertainty: A review (Zhengyou Zhang)
• Visualization of epipolar geometry (originally by Sylvain Bougnoux of INRIA Robotvis, requires Java)
• The Fundamental Matrix Song Video demonstrating laws of epipolar geometry.