एआईएक्सआई

इस कदर ['ai̯k͡siː] कृत्रिम सामान्य बुद्धि के लिए एक सैद्धांतिक गणितीय तर्क#औपचारिक तार्किक प्रणाली है। यह सोलोमनॉफ़ प्रेरण को निर्णय सिद्धांत के साथ जोड़ता है। AIXI को पहली बार 2000 में मार्कस हटर द्वारा प्रस्तावित किया गया था और AIXI के संबंध में कई परिणाम हटर की 2005 की पुस्तक यूनिवर्सल आर्टिफिशियल इंटेलिजेंस में सिद्ध हुए हैं। AIXI एक सुदृढीकरण शिक्षण|सुदृढीकरण शिक्षण (आरएल) एजेंट है। यह पर्यावरण से प्राप्त अपेक्षित कुल पुरस्कारों को अधिकतम करता है। सहज रूप से, यह एक साथ प्रत्येक गणना योग्य परिकल्पना (या पर्यावरण) पर विचार करता है। प्रत्येक समय चरण में, यह हर संभावित कार्यक्रम को देखता है और मूल्यांकन करता है कि अगली कार्रवाई के आधार पर वह कार्यक्रम कितने पुरस्कार उत्पन्न करता है। वादा किए गए पुरस्कारों को तब व्यक्तिपरक तर्क द्वारा महत्व दिया जाता है कि यह कार्यक्रम वास्तविक वातावरण का गठन करता है। इस विश्वास की गणना कार्यक्रम की लंबाई से की जाती है: ओकाम के रेजर के अनुरूप, लंबे कार्यक्रमों को कम संभावना वाला माना जाता है। AIXI तब उस कार्रवाई का चयन करता है जिसमें इन सभी कार्यक्रमों के भारित योग में सबसे अधिक अपेक्षित कुल इनाम होता है।

परिभाषा

AIXI एक सुदृढीकरण शिक्षण एजेंट है जो कुछ स्टोकेस्टिक और अज्ञात लेकिन गणना योग्य वातावरण के साथ बातचीत करता है $\mu$. बातचीत समय के चरणों में आगे बढ़ती है, से $t=1$ को $t=m$, कहाँ $m\in \mathbb {N}$ AIXI एजेंट का जीवनकाल है। समय चरण t पर, एजेंट एक क्रिया चुनता है $a_{t}\in {\mathcal {A}}$ (उदाहरण के लिए एक अंग संचालन) और इसे पर्यावरण में क्रियान्वित करता है, और पर्यावरण एक धारणा के साथ प्रतिक्रिया करता है $e_{t}\in {\mathcal {E}}={\mathcal {O}}\times \mathbb {R}$, जिसमें एक अवलोकन शामिल है $o_{t}\in {\mathcal {O}}$ (उदाहरण के लिए, एक कैमरा छवि) और एक इनाम $r_{t}\in \mathbb {R}$, सशर्त संभाव्यता के अनुसार वितरित $\mu (o_{t}r_{t}|a_{1}o_{1}r_{1}...a_{t-1}o_{t-1}r_{t-1}a_{t})$, कहाँ $a_{1}o_{1}r_{1}...a_{t-1}o_{t-1}r_{t-1}a_{t}$ कार्यों, अवलोकनों और पुरस्कारों का इतिहास है। पर्यावरण $\mu$ इस प्रकार गणितीय रूप से अवधारणाओं (अवलोकनों और पुरस्कारों) पर संभाव्यता वितरण के रूप में दर्शाया जाता है जो पूर्ण इतिहास पर निर्भर करता है, इसलिए कोई मार्कोव संपत्ति नहीं है (अन्य आरएल एल्गोरिदम के विपरीत)। फिर से ध्यान दें कि यह संभाव्यता वितरण AIXI एजेंट के लिए अज्ञात है। इसके अलावा, उस पर फिर से ध्यान दें $\mu$ गणना योग्य है, अर्थात एजेंट द्वारा पर्यावरण से प्राप्त अवलोकन और पुरस्कार $\mu$ AIXI एजेंट की पिछली कार्रवाइयों को देखते हुए, कुछ प्रोग्राम (जो ट्यूरिंग मशीन पर चलता है) द्वारा गणना की जा सकती है। AIXI एजेंट का एकमात्र लक्ष्य अधिकतम करना है $\sum _{t=1}^{m}r_{t}$, अर्थात्, समय चरण 1 से मी तक पुरस्कारों का योग।

AIXI एजेंट स्टोकेस्टिक नीति से जुड़ा है $\pi :({\mathcal {A}}\times {\mathcal {E}})^{*}\rightarrow {\mathcal {A}}$, यह वह फ़ंक्शन है जिसका उपयोग यह हर समय कदम पर कार्रवाई चुनने के लिए करता है, जहां ${\mathcal {A}}$ सभी संभावित कार्रवाइयों का स्थान है जो AIXI कर सकता है और ${\mathcal {E}}$ पर्यावरण द्वारा उत्पन्न की जा सकने वाली सभी संभावित धारणाओं का स्थान है। पर्यावरण (या संभाव्यता वितरण) $\mu$ इसे स्टोकेस्टिक नीति के रूप में भी सोचा जा सकता है (जो एक कार्य है): $\mu :({\mathcal {A}}\times {\mathcal {E}})^{*}\times {\mathcal {A}}\rightarrow {\mathcal {E}}$, जहां $*$ क्लेन स्टार ऑपरेशन है।

सामान्य तौर पर, समय पर कदम $t$ (जो 1 से मी तक है), AIXI, पहले निष्पादित क्रियाएं $a_{1}\dots a_{t-1}$ (जिसे अक्सर साहित्य में संक्षिप्त रूप में कहा जाता है $a_{<t}$) और धारणाओं के इतिहास का अवलोकन किया $o_{1}r_{1}...o_{t-1}r_{t-1}$ (जिसे संक्षिप्त रूप में कहा जा सकता है $e_{<t}$), वातावरण में क्रिया को चुनता है और क्रियान्वित करता है, $a_{t}$, निम्नानुसार परिभाषित किया गया है

$a_{t}:=\arg \max _{a_{t}}\sum _{o_{t}r_{t}}\ldots \max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}$

या, प्राथमिकता को स्पष्ट करने के लिए कोष्ठकों का उपयोग करें

$a_{t}:=\arg \max _{a_{t}}\left(\sum _{o_{t}r_{t}}\ldots \left(\max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\left(\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}\right)\right)\right)$

सहज रूप से, उपरोक्त परिभाषा में, AIXI सभी संभावित वायदा पर कुल इनाम के योग पर विचार करता है $m-t$ समय आगे बढ़ता है (अर्थात, से।) $t$ को $m$), उनमें से प्रत्येक को कार्यक्रमों की जटिलता के आधार पर तौलता है $q$ (अर्थात, द्वारा $2^{-{\textrm {length}}(q)}$) एजेंट के अतीत के अनुरूप (अर्थात, पहले निष्पादित क्रियाएं, $a_{<t}$, और प्राप्त धारणाएँ, $e_{<t}$) जो उस भविष्य को उत्पन्न कर सकता है, और फिर उस कार्रवाई को चुनता है जो अपेक्षित भविष्य के पुरस्कारों को अधिकतम करती है।

आइए इसे पूरी तरह से समझने का प्रयास करने के लिए इस परिभाषा को तोड़ें।

$o_{t}r_{t}$ धारणा है (जिसमें अवलोकन शामिल है)। $o_{t}$ और इनाम $r_{t}$) समय कदम पर AIXI एजेंट द्वारा प्राप्त किया गया $t$ पर्यावरण से (जो अज्ञात और स्टोकेस्टिक है)। इसी प्रकार, $o_{m}r_{m}$ समय कदम पर AIXI द्वारा प्राप्त अवधारणा है $m$ (अंतिम समय चरण जहां AIXI सक्रिय है)।

$r_{t}+\ldots +r_{m}$ समय कदम से पुरस्कारों का योग है $t$ समय कदम के लिए $m$, इसलिए AIXI को समय पर अपनी कार्रवाई चुनने के लिए भविष्य पर ध्यान देने की आवश्यकता है $t$.

$U$ एक मोनोटोन वर्ग प्रमेय सार्वभौमिक ट्यूरिंग मशीन को दर्शाता है, और $q$ यूनिवर्सल मशीन पर सभी (नियतात्मक) प्रोग्रामों पर रेंज होती है $U$, जो प्रोग्राम को इनपुट के रूप में प्राप्त होता है $q$ और क्रियाओं का क्रम $a_{1}\dots a_{m}$ (अर्थात, सभी क्रियाएँ), और धारणाओं का क्रम उत्पन्न करता है $o_{1}r_{1}\ldots o_{m}r_{m}$. यूनिवर्सल ट्यूरिंग मशीन $U$ इस प्रकार प्रोग्राम को देखते हुए, पर्यावरण की प्रतिक्रियाओं या धारणाओं का अनुकरण या गणना करने के लिए उपयोग किया जाता है $q$ (जो पर्यावरण को मॉडल करता है) और AIXI एजेंट की सभी क्रियाएं: इस अर्थ में, पर्यावरण गणना योग्य है (जैसा कि ऊपर बताया गया है)। ध्यान दें कि, सामान्य तौर पर, वह प्रोग्राम जो वर्तमान और वास्तविक वातावरण (जहां AIXI को कार्य करने की आवश्यकता है) को मॉडल करता है, अज्ञात है क्योंकि वर्तमान वातावरण भी अज्ञात है।

${\textrm {length}}(q)$ कार्यक्रम की लंबाई है $q$ (जो बिट्स की एक स्ट्रिंग के रूप में एन्कोड किया गया है)। ध्यान दें कि $2^{-{\textrm {length}}(q)}={\frac {1}{2^{{\textrm {length}}(q)}}}$. इसलिए, उपरोक्त परिभाषा में, $\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}$ सभी गणना योग्य वातावरणों (जो एजेंट के अतीत के अनुरूप हैं) पर मिश्रण (संभावना) (इस मामले में, एक योग) के रूप में व्याख्या की जानी चाहिए, प्रत्येक को इसकी जटिलता के आधार पर भारित किया जाना चाहिए $2^{-{\textrm {length}}(q)}$. ध्यान दें कि $a_{1}\ldots a_{m}$ के रूप में भी लिखा जा सकता है $a_{1}\ldots a_{t-1}a_{t}\ldots a_{m}$, और $a_{1}\ldots a_{t-1}=a_{<t}$ AIXI एजेंट द्वारा पर्यावरण में पहले से निष्पादित क्रियाओं का क्रम है। इसी प्रकार, $o_{1}r_{1}\ldots o_{m}r_{m}=o_{1}r_{1}\ldots o_{t-1}r_{t-1}o_{t}r_{t}\ldots o_{m}r_{m}$, और $o_{1}r_{1}\ldots o_{t-1}r_{t-1}$ यह अब तक पर्यावरण द्वारा निर्मित धारणाओं का क्रम है।

आइए अब इस समीकरण या परिभाषा को समझने के लिए इन सभी घटकों को एक साथ रखें।

समय चरण t पर, AIXI क्रिया चुनता है $a_{t}$ जहां समारोह $\sum _{o_{t}r_{t}}\ldots \max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}$ अपने चरम को प्राप्त करता है।

पैरामीटर्स

AIXI के पैरामीटर यूनिवर्सल ट्यूरिंग मशीन U और एजेंट का जीवनकाल m हैं, जिन्हें चुनने की आवश्यकता है। बाद वाले पैरामीटर को छूट के उपयोग से हटाया जा सकता है।

AIXI शब्द का अर्थ

हटर के अनुसार, AIXI शब्द की कई व्याख्याएँ हो सकती हैं। AIXI सोलोमनऑफ़ के वितरण के आधार पर AI के लिए खड़ा हो सकता है, जिसे द्वारा दर्शाया गया है $\xi$ (जो ग्रीक अक्षर xi है), या उदा. यह इंडक्शन (I) के साथ AI क्रॉस्ड (X) के लिए खड़ा हो सकता है। अन्य व्याख्याएँ भी हैं।

इष्टतमता

AIXI का प्रदर्शन उसे मिलने वाले पुरस्कारों की अपेक्षित कुल संख्या से मापा जाता है। AIXI निम्नलिखित तरीकों से इष्टतम साबित हुआ है।

• पेरेटो इष्टतमता: कोई अन्य एजेंट नहीं है जो कम से कम एक वातावरण में सख्ती से बेहतर प्रदर्शन करते हुए सभी वातावरणों में AIXI के बराबर प्रदर्शन करता है।
• संतुलित पेरेटो इष्टतमता: पेरेटो इष्टतमता की तरह, लेकिन वातावरण के भारित योग पर विचार करते हुए।
• स्व-अनुकूलन: एक नीति पी को पर्यावरण के लिए स्व-अनुकूलन कहा जाता है $\mu$ यदि पी का प्रदर्शन सैद्धांतिक अधिकतम तक पहुंचता है $\mu$ जब एजेंट के जीवनकाल की अवधि (समय नहीं) अनंत हो जाती है। पर्यावरण कक्षाओं के लिए जहां स्व-अनुकूलन नीतियां मौजूद हैं, AIXI स्व-अनुकूलन है।

इसे बाद में हटर और जान लेइक द्वारा दिखाया गया कि संतुलित पेरेटो इष्टतमता व्यक्तिपरक है और किसी भी नीति को पेरेटो इष्टतम माना जा सकता है, जिसे वे AIXI के लिए पिछले सभी इष्टतमता दावों को कमजोर करने के रूप में वर्णित करते हैं। हालाँकि, AIXI की सीमाएँ हैं। यह बाहरी राज्यों के विपरीत धारणाओं के आधार पर पुरस्कारों को अधिकतम करने तक सीमित है। यह भी मानता है कि यह पर्यावरण के साथ केवल कार्रवाई और अवधारणा चैनलों के माध्यम से बातचीत करता है, जिससे इसे क्षतिग्रस्त या संशोधित होने की संभावना पर विचार करने से रोका जा सकता है। बोलचाल की भाषा में, इसका अर्थ यह है कि यह स्वयं को उस वातावरण में समाहित नहीं मानता जिसके साथ यह अंतःक्रिया करता है। यह यह भी मानता है कि पर्यावरण गणना योग्य है।

कम्प्यूटेशनल पहलू

सोलोमनॉफ इंडक्शन की तरह, AIXI अनिर्णीत समस्या है। हालाँकि, इसके गणना योग्य अनुमान मौजूद हैं। ऐसा ही एक सन्निकटन AIXItl है, जो कम से कम और साथ ही सर्वोत्तम समय t और स्थान l सीमित एजेंट का प्रदर्शन करता है।प्रतिबंधित पर्यावरण वर्ग के साथ AIXI का एक और अनुमान MC-AIXI (FAC-CTW) है (मोंटे कार्लो विधि पद्धति AIXI प्रसंग वृक्ष भार | कॉन्टेक्स्ट-ट्री वेटिंग के लिए है), जिसे आंशिक रूप से देखने योग्य जैसे सरल गेम खेलने में कुछ सफलता मिली है सिस्टम पीएसी मैन

यह भी देखें

• गोडेल मशीन

संदर्भ

• "Universal Algorithmic Intelligence: A mathematical top->down approach", Marcus Hutter, arXiv:cs/0701125; also in Artificial General Intelligence, eds. B. Goertzel and C. Pennachin, Springer, 2007, ISBN 9783540237334, pp. 227–290, doi:10.1007/978-3-540-68677-4_8.