प्रेरणिक संभाव्यता (इंडक्टिव प्रोबेबिलिटी)

आगमनात्मक संभाव्यता अतीत की घटनाओं के आधार पर भविष्य की घटनाओं की संभावना देने का प्रयास करती है। यह आगमनात्मक तर्क का आधार है, और सीखने और पैटर्न की धारणा के लिए गणितीय आधार देता है। यह दुनिया के बारे में ज्ञान का एक स्रोत है।

ज्ञान के तीन स्रोत हैं: अनुमान, संचार और निगमन। संचार अन्य तरीकों का उपयोग करके पाई गई जानकारी को रिले करता है। कटौती मौजूदा तथ्यों के आधार पर नए तथ्य स्थापित करती है। अनुमान आँकड़ों से नये तथ्य स्थापित करता है। इसका आधार बेयस प्रमेय है।

दुनिया का वर्णन करने वाली जानकारी एक भाषा में लिखी जाती है। उदाहरण के लिए, प्रस्तावों की एक सरल गणितीय भाषा चुनी जा सकती है। इस भाषा में वाक्यों को वर्णों की श्रृंखला के रूप में लिखा जा सकता है। लेकिन कंप्यूटर में इन वाक्यों को बिट्स (1s और 0s) की स्ट्रिंग के रूप में एन्कोड करना संभव है। फिर भाषा को एन्कोड किया जा सकता है ताकि सबसे अधिक इस्तेमाल किए जाने वाले वाक्य सबसे छोटे हों। यह आंतरिक भाषा स्पष्ट रूप से कथनों की संभावनाओं का प्रतिनिधित्व करती है।

ओकाम का रेजर कहता है कि डेटा के अनुरूप सबसे सरल सिद्धांत के सही होने की सबसे अधिक संभावना है। सबसे सरल सिद्धांत की व्याख्या इस आंतरिक भाषा में लिखे गए सिद्धांत के प्रतिनिधित्व के रूप में की जाती है। इस आंतरिक भाषा में सबसे छोटी एन्कोडिंग वाला सिद्धांत सही होने की सबसे अधिक संभावना है।

इतिहास

संभाव्यता और सांख्यिकी संभाव्यता वितरण और महत्व के परीक्षणों पर केंद्रित थी। संभाव्यता औपचारिक थी, अच्छी तरह से परिभाषित थी, लेकिन दायरे में सीमित थी। विशेष रूप से इसका अनुप्रयोग उन स्थितियों तक सीमित था जिन्हें एक अच्छी तरह से परिभाषित आबादी के साथ एक प्रयोग या परीक्षण के रूप में परिभाषित किया जा सकता था।

बेयस प्रमेय का नाम रेव थॉमस बेयस 1701-1761 के नाम पर रखा गया है। बायेसियन अनुमान ने संभाव्यता के अनुप्रयोग को कई स्थितियों में विस्तृत किया जहां जनसंख्या को अच्छी तरह से परिभाषित नहीं किया गया था। लेकिन बेयस का प्रमेय हमेशा नई संभावनाओं को उत्पन्न करने के लिए पूर्व संभावनाओं पर निर्भर करता था। यह स्पष्ट नहीं था कि ये पूर्व संभावनाएँ कहाँ से आनी चाहिए।

रे सोलोमोनोव ने एल्गोरिथम संभाव्यता विकसित की, जिसने यह स्पष्टीकरण दिया कि यादृच्छिकता क्या है और डेटा में पैटर्न को कंप्यूटर प्रोग्राम द्वारा कैसे दर्शाया जा सकता है, जो 1964 के आसपास डेटा का संक्षिप्त प्रतिनिधित्व देते हैं।

क्रिस वालेस (कंप्यूटर वैज्ञानिक) और डी. एम. बोल्टन ने 1968 के आसपास न्यूनतम संदेश लंबाई विकसित की। बाद में जोर्मा रिसेनन ने 1978 के आसपास न्यूनतम विवरण लंबाई विकसित की। ये विधियां सूचना सिद्धांत को संभाव्यता से संबंधित करने की अनुमति देती हैं, जिसकी तुलना बेयस के अनुप्रयोग से की जा सकती है। ' प्रमेय, लेकिन जो पूर्व संभावनाओं की भूमिका के लिए एक स्रोत और स्पष्टीकरण देता है।

मार्कस हटर ने लगभग 1998 में एक बुद्धिमान एजेंट के लिए पेरेटो दक्षता व्यवहार के लिए एक सिद्धांत देने के लिए निर्णय सिद्धांत को रे सोलोमोनोव और एंड्री कोलमोगोरोव के काम के साथ जोड़ा।

न्यूनतम विवरण/संदेश की लंबाई

डेटा से मेल खाने वाली सबसे छोटी लंबाई वाला प्रोग्राम भविष्य के डेटा की भविष्यवाणी करने की सबसे अधिक संभावना है। न्यूनतम संदेश लंबाई के पीछे यही थीसिस है और न्यूनतम विवरण लंबाई तरीके.

पहली नज़र में बेयस का प्रमेय न्यूनतम संदेश/विवरण लंबाई सिद्धांत से भिन्न प्रतीत होता है। बारीकी से निरीक्षण करने पर यह वैसा ही निकला। बेयस का प्रमेय सशर्त संभावनाओं के बारे में है, और यह संभावना बताता है कि घटना बी तब घटित होती है जब सबसे पहले घटना ए घटित होती है:

$P(A\land B)=P(B)\cdot P(A|B)=P(A)\cdot P(B|A)$

संदेश की लंबाई L के संदर्भ में हो जाता है,

$L(A\land B)=L(B)+L(A|B)=L(A)+L(B|A).$

इसका मतलब यह है कि यदि सभी जानकारी किसी घटना का वर्णन करते हुए दी गई है तो सूचना की लंबाई का उपयोग घटना की मूल संभावना बताने के लिए किया जा सकता है। इसलिए यदि ए की घटना का वर्णन करने वाली जानकारी, बी द्वारा दिए गए ए का वर्णन करने वाली जानकारी के साथ दी गई है, तो ए और बी का वर्णन करने वाली सभी जानकारी दी गई है।

ओवरफिटिंग

ओवरफिटिंग तब होती है जब मॉडल यादृच्छिक शोर से मेल खाता है न कि डेटा में पैटर्न से। उदाहरण के लिए, उस स्थिति को लें जहां बिंदुओं के एक समूह पर एक वक्र फिट किया गया है। यदि कई पदों वाला बहुपद फिट किया जाता है तो यह डेटा को अधिक बारीकी से प्रदर्शित कर सकता है। तब फिट बेहतर होगा, और फिट किए गए वक्र से विचलन का वर्णन करने के लिए आवश्यक जानकारी कम होगी। छोटी सूचना लंबाई का मतलब उच्च संभावना है।

हालाँकि, वक्र का वर्णन करने के लिए आवश्यक जानकारी पर भी विचार किया जाना चाहिए। कई पदों वाले वक्र के लिए कुल जानकारी कम पदों वाले वक्र की तुलना में अधिक हो सकती है, जो उतनी अच्छी तरह से फिट नहीं होती है, लेकिन बहुपद का वर्णन करने के लिए कम जानकारी की आवश्यकता होती है।

प्रोग्राम जटिलता पर आधारित अनुमान

सोलोमनॉफ़ का आगमनात्मक अनुमान का सिद्धांत भी आगमनात्मक अनुमान है। एक बिट स्ट्रिंग x देखी गई है। फिर उन सभी प्रोग्रामों पर विचार करें जो x से शुरू होने वाली स्ट्रिंग उत्पन्न करते हैं। आगमनात्मक अनुमान के रूप में डाले गए, प्रोग्राम ऐसे सिद्धांत हैं जो बिट स्ट्रिंग x के अवलोकन का संकेत देते हैं।

आगमनात्मक अनुमान के लिए संभावनाएं देने के लिए यहां उपयोग की जाने वाली विधि सोलोमनॉफ के आगमनात्मक अनुमान के सिद्धांत पर आधारित है।

डेटा में पैटर्न का पता लगाना

यदि सभी बिट्स 1 हैं, तो लोग अनुमान लगाते हैं कि सिक्के में एक पूर्वाग्रह है और यह भी अधिक संभावना है कि अगला बिट भी 1 है। इसे डेटा से सीखने या उसमें एक पैटर्न का पता लगाने के रूप में वर्णित किया गया है।

इस तरह के पैटर्न को एक कंप्यूटर प्रोग्राम द्वारा दर्शाया जा सकता है। एक छोटा कंप्यूटर प्रोग्राम लिखा जा सकता है जो बिट्स की एक श्रृंखला उत्पन्न करता है जो सभी 1 हैं। यदि प्रोग्राम की लंबाई K है $L(K)$ बिट्स तो इसकी पूर्व संभावना है,

$P(K)=2^{-L(K)}$

बिट्स की स्ट्रिंग का प्रतिनिधित्व करने वाले सबसे छोटे प्रोग्राम की लंबाई को कोलमोगोरोव जटिलता कहा जाता है।

कोलमोगोरोव जटिलता गणना योग्य नहीं है। यह रुकने की समस्या से संबंधित है. सबसे छोटे प्रोग्राम की खोज करते समय कुछ प्रोग्राम अनंत लूप में जा सकते हैं।

सभी सिद्धांतों पर विचार करना

यूनानी दार्शनिक एपिक्यूरस को यह कहते हुए उद्धृत किया गया है कि यदि एक से अधिक सिद्धांत अवलोकनों के अनुरूप हैं, तो सभी सिद्धांतों को रखें। जैसा कि एक अपराध उपन्यास में संभावित हत्यारे को निर्धारित करने में सभी सिद्धांतों पर विचार किया जाना चाहिए, इसलिए आगमनात्मक संभावना के साथ बिट्स की धारा से उत्पन्न होने वाले संभावित भविष्य के बिट्स को निर्धारित करने में सभी कार्यक्रमों पर विचार किया जाना चाहिए।

जो प्रोग्राम पहले से ही n से अधिक लंबे हैं उनमें कोई पूर्वानुमानित शक्ति नहीं है। कच्ची (या पूर्व) संभावना है कि बिट्स का पैटर्न यादृच्छिक है (कोई पैटर्न नहीं है)। $2^{-n}$.

प्रत्येक प्रोग्राम जो बिट्स का अनुक्रम उत्पन्न करता है, लेकिन n से छोटा है, बिट्स के बारे में एक सिद्धांत/पैटर्न है जिसकी संभावना है $2^{-k}$ जहाँ k प्रोग्राम की लंबाई है।

बिट्स x की एक श्रृंखला प्राप्त करने के बाद बिट्स y का एक क्रम प्राप्त करने की संभावना, दिए गए x को प्राप्त करने की सशर्त संभावना है, जो कि y के साथ x की संभावना है, जिसे x की संभावना से विभाजित किया जाता है।

सार्वभौमिक पूर्वज

प्रोग्रामिंग भाषा स्ट्रिंग में अगले बिट की भविष्यवाणियों को प्रभावित करती है। भाषा पूर्व संभाव्यता के रूप में कार्य करती है। यह विशेष रूप से एक समस्या है जहां प्रोग्रामिंग भाषा संख्याओं और अन्य डेटा प्रकारों के लिए कोड करती है। सहज रूप से हम सोचते हैं कि 0 और 1 सरल संख्याएँ हैं, और अभाज्य संख्याएँ उन संख्याओं की तुलना में किसी तरह अधिक जटिल हैं जो मिश्रित हो सकती हैं।

कोलमोगोरोव जटिलता का उपयोग करने से किसी संख्या की पूर्व संभावना का निष्पक्ष अनुमान (एक सार्वभौमिक पूर्व) मिलता है। एक विचार प्रयोग के रूप में एक बुद्धिमान एजेंट को कच्चे नंबरों पर कुछ परिवर्तन फ़ंक्शन लागू करने के बाद, संख्याओं की एक श्रृंखला देने वाले डेटा इनपुट डिवाइस के साथ फिट किया जा सकता है। किसी अन्य एजेंट के पास भिन्न परिवर्तन फ़ंक्शन के साथ समान इनपुट डिवाइस हो सकता है। एजेंट इन परिवर्तन कार्यों को नहीं देखते या जानते नहीं हैं। तब एक कार्य को दूसरे पर प्राथमिकता देने का कोई तर्कसंगत आधार नहीं दिखता। एक सार्वभौमिक पूर्व यह सुनिश्चित करता है कि यद्यपि दो एजेंटों के पास डेटा इनपुट के लिए अलग-अलग प्रारंभिक संभाव्यता वितरण हो सकते हैं, अंतर एक स्थिरांक द्वारा सीमित होगा।

इसलिए सार्वभौमिक प्राथमिकताएं प्रारंभिक पूर्वाग्रह को खत्म नहीं करती हैं, बल्कि वे इसे कम और सीमित करती हैं। जब भी हम किसी घटना का किसी भाषा में वर्णन करते हैं, या तो प्राकृतिक भाषा या अन्य भाषा का उपयोग करते हुए, भाषा हमारी पूर्व अपेक्षाओं को इसमें समाहित कर देती है। इसलिए पूर्व संभावनाओं पर कुछ निर्भरता अपरिहार्य है।

एक समस्या उत्पन्न होती है जहां एक बुद्धिमान एजेंट की पूर्व अपेक्षाएं पर्यावरण के साथ बातचीत करके एक स्व-सुदृढ़ीकरण फ़ीड बैक लूप बनाती हैं। यह पूर्वाग्रह या पूर्वाग्रह की समस्या है. सार्वभौमिक प्राथमिकताएँ इस समस्या को कम तो करती हैं लेकिन ख़त्म नहीं करतीं।

सार्वभौमिक कृत्रिम बुद्धिमत्ता

सार्वभौमिक कृत्रिम बुद्धिमत्ता का सिद्धांत निर्णय सिद्धांत को आगमनात्मक संभावनाओं पर लागू करता है। सिद्धांत दिखाता है कि इनाम फ़ंक्शन को अनुकूलित करने के लिए सर्वोत्तम कार्यों को कैसे चुना जा सकता है। परिणाम बुद्धि का एक सैद्धांतिक मॉडल है। यह बुद्धि का एक मौलिक सिद्धांत है, जो एजेंटों के व्यवहार को अनुकूलित करता है,

• पर्यावरण की खोज; ऐसी प्रतिक्रियाएँ प्राप्त करने के लिए कार्य करना जो एजेंटों के ज्ञान को विस्तृत करें।
• किसी अन्य एजेंट के साथ प्रतिस्पर्धा या सहयोग करना; खेल.
• लघु और दीर्घकालिक पुरस्कारों को संतुलित करना।

सामान्य तौर पर कोई भी एजेंट सभी स्थितियों में हमेशा सर्वोत्तम कार्रवाई प्रदान नहीं करेगा। किसी एजेंट द्वारा चुना गया कोई विशेष विकल्प गलत हो सकता है, और वातावरण एजेंट को प्रारंभिक खराब विकल्प से उबरने का कोई रास्ता नहीं दे सकता है। हालाँकि एजेंट पेरेटो इष्टतम है इस अर्थ में कि कोई भी अन्य एजेंट इस वातावरण में इस एजेंट से बेहतर काम नहीं करेगा, बिना किसी अन्य वातावरण में खराब किए। इस अर्थ में किसी अन्य एजेंट को बेहतर नहीं कहा जा सकता।

वर्तमान में सिद्धांत अगणनीयता (रुकने की समस्या) द्वारा सीमित है। इससे बचने के लिए अनुमानों का उपयोग किया जा सकता है। प्रसंस्करण गति और दहनशील विस्फोट कृत्रिम बुद्धिमत्ता के लिए प्राथमिक सीमित कारक बने हुए हैं।

संभावना

संभाव्यता कथनों की सत्यता के बारे में अनिश्चित या आंशिक ज्ञान का प्रतिनिधित्व है। संभावनाएं पिछले अनुभव और डेटा से बने अनुमानों के आधार पर संभावित परिणामों के व्यक्तिपरक और व्यक्तिगत अनुमान हैं।

संभाव्यता का यह वर्णन प्रथम दृष्टया अजीब लग सकता है। प्राकृतिक भाषा में हम इस संभावना को संदर्भित करते हैं कि सूर्य कल उगेगा। हम आपकी संभावना का उल्लेख नहीं करते कि सूर्य उदय होगा। लेकिन अनुमान को सही ढंग से मॉडल करने के लिए संभाव्यता व्यक्तिगत होनी चाहिए, और अनुमान का कार्य पूर्व संभावनाओं से नई पिछली संभावनाएं उत्पन्न करता है।

संभावनाएँ व्यक्तिगत होती हैं क्योंकि वे व्यक्ति के ज्ञान पर निर्भर होती हैं। संभावनाएँ व्यक्तिपरक होती हैं क्योंकि वे हमेशा, कुछ हद तक, व्यक्ति द्वारा निर्दिष्ट पूर्व संभावनाओं पर निर्भर करती हैं। यहां सब्जेक्टिव का अर्थ अस्पष्ट या अपरिभाषित नहीं लिया जाना चाहिए।

बुद्धिमान एजेंट शब्द का प्रयोग संभावनाओं के धारक को संदर्भित करने के लिए किया जाता है। बुद्धिमान एजेंट इंसान या मशीन हो सकता है। यदि बुद्धिमान एजेंट पर्यावरण के साथ बातचीत नहीं करता है तो संभावना समय के साथ घटना की आवृत्ति में परिवर्तित हो जाएगी।

यदि फिर भी एजेंट पर्यावरण के साथ बातचीत करने की संभावना का उपयोग करता है तो एक प्रतिक्रिया हो सकती है, ताकि समान वातावरण में दो एजेंट केवल थोड़े अलग पूर्ववर्तियों से शुरू होकर पूरी तरह से अलग संभावनाओं के साथ समाप्त हो जाएं। इस मामले में इष्टतम निर्णय सिद्धांत जैसा कि मार्कस हटर में है | मार्कस हटर की यूनिवर्सल आर्टिफिशियल इंटेलिजेंस एजेंट के लिए पेरेटो को इष्टतम प्रदर्शन देगी। इसका मतलब यह है कि कोई भी अन्य बुद्धिमान एजेंट एक वातावरण में बेहतर प्रदर्शन किए बिना दूसरे वातावरण में बदतर प्रदर्शन नहीं कर सकता है।

निगमनात्मक संभाव्यता से तुलना

निगमनात्मक संभाव्यता सिद्धांतों में, संभाव्यताएँ पूर्ण होती हैं, जो मूल्यांकन करने वाले व्यक्ति से स्वतंत्र होती हैं। लेकिन निगमनात्मक संभावनाएँ इस पर आधारित हैं,

• ज्ञान साझा किया।
• अनुमानित तथ्य, जिसका अनुमान आंकड़ों से लगाया जाना चाहिए।

उदाहरण के लिए, एक परीक्षण में प्रतिभागियों को परीक्षणों के सभी पिछले इतिहास के परिणामों के बारे में पता होता है। वे यह भी मानते हैं कि प्रत्येक परिणाम समान रूप से संभावित है। साथ में यह संभाव्यता के एकल बिना शर्त मूल्य को परिभाषित करने की अनुमति देता है।

लेकिन हकीकत में हर व्यक्ति के पास एक जैसी जानकारी नहीं होती. और सामान्य तौर पर प्रत्येक परिणाम की संभावना समान नहीं होती है। पासा लोड किया जा सकता है, और इस लोडिंग का अनुमान डेटा से लगाया जाना चाहिए।

अनुमान के रूप में संभाव्यता

संभाव्यता सिद्धांत में उदासीनता के सिद्धांत ने महत्वपूर्ण भूमिका निभाई है। इसमें कहा गया है कि यदि एन कथन सममित हैं ताकि एक स्थिति को दूसरे पर प्राथमिकता न दी जा सके तो सभी कथन समान रूप से संभावित हैं। गंभीरता से लिया जाए तो संभाव्यता के मूल्यांकन में यह सिद्धांत विरोधाभासों की ओर ले जाता है। मान लीजिए कि दूर पर सोने के 3 बैग हैं और उनमें से एक को चुनने के लिए कहा जाता है। फिर दूरी की वजह से बैग का साइज नजर नहीं आता। आप उदासीनता के सिद्धांत का उपयोग करके अनुमान लगाते हैं कि प्रत्येक बैग में समान मात्रा में सोना है, और प्रत्येक बैग में एक तिहाई सोना है।

अब, जबकि हम में से एक नहीं देख रहा है, दूसरा एक बैग लेता है और उसे 3 बैगों में बांट देता है। अब वहां 5 बैग सोना है. उदासीनता का सिद्धांत अब कहता है कि प्रत्येक बैग में सोने का पांचवां हिस्सा है। जिस बैग में एक तिहाई सोना होने का अनुमान था, अब अनुमान है कि उसमें पांचवां सोना है।

बैग से जुड़े मूल्य के रूप में लिए गए मूल्य भिन्न हैं इसलिए विरोधाभासी हैं। लेकिन एक विशेष परिदृश्य के तहत दिए गए अनुमान के रूप में लिया गया, दोनों मूल्य अलग-अलग परिस्थितियों में दिए गए अलग-अलग अनुमान हैं और यह मानने का कोई कारण नहीं है कि वे समान हैं।

पूर्व संभावनाओं के अनुमान विशेष रूप से संदिग्ध हैं। ऐसे अनुमान बनाए जाएंगे जो किसी सुसंगत आवृत्ति वितरण का पालन नहीं करते हैं। इस कारण पूर्व संभावनाओं को संभावनाओं के बजाय संभावनाओं का अनुमान माना जाता है।

एक पूर्ण सैद्धांतिक उपचार प्रत्येक संभाव्यता के साथ संबद्ध होगा,

• कथन
• पूर्व ज्ञान
• पूर्व संभावनाएँ
• संभावना बताने के लिए उपयोग की जाने वाली अनुमान प्रक्रिया।

संभाव्यता दृष्टिकोणों का संयोजन

आगमनात्मक संभाव्यता संभाव्यता के दो अलग-अलग दृष्टिकोणों को जोड़ती है।

• संभावना और जानकारी
• संभाव्यता और आवृत्ति

प्रत्येक दृष्टिकोण थोड़ा अलग दृष्टिकोण देता है। सूचना सिद्धांत का उपयोग संभावनाओं को सूचना की मात्रा से जोड़ने में किया जाता है। इस दृष्टिकोण का उपयोग अक्सर पूर्व संभावनाओं का अनुमान देने में किया जाता है।

बारंबारतावादी संभाव्यता संभावनाओं को वस्तुनिष्ठ कथन के रूप में परिभाषित करती है कि कोई घटना कितनी बार घटित होती है। संभावित दुनियाओं पर प्रयोग (संभावना सिद्धांत) को परिभाषित करके इस दृष्टिकोण को बढ़ाया जा सकता है। संभावित दुनिया के बारे में कथन घटना (संभावना सिद्धांत) को परिभाषित करते हैं।

संभाव्यता और जानकारी

जबकि तर्क केवल दो मूल्यों का प्रतिनिधित्व करता है; कथन के मानों के अनुसार सत्य और असत्य, संभाव्यता प्रत्येक कथन में [0,1] में एक संख्या जोड़ती है। यदि किसी कथन की प्रायिकता 0 है, तो कथन असत्य है। यदि किसी कथन की प्रायिकता 1 है तो कथन सत्य है।

कुछ डेटा को बिट्स की एक स्ट्रिंग के रूप में 1s और 0s के अनुक्रम के लिए पूर्व संभावनाओं पर विचार करने पर, 1 और 0 की संभावना बराबर होती है। इसलिए, प्रत्येक अतिरिक्त बिट बिट्स के अनुक्रम की संभावना को आधा कर देता है। इससे यह निष्कर्ष निकलता है कि,

$P(x)=2^{-L(x)}$

कहाँ $P(x)$ बिट्स की स्ट्रिंग की संभावना है $x$ और $L(x)$ इसकी लंबाई है.

किसी भी कथन की पूर्व संभाव्यता की गणना उसे बताने के लिए आवश्यक बिट्स की संख्या से की जाती है। सूचना सिद्धांत भी देखें।

जानकारी का संयोजन

दो बयान $A$ और $B$ दो अलग-अलग एन्कोडिंग द्वारा दर्शाया जा सकता है। फिर एन्कोडिंग की लंबाई है,

$L(A\land B)=L(A)+L(B)$

या संभाव्यता के संदर्भ में,

$P(A\land B)=P(A)P(B)$

लेकिन यह नियम हमेशा सत्य नहीं होता क्योंकि एन्कोडिंग की एक छोटी विधि भी हो सकती है $B$ अगर हम मान लें $A$. अतः उपरोक्त संभाव्यता नियम केवल तभी लागू होता है यदि $A$ और $B$ स्वतंत्र हैं.

सूचना की आंतरिक भाषा

संभाव्यता के लिए सूचना दृष्टिकोण का प्राथमिक उपयोग बयानों की जटिलता का अनुमान प्रदान करना है। याद रखें कि ओकाम का रेजर कहता है कि सभी चीजें समान होने पर, सबसे सरल सिद्धांत के सही होने की सबसे अधिक संभावना है। इस नियम को लागू करने के लिए, सबसे पहले सरलतम साधन की परिभाषा की आवश्यकता है। सूचना सिद्धांत सबसे सरल को सबसे कम एन्कोडिंग के रूप में परिभाषित करता है।

ज्ञान को कथन (तर्क) के रूप में दर्शाया जाता है। प्रत्येक कथन एक बूलियन बीजगणित अभिव्यक्ति (गणित) है। अभिव्यक्तियाँ एक फ़ंक्शन द्वारा एन्कोड की जाती हैं जो अभिव्यक्ति का विवरण (मान के विपरीत) लेता है और इसे बिट स्ट्रिंग के रूप में एन्कोड करता है।

किसी कथन की एन्कोडिंग की लंबाई किसी कथन की संभावना का अनुमान देती है। इस संभाव्यता अनुमान का उपयोग अक्सर किसी कथन की पूर्व संभाव्यता के रूप में किया जाएगा।

तकनीकी रूप से यह अनुमान संभाव्यता नहीं है क्योंकि इसका निर्माण आवृत्ति वितरण से नहीं किया गया है। इसके द्वारा दिए गए संभाव्यता अनुमान हमेशा # संभाव्यता के योग के नियम का पालन नहीं करते हैं। कुल संभाव्यता के नियम को विभिन्न परिदृश्यों में लागू करने से आमतौर पर कथन की लंबाई के अनुमान की तुलना में पूर्व संभाव्यता का अधिक सटीक संभाव्यता अनुमान मिलेगा।

अभिव्यक्ति एन्कोडिंग

एक अभिव्यक्ति का निर्माण उपअभिव्यक्तियों से होता है,

• स्थिरांक (फ़ंक्शन पहचानकर्ता सहित)।
• कार्यों का अनुप्रयोग.
• परिमाणक (तर्क)।

हफ़मैन कोडिंग को 3 मामलों में अंतर करना चाहिए। प्रत्येक कोड की लंबाई प्रत्येक प्रकार के उपअभिव्यक्तियों की आवृत्ति पर आधारित होती है।

प्रारंभ में सभी स्थिरांकों को समान लंबाई/संभावना दी गई है। अब तक रिकॉर्ड किए गए सभी अभिव्यक्तियों में फ़ंक्शन आईडी के उपयोग की संख्या के आधार पर हफ़मैन कोड का उपयोग करके बाद के स्थिरांक को एक संभावना सौंपी जा सकती है। हफ़मैन कोड का उपयोग करने का लक्ष्य संभावनाओं का अनुमान लगाना है, न कि डेटा को संपीड़ित करना।

फ़ंक्शन एप्लिकेशन की लंबाई फ़ंक्शन पहचानकर्ता स्थिरांक की लंबाई और प्रत्येक पैरामीटर के लिए अभिव्यक्तियों के आकार का योग है।

एक क्वांटिफ़ायर की लंबाई उस अभिव्यक्ति की लंबाई है जिसे परिमाणित किया जा रहा है।

संख्याओं का वितरण

प्राकृतिक संख्याओं का कोई स्पष्ट प्रतिनिधित्व नहीं दिया गया है। हालाँकि, उत्तराधिकारी फ़ंक्शन को 0 पर लागू करके और फिर अन्य अंकगणितीय कार्यों को लागू करके प्राकृतिक संख्याओं का निर्माण किया जा सकता है। प्रत्येक संख्या के निर्माण की जटिलता के आधार पर, इसमें प्राकृतिक संख्याओं का वितरण निहित है।

परिमेय संख्याओं का निर्माण प्राकृतिक संख्याओं के विभाजन से होता है। सबसे सरल निरूपण में अंश और हर के बीच कोई सामान्य गुणनखंड नहीं होता है। इससे प्राकृतिक संख्याओं के संभाव्यता वितरण को तर्कसंगत संख्याओं तक बढ़ाया जा सकता है।

संभाव्यता और आवृत्ति

किसी घटना की संभाव्यता (संभावना सिद्धांत) की व्याख्या परिणाम (संभावना) की आवृत्तियों के रूप में की जा सकती है जहां कथन सत्य को परिणामों की कुल संख्या से विभाजित किया जाता है। यदि परिणाम सातत्य बनाते हैं तो आवृत्ति को संभाव्यता माप से बदलने की आवश्यकता हो सकती है।

घटनाएँ परिणामों का समूह हैं। कथन घटनाओं से संबंधित हो सकते हैं. परिणामों के बारे में एक बूलियन कथन बी परिणामों के एक सेट को परिभाषित करता है बी,

$b=\{x:B(x)\}$

सशर्त संभाव्यता

प्रत्येक संभावना हमेशा तर्क में एक विशेष बिंदु पर ज्ञान की स्थिति से जुड़ी होती है। अनुमान से पहले की संभावनाओं को पूर्व संभावनाओं के रूप में जाना जाता है, और बाद की संभावनाओं को पश्च संभावनाओं के रूप में जाना जाता है।

संभाव्यता ज्ञात तथ्यों पर निर्भर करती है। किसी तथ्य की सच्चाई परिणामों के क्षेत्र को तथ्य के अनुरूप परिणामों तक सीमित कर देती है। पूर्व संभावनाएँ किसी तथ्य के ज्ञात होने से पहले की संभावनाएँ हैं। पिछली संभावनाएँ किसी तथ्य के ज्ञात होने के बाद होती हैं। पिछली संभावनाओं को तथ्य पर सशर्त कहा जाता है। संभावना है कि $B$ यह सत्य है $A$ सत्य है इस प्रकार लिखा गया है: $P(B|A).$ सभी संभावनाएँ कुछ अर्थों में सशर्त हैं। की पूर्व संभावना $B$ है,

$P(B)=P(B|\top )$

बारंबारतावादी दृष्टिकोण संभावित दुनियाओं पर लागू होता है

फ़्रीक्वेंटिस्ट अनुमान में, संभावनाओं को किसी घटना के भीतर परिणामों (संभावना) की संख्या और परिणामों की कुल संख्या के अनुपात के रूप में परिभाषित किया जाता है। संभावित विश्व मॉडल में प्रत्येक संभावित दुनिया एक परिणाम है, और संभावित दुनिया के बारे में बयान घटनाओं को परिभाषित करते हैं। किसी कथन के सत्य होने की प्रायिकता उन संभावित विश्वों की संख्या है जहां कथन सत्य है, संभावित विश्वों की कुल संख्या से विभाजित किया जाता है। किसी कथन की संभावना $A$ संभावित दुनिया के बारे में सच होना तब है,

$P(A)={\frac {|\{x:A(x)\}|}{|x:\top |}}$

एक सशर्त संभाव्यता के लिए.

$P(B|A)={\frac {|\{x:A(x)\land B(x)\}|}{|x:A(x)|}}$

तब

${\begin{aligned}P(A\land B)&={\frac {|\{x:A(x)\land B(x)\}|}{|x:\top |}}\\[8pt]&={\frac {|\{x:A(x)\land B(x)\}|}{|\{x:A(x)\}|}}{\frac {|\{x:A(x)\}|}{|x:\top |}}\\[8pt]&=P(A)P(B|A)\end{aligned}}$

समरूपता का उपयोग करके इस समीकरण को बेयस नियम के रूप में लिखा जा सकता है।

$P(A\land B)=P(A)P(B|A)=P(B)P(A|B)$

जब नए तथ्य सीखे जाते हैं तो यह कानून पूर्व और पश्च संभावनाओं के बीच संबंध का वर्णन करता है।

जानकारी की मात्रा के रूप में लिखा गया बेयस प्रमेय बन जाता है,

$L(A\land B)=L(A)+L(B|A)=L(B)+L(A|B)$

दो कथन A और B स्वतंत्र कहलाते हैं यदि A का सत्य जानने से B की संभावना नहीं बदलती। गणितीय रूप से यह है,

$P(B)=P(B|A)$

तब बेयस प्रमेय कम हो जाता है,

$P(A\land B)=P(A)P(B)$

संभाव्यता के योग का नियम

परस्पर अनन्य संभावनाओं के एक सेट के लिए $A_{i}$, पिछली संभावनाओं का योग 1 होना चाहिए।

$\sum _{i}{P(A_{i}|B)}=1$

बेयस प्रमेय का उपयोग करके प्रतिस्थापित करने से कुल संभाव्यता का नियम मिलता है

$\sum _{i}{P(B|A_{i})P(A_{i})}=\sum _{i}{P(A_{i}|B)P(B)}$

$P(B)=\sum _{i}{P(B|A_{i})P(A_{i})}$

इस परिणाम का उपयोग बेयस प्रमेय#विस्तारित रूप|बेयस प्रमेय का विस्तारित रूप देने के लिए किया जाता है,

$P(A_{i}|B)={\frac {P(B|A_{i})P(A_{i})}{\sum _{j}{P(B|A_{j})P(A_{j})}}}$

यह व्यवहार में प्रयुक्त बेयस प्रमेय का सामान्य रूप है, क्योंकि यह सभी पिछली संभावनाओं के योग की गारंटी देता है $A_{i}$ 1 है.

वैकल्पिक संभावनाएँ

परस्पर अनन्य संभावनाओं के लिए, संभावनाएँ जोड़ी जाती हैं।

$P(A\lor B)=P(A)+P(B),\qquad {\text{if }}P(A\land B)=0$

का उपयोग करते हुए

$A\lor B=(A\land \neg (A\land B))\lor (B\land \neg (A\land B))\lor (A\land B)$

फिर विकल्प

$A\land \neg (A\land B),\quad B\land \neg (A\land B),\quad A\land B$

सभी परस्पर अनन्य हैं। भी,

$(A\land \neg (A\land B))\lor (A\land B)=A$

$P(A\land \neg (A\land B))+P(A\land B)=P(A)$

$P(A\land \neg (A\land B))=P(A)-P(A\land B)$

तो, यह सब एक साथ रखकर,

${\begin{aligned}P(A\lor B)&=P((A\land \neg (A\land B))\lor (B\land \neg (A\land B))\lor (A\land B))\\&=P(A\land \neg (A\land B)+P(B\land \neg (A\land B))+P(A\land B)\\&=P(A)-P(A\land B)+P(B)-P(A\land B)+P(A\land B)\\&=P(A)+P(B)-P(A\land B)\end{aligned}}$

निषेध

जैसा,

$A\lor \neg A=\top$

तब

$P(A)+P(\neg A)=1$

निहितार्थ और स्थिति संभावना

निहितार्थ निम्नलिखित समीकरण द्वारा सशर्त संभाव्यता से संबंधित है,

$A\to B\iff P(B|A)=1$

व्युत्पत्ति,

${\begin{aligned}A\to B&\iff P(A\to B)=1\\&\iff P(A\land B\lor \neg A)=1\\&\iff P(A\land B)+P(\neg A)=1\\&\iff P(A\land B)=P(A)\\&\iff P(A)\cdot P(B|A)=P(A)\\&\iff P(B|A)=1\end{aligned}}$

बायेसियन परिकल्पना परीक्षण

बेयस प्रमेय का उपयोग कुछ तथ्यों एफ को देखते हुए एक परिकल्पना या सिद्धांत एच की संभावना का अनुमान लगाने के लिए किया जा सकता है। एच की पिछली संभावना तब होती है

$P(H|F)={\frac {P(H)P(F|H)}{P(F)}}$

या जानकारी के संदर्भ में,

$P(H|F)=2^{-(L(H)+L(F|H)-L(F))}$

यह मानकर कि परिकल्पना सत्य है, कथन F का एक सरल प्रतिनिधित्व दिया जा सकता है। इस सरल निरूपण की एन्कोडिंग की लंबाई है $L(F|H).$

$L(H)+L(F|H)$ यदि H सत्य है, तो तथ्य F का प्रतिनिधित्व करने के लिए आवश्यक जानकारी की मात्रा का प्रतिनिधित्व करता है। $L(F)$ परिकल्पना एच के बिना एफ का प्रतिनिधित्व करने के लिए आवश्यक जानकारी की मात्रा है। अंतर यह है कि एच को सत्य मानकर तथ्यों के प्रतिनिधित्व को कितना संकुचित किया गया है। यह इस बात का प्रमाण है कि परिकल्पना H सत्य है।

अगर $L(F)$ एन्कोडिंग लंबाई से पहले #संभावना से अनुमान लगाया जाता है तो प्राप्त संभावना 0 और 1 के बीच नहीं होगी। प्राप्त मूल्य एक अच्छी संभावना अनुमान के बिना, संभावना के आनुपातिक है। प्राप्त संख्या को कभी-कभी सापेक्ष संभाव्यता के रूप में संदर्भित किया जाता है, सिद्धांत को न मानने की तुलना में सिद्धांत कितना अधिक संभावित है।

यदि साक्ष्य प्रदान करने वाली परस्पर अनन्य परिकल्पना का पूरा सेट ज्ञात है, तो पूर्व संभावना के लिए एक उचित अनुमान दिया जा सकता है $P(F)$.

परिकल्पना का सेट

संभावनाओं की गणना बेयस प्रमेय के विस्तारित रूप से की जा सकती है। सभी परस्पर अनन्य परिकल्पनाओं को देखते हुए $H_{i}$ जो सबूत देते हैं, जैसे कि,

$L(H_{i})+L(F|H_{i})<L(F)$

और परिकल्पना आर भी, कि कोई भी परिकल्पना सत्य नहीं है, तो,

${\begin{aligned}P(H_{i}|F)&={\frac {P(H_{i})P(F|H_{i})}{P(F|R)+\sum _{j}{P(H_{j})P(F|H_{j})}}}\\[8pt]P(R|F)&={\frac {P(F|R)}{P(F|R)+\sum _{j}{P(H_{j})P(F|H_{j})}}}\end{aligned}}$

जानकारी के संदर्भ में,

${\begin{aligned}P(H_{i}|F)&={\frac {2^{-(L(H_{i})+L(F|H_{i}))}}{2^{-L(F|R)}+\sum _{j}2^{-(L(H_{j})+L(F|H_{j}))}}}\\[8pt]P(R|F)&={\frac {2^{-L(F|R)}}{2^{-L(F|R)}+\sum _{j}{2^{-(L(H_{j})+L(F|H_{j}))}}}}\end{aligned}}$

अधिकांश स्थितियों में यह मान लेना एक अच्छा अनुमान है $F$ से स्वतंत्र है $R$, मतलब $P(F|R)=P(F)$ देना,

${\begin{aligned}P(H_{i}|F)&\approx {\frac {2^{-(L(H_{i})+L(F|H_{i}))}}{2^{-L(F)}+\sum _{j}{2^{-(L(H_{j})+L(F|H_{j}))}}}}\\[8pt]P(R|F)&\approx {\frac {2^{-L(F)}}{2^{-L(F)}+\sum _{j}{2^{-(L(H_{j})+L(F|H_{j}))}}}}\end{aligned}}$

बूलियन आगमनात्मक अनुमान

अपहरण संबंधी तर्क#संभाव्य अपहरण तथ्यों के एक सेट F से शुरू होता है जो एक कथन (बूलियन अभिव्यक्ति) है। अपहरणात्मक तर्क का स्वरूप है,

एक सिद्धांत टी कथन एफ को दर्शाता है। चूंकि सिद्धांत टी, एफ की तुलना में सरल है, अपहरण कहता है कि संभावना है कि सिद्धांत टी एफ द्वारा निहित है।

सिद्धांत टी, जिसे स्थिति एफ की व्याख्या भी कहा जाता है, सर्वव्यापी तथ्यात्मक क्यों प्रश्न का उत्तर है। उदाहरण के लिए, स्थिति F के लिए सेब क्यों गिरते हैं? . उत्तर एक सिद्धांत टी है जिसका तात्पर्य है कि सेब गिरते हैं;

$F=G{\frac {m_{1}m_{2}}{r^{2}}}$

आगमनात्मक अनुमान का स्वरूप है,

वर्ग C में सभी देखी गई वस्तुओं में एक गुण P होता है। इसलिए संभावना है कि वर्ग C में सभी देखी गई वस्तुओं में एक गुण P होता है।

अपहरणात्मक अनुमान के संदर्भ में, वर्ग सी या सेट में सभी वस्तुओं में एक संपत्ति पी होती है, यह एक सिद्धांत है जो प्रेक्षित स्थिति का तात्पर्य करता है, वर्ग सी में सभी देखी गई वस्तुओं में एक संपत्ति पी है।

अतः आगमनात्मक अनुमान अपहरणात्मक अनुमान का एक विशेष मामला है। सामान्य उपयोग में आगमनात्मक अनुमान शब्द का प्रयोग अक्सर अपहरणात्मक और आगमनात्मक अनुमान दोनों को संदर्भित करने के लिए किया जाता है।

सामान्यीकरण और विशेषज्ञता

आगमनात्मक अनुमान सामान्यीकरण से संबंधित है। किसी विशिष्ट मान को किसी श्रेणी की सदस्यता से प्रतिस्थापित करके, या किसी श्रेणी की सदस्यता को व्यापक श्रेणी की सदस्यता से प्रतिस्थापित करके कथनों से सामान्यीकरण बनाया जा सकता है। निगमनात्मक तर्क में, सामान्यीकरण नए सिद्धांतों को उत्पन्न करने का एक शक्तिशाली तरीका है जो सत्य हो सकते हैं। आगमनात्मक अनुमान में सामान्यीकरण उन सिद्धांतों को उत्पन्न करता है जिनके सत्य होने की संभावना होती है।

सामान्यीकरण के विपरीत विशेषज्ञता है। किसी विशिष्ट मामले में सामान्य नियम लागू करने में विशेषज्ञता का उपयोग किया जाता है। किसी श्रेणी की सदस्यता को किसी विशिष्ट मान से प्रतिस्थापित करके, या किसी श्रेणी को उपश्रेणी से प्रतिस्थापित करके सामान्यीकरण से विशेषज्ञताएँ बनाई जाती हैं।

जीवित चीजों और वस्तुओं का कार्ल लिनिअस वर्गीकरण सामान्यीकरण और विशिष्टता का आधार बनता है। पहचानने, पहचानने और वर्गीकृत करने की क्षमता सामान्यीकरण का आधार है। दुनिया को वस्तुओं के संग्रह के रूप में समझना मानव बुद्धि का एक प्रमुख पहलू प्रतीत होता है। गैर कंप्यूटर विज्ञान अर्थ में यह वस्तु उन्मुख मॉडल है।

वस्तु उन्मुख मॉडल का निर्माण हमारी धारणा से होता है। विशेष रूप से दृश्य धारणा दो छवियों की तुलना करने और गणना करने की क्षमता पर आधारित है कि एक छवि को दूसरी छवि में रूपांतरित या मैप करने के लिए कितनी जानकारी की आवश्यकता है। कंप्यूटर दृष्टि इस मैपिंग का उपयोग स्टीरियोस्कोपी से 3डी छवियों के निर्माण के लिए करता है।

आगमनात्मक तर्क प्रोग्रामिंग सिद्धांत के निर्माण का एक साधन है जो एक स्थिति का तात्पर्य करता है। प्लॉटकिन का सापेक्ष न्यूनतम सामान्यीकरण (आरएलजीजी) दृष्टिकोण स्थिति के अनुरूप सबसे सरल सामान्यीकरण का निर्माण करता है।

न्यूटन द्वारा प्रेरण का उपयोग

आइजैक न्यूटन ने अपने न्यूटन के सार्वभौमिक गुरुत्वाकर्षण के नियम के निर्माण में आगमनात्मक तर्कों का उपयोग किया। बयान से शुरू करते हुए,

• सेब का केंद्र पृथ्वी के केंद्र की ओर गिरता है।

वस्तु के स्थान पर सेब और वस्तु के स्थान पर पृथ्वी के स्थान पर सामान्यीकरण करने से, दो निकाय प्रणाली में,

• एक वस्तु का केंद्र दूसरी वस्तु के केंद्र की ओर पड़ता है।

सिद्धांत सभी वस्तुओं के गिरने की व्याख्या करता है, इसलिए इसके पुख्ता सबूत हैं। दूसरा अवलोकन,

• ग्रह अण्डाकार पथ पर चलते प्रतीत होते हैं।

कुछ जटिल गणितीय गणना के बाद, यह देखा जा सकता है कि यदि त्वरण व्युत्क्रम वर्ग नियम का पालन करता है तो वस्तुएँ एक दीर्घवृत्त का अनुसरण करेंगी। अतः प्रेरण व्युत्क्रम वर्ग नियम का प्रमाण देता है।

गैलीलियो गैलीली का उपयोग करना|गैलीलियो का अवलोकन कि सभी वस्तुएँ समान गति से गिरती हैं,

$F_{1}=m_{1}a_{1}={\frac {m_{1}k_{1}}{r^{2}}}i_{1}$

$F_{2}=m_{2}a_{2}={\frac {m_{2}k_{2}}{r^{2}}}i_{2}$

कहाँ $i_{1}$ और $i_{2}$ अन्य वस्तु के केंद्र की ओर सदिश। फिर न्यूटन के गति के नियमों का उपयोग करते हुए#न्यूटन का तीसरा नियम|न्यूटन का तीसरा नियम $F_{1}=-F_{2}$

$F=G{\frac {m_{1}m_{2}}{r^{2}}}$

आगमनात्मक अनुमान की संभावनाएँ

1. निहितार्थ और स्थिति संभाव्यता,

$T\to F\iff P(F|T)=1$

इसलिए,

$P(F|T)=1$

$L(F|T)=0$

इस परिणाम का उपयोग बायेसियन परिकल्पना परीक्षण के लिए दी गई संभावनाओं में किया जा सकता है। एकल सिद्धांत के लिए, H = T और,

$P(T|F)={\frac {P(T)}{P(F)}}$

या जानकारी के संदर्भ में, सापेक्ष संभावना है,

$P(T|F)=2^{-(L(T)-L(F))}$

ध्यान दें कि P(T|F) के लिए यह अनुमान सही संभावना नहीं है। अगर $L(T_{i})<L(F)$ तो सिद्धांत के पास इसका समर्थन करने के लिए सबूत हैं। फिर सिद्धांतों के एक सेट के लिए $T_{i}=H_{i}$, ऐसा है कि $L(T_{i})<L(F)$,

$P(T_{i}|F)={\frac {P(T_{i})}{P(F|R)+\sum _{j}{P(T_{j})}}}$

$P(R|F)={\frac {P(F|R)}{P(F|R)+\sum _{j}{P(T_{j})}}}$

देना,

$P(T_{i}|F)\approx {\frac {2^{-L(T_{i})}}{2^{-L(F)}+\sum _{j}{2^{-L(T_{j})}}}}$

$P(R|F)\approx {\frac {2^{-L(F)}}{2^{-L(F)}+\sum _{j}{2^{-L(T_{j})}}}}$

व्युत्पत्तियाँ

आगमनात्मक संभाव्यता की व्युत्पत्ति

सभी सबसे छोटे कार्यक्रमों की एक सूची बनाएं $K_{i}$ कि प्रत्येक बिट्स की एक अलग अनंत स्ट्रिंग उत्पन्न करता है, और संबंध को संतुष्ट करता है,

$T_{n}(R(K_{i}))=x$

कहाँ $R(K_{i})$ प्रोग्राम चलाने का परिणाम है $K_{i}$ और $T_{n}$ n बिट्स के बाद स्ट्रिंग को छोटा कर देता है।

समस्या इस संभावना की गणना करना है कि स्रोत प्रोग्राम द्वारा निर्मित किया गया है $K_{i},$ दिया गया है कि n बिट्स के बाद काटा गया स्रोत x है। इसे सशर्त संभाव्यता द्वारा दर्शाया गया है,

$P(s=R(K_{i})|T_{n}(s)=x)$

बेयस प्रमेय का उपयोग करना#विस्तारित रूप|बेयस प्रमेय का विस्तारित रूप

$P(s=R(K_{i})|T_{n}(s)=x)={\frac {P(T_{n}(s)=x|s=R(K_{i}))P(s=R(K_{i}))}{\sum _{j}P(T_{n}(s)=x|s=R(K_{j}))P(s=R(K_{j}))}}.$

विस्तारित रूप कुल संभाव्यता के नियम पर निर्भर करता है। इसका मतलब यह है कि $s=R(K_{i})$ अलग-अलग संभावनाएँ होनी चाहिए, जो इस शर्त द्वारा दी गई है कि प्रत्येक $K_{i}$ एक अलग अनंत स्ट्रिंग उत्पन्न करें। शर्तों में से एक यह भी $s=R(K_{i})$ सच होना चाहिए. यह सच होना चाहिए, जैसा कि सीमा में है $n\to \infty ,$ हमेशा कम से कम एक प्रोग्राम होता है जो उत्पादन करता है $T_{n}(s)$.

जैसा $K_{i}$ इसलिए चुना जाता है $T_{n}(R(K_{i}))=x,$ तब,

$P(T_{n}(s)=x|s=R(K_{i}))=1$

स्ट्रिंग के बारे में कोई जानकारी न दिए जाने पर, प्रोग्राम से स्ट्रिंग उत्पन्न होने की प्राथमिक संभावना, प्रोग्राम के आकार पर आधारित होती है,

$P(s=R(K_{i}))=2^{-I(K_{i})}$

देना,

$P(s=R(K_{i})|T_{n}(s)=x)={\frac {2^{-I(K_{i})}}{\sum _{j}2^{-I(K_{j})}}}.$

ऐसे प्रोग्राम जो x की लंबाई के समान या उससे अधिक लंबे होते हैं, कोई पूर्वानुमानित शक्ति प्रदान नहीं करते हैं। उन्हें देकर अलग करो,

$P(s=R(K_{i})|T_{n}(s)=x)={\frac {2^{-I(K_{i})}}{\sum _{j:I(K_{j})<n}2^{-I(K_{j})}+\sum _{j:I(K_{j})\geqslant n}2^{-I(K_{j})}}}.$

फिर दो संभावनाओं को इस प्रकार पहचानें,

$P(x{\text{ has pattern}})=\sum _{j:I(K_{j})<n}2^{-I(K_{j})}$

$P(x{\text{ is random}})=\sum _{j:I(K_{j})\geqslant n}2^{-I(K_{j})}$

लेकिन पूर्व संभावना यह है कि x बिट्स का एक यादृच्छिक सेट है $2^{-n}$. इसलिए,

$P(s=R(K_{i})|T_{n}(s)=x)={\frac {2^{-I(K_{i})}}{2^{-n}+\sum _{j:I(K_{j})<n}2^{-I(K_{j})}}}.$

संभावना है कि स्रोत यादृच्छिक है, या अप्रत्याशित है,

$P(\operatorname {random} (s)|T_{n}(s)=x)={\frac {2^{-n}}{2^{-n}+\sum _{j:I(K_{j})<n}2^{-I(K_{j})}}}.$

आगमनात्मक अनुमान के लिए एक मॉडल

दुनिया का निर्माण कैसे किया जाता है इसका एक मॉडल सिद्धांतों की संभावनाओं को निर्धारित करने में उपयोग किया जाता है,

• एक यादृच्छिक बिट स्ट्रिंग का चयन किया जाता है।
• बिट स्ट्रिंग से एक शर्त का निर्माण किया जाता है।
• एक ऐसी दुनिया का निर्माण होता है जो स्थिति के अनुरूप होती है।

यदि w बिट स्ट्रिंग है तो दुनिया ऐसी बनाई गई है $R(w)$ क्या सच है। एक बुद्धिमान एजेंट के पास शब्द के बारे में कुछ तथ्य होते हैं, जिन्हें बिट स्ट्रिंग सी द्वारा दर्शाया जाता है, जो शर्त देता है,

$C=R(c)$

बिट स्ट्रिंग्स का सेट किसी भी स्थिति x के समान है $E(x)$.

$\forall x,E(x)=\{w:R(w)\equiv x\}$

एक सिद्धांत एक सरल स्थिति है जो सी की व्याख्या (या तात्पर्य) करती है। ऐसे सभी सिद्धांतों के सेट को टी कहा जाता है,

$T(C)=\{t:t\to C\}$

बेयस प्रमेय को लागू करना

बेयस प्रमेय#विस्तारित रूप|बेयस प्रमेय का विस्तारित रूप लागू किया जा सकता है

$P(A_{i}|B)={\frac {P(B|A_{i})\,P(A_{i})}{\sum _{j}P(B|A_{j})\,P(A_{j})}},$

कहाँ,

$B=E(C)$

$A_{i}=E(t)$

बेयस प्रमेय को लागू करने के लिए निम्नलिखित का पालन करना होगा: $A_{i}$ इवेंट स्पेस के एक सेट का एक विभाजन है।

के लिए $T(C)$ एक विभाजन होने के लिए, कोई भी बिट स्ट्रिंग n दो सिद्धांतों से संबंधित नहीं हो सकती है। इसे साबित करने के लिए वे मान सकते हैं और एक विरोधाभास निकाल सकते हैं,

$(N\in T)\land (N\in M)\land (N\neq M)\land (n\in E(N)\land n\in E(M))$

$\implies (N\neq M)\land R(n)\equiv N\land R(n)\equiv M$

$\implies \bot$

दूसरे सिद्ध करें कि T में शर्त के अनुरूप सभी परिणाम शामिल हैं। चूंकि सी के अनुरूप सभी सिद्धांत शामिल हैं $R(w)$ इस सेट में होना चाहिए.

इसलिए बेयस प्रमेय को निर्दिष्ट रूप में लागू किया जा सकता है,

$\forall t\in T(C),P(E(t)|E(C))={\frac {P(E(t))\cdot P(E(C)|E(t))}{\sum _{j\in T(C)}P(E(j))\cdot P(E(C)|E(j))}}$

1. निहितार्थ और स्थिति संभाव्यता का उपयोग करते हुए, की परिभाषा $T(C)$ तात्पर्य,

$\forall t\in T(C),P(E(C)|E(t))=1$

टी में प्रत्येक सिद्धांत की संभावना इस प्रकार दी गई है,

$\forall t\in T(C),P(E(t))=\sum _{n:R(n)\equiv t}2^{-L(n)}$

इसलिए,

$\forall t\in T(C),P(E(t)|E(C))={\frac {\sum _{n:R(n)\equiv t}2^{-L(n)}}{\sum _{j\in T(C)}\sum _{m:R(m)\equiv j}2^{-L(m)}}}$

अंततः घटनाओं की संभावनाओं को उस स्थिति की संभावनाओं से पहचाना जा सकता है जिसे घटना के परिणाम संतुष्ट करते हैं,

$\forall t\in T(C),P(E(t)|E(C))=P(t|C)$

दे रही है

$\forall t\in T(C),P(t|C)={\frac {\sum _{n:R(n)\equiv t}2^{-L(n)}}{\sum _{j\in T(C)}\sum _{m:R(m)\equiv j}2^{-L(m)}}}$

यह देखने के बाद कि स्थिति C कायम है, सिद्धांत t की संभावना है।

भविष्यवाणी की शक्ति के बिना सिद्धांतों को हटाना

ऐसे सिद्धांत जो स्थिति C से कम संभावित हैं, उनमें कोई पूर्वानुमान लगाने की शक्ति नहीं है। उन्हें देकर अलग करो,

$\forall t\in T(C),P(t|C)={\frac {P(E(t))}{(\sum _{j:j\in T(C)\land P(E(j))>P(E(C))}P(E(j)))+(\sum _{j:j\in T(C)\land P(E(j))\leq P(E(C))}P(j))}}$

C पर पूर्वानुमानित शक्ति के बिना सिद्धांतों की संभावना C की संभावना के समान है। इसलिए,

$P(E(C))=\sum _{j:j\in T(C)\land P(E(j))\leq P(E(C))}P(j)$

तो संभावना

$\forall t\in T(C),P(t|C)={\frac {P(E(t))}{P(E(C))+\sum _{j:j\in T(C)\land P(E(j))>P(E(C))}P(E(j))}}$

और C के लिए कोई भविष्यवाणी न होने की संभावना, इस प्रकार लिखी गई है $\operatorname {random} (C)$,

$P({\text{random}}(C)|C)={\frac {P(E(C))}{P(E(C))+\sum _{j:j\in T(C)\land P(E(j))>P(E(C))}P(E(j))}}$

एक शर्त की संभावना इस प्रकार दी गई थी,

$\forall t,P(E(t))=\sum _{n:R(n)\equiv t}2^{-L(n)}$

सिद्धांतों के लिए बिट स्ट्रिंग्स जो एजेंट को इनपुट के रूप में दी गई बिट स्ट्रिंग से अधिक जटिल हैं, उनमें कोई पूर्वानुमानित शक्ति नहीं है। वहाँ संभावनाओं को यादृच्छिक मामले में बेहतर ढंग से शामिल किया गया है। इसे लागू करने के लिए F के रूप में एक नई परिभाषा दी गई है,

$\forall t,P(F(t,c))=\sum _{n:R(n)\equiv t\land L(n)<L(c)}2^{-L(n)}$

एफ का उपयोग करते हुए, अपहरण की संभावनाओं का एक उन्नत संस्करण है,

$\forall t\in T(C),P(t|C)={\frac {P(F(t,c))}{P(F(C,c))+\sum _{j:j\in T(C)\land P(F(j,c))>P(F(C,c))}P(E(j,c))}}$

$P(\operatorname {random} (C)|C)={\frac {P(F(C,c))}{P(F(C,c))+\sum _{j:j\in T(C)\land P(F(j,c))>P(F(C,c))}P(F(j,c))}}$

प्रमुख लोग

• ओखम के विलियम
• थॉमस बेयस
• रे सोलोमोफ़
• एंड्री कोलमोगोरोव
• क्रिस वालेस (कंप्यूटर वैज्ञानिक)
• डी. एम. बोल्टन
• जोर्मा रिसेनन
• मार्कस हटर

यह भी देखें

• अपहरणात्मक तर्क
• एल्गोरिथम संभाव्यता
• एल्गोरिथम सूचना सिद्धांत
• बायेसियन अनुमान
• सूचना सिद्धांत
• आगमनात्मक अनुमान
• आगमनात्मक तर्क प्रोग्रामिंग
• विवेचनात्मक तार्किकता
• सीखना
• न्यूनतम संदेश लंबाई
• न्यूनतम विवरण लंबाई
• ओकाम का उस्तरा
• सोलोमनॉफ का आगमनात्मक अनुमान का सिद्धांत
• सार्वभौमिक कृत्रिम बुद्धिमत्ता

बाहरी संबंध

• Rathmanner, S and Hutter, M., "A Philosophical Treatise of Universal Induction" in Entropy 2011, 13, 1076–1136: A very clear philosophical and mathematical analysis of Solomonoff's Theory of Inductive Inference.
• C.S. Wallace, Statistical and Inductive Inference by Minimum Message Length, Springer-Verlag (Information Science and Statistics), ISBN 0-387-23795-X, May 2005 – chapter headings, table of contents and sample pages.