बायेसियन प्रोग्रामिंग

बायेसियन प्रोग्रामिंग औपचारिकता और संभाव्यता वितरण को निर्दिष्ट करने और आवश्यक जानकारी से कम जानकारी उपलब्ध होने पर समस्याओं को हल करने की तकनीक रखने की पद्धति है।

एडविन थॉम्पसन जेन्स या एडविन टी. जेन्स ने प्रस्तावित किया कि अपूर्ण और अनिश्चित जानकारी के साथ तर्कसंगत तर्क के लिए संभाव्यता को विकल्प और तर्क के विस्तार के रूप में माना जा सकता है। उनकी संस्थापक पुस्तक प्रोबेबिलिटी थ्योरी: द लॉजिक ऑफ साइंस में उन्होंने इस सिद्धांत को विकसित किया था और प्रस्तावित किया जिसे उन्होंने "रोबोट" कहा, जो नहीं था।

इस प्रकार भौतिक उपकरण, किन्तु संभाव्य तर्क को स्वचालित करने के लिए अनुमान इंजन - तर्क के अतिरिक्त संभाव्यता के लिए प्रकार का प्रोलॉग बायेसियन प्रोग्रामिंग यह इस रोबोट का औपचारिक और ठोस कार्यान्वयन है।

बायेसियन प्रोग्रामिंग को ग्राफ़िकल मॉडल को निर्दिष्ट करने के लिए बीजगणितीय औपचारिकता के रूप में भी देखा जा सकता है, उदाहरण के लिए, बायेसियन नेटवर्क, गतिशील बायेसियन नेटवर्क, कलमन फ़िल्टर या हिडन मार्कोव मॉडल बायेसियन प्रोग्रामिंग बायेसियन नेटवर्क की तुलना में अधिक सामान्य है और इसमें संभाव्य कारक ग्राफ के सामान्य अभिव्यक्ति की शक्ति है।

औपचारिकता

बायेसियन प्रोग्राम संभाव्यता वितरण के वर्ग को निर्दिष्ट करने का साधन है।

बायेसियन प्रोग्राम के घटक तत्व नीचे प्रस्तुत किए गए हैं:

${\text{Program}}{\begin{cases}{\text{Description}}{\begin{cases}{\text{Specification}}(\pi ){\begin{cases}{\text{Variables}}\\{\text{Decomposition}}\\{\text{Forms}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\{\text{Question}}\end{cases}}$

1. प्रोग्राम का निर्माण विवरण और प्रश्न से होता है.
2. विवरण कुछ विशिष्टताओं ($\pi$) का उपयोग करके बनाया गया है जैसा कि प्रोग्रामर द्वारा दिया गया है और डेटा समुच्चय का उपयोग करके विनिर्देश द्वारा पूरी तरह से निर्दिष्ट नहीं किए गए मापदंडों के लिए मान्यता या सीखने की प्रक्रिया ($\delta$) है
3. विनिर्देश का निर्माण प्रासंगिक चर, अपघटन और रूपों के समुच्चय से किया जाता है।
4. फॉर्म या तो पैरामीट्रिक फॉर्म हैं या अन्य बायेसियन प्रोग्रामों के प्रश्न हैं।
5. प्रश्न निर्दिष्ट करता है कि किस संभाव्यता वितरण की गणना की जानकारी है।

विवरण

विवरण का उद्देश्य संयुक्त संभाव्यता वितरण की गणना करने की प्रभावी विधि निर्दिष्ट करना है यादृच्छिक वेरिएबल के समुच्चय पर $\left\{X_{1},X_{2},\cdots ,X_{N}\right\}$ प्रायोगिक डेटा $\delta$ का समुच्चय दिया गया और कुछ विनिर्देश $\pi$. इस संयुक्त संभाव्यता वितरण $P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)$ को इस प्रकार दर्शाया गया है:

प्रारंभिक ज्ञान निर्दिष्ट करने के लिए $\pi$, प्रोग्रामर को निम्नलिखित कार्य करने होंगे:

1. प्रासंगिक यादृच्छिक वेरिएबल $\left\{X_{1},X_{2},\cdots ,X_{N}\right\}$ के समुच्चय को परिभाषित करें जिस पर संयुक्त वितरण परिभाषित किया गया है।
2. संयुक्त वितरण को विघटित करें (इसे प्रासंगिक इन्डीपेंडेंस (संभाव्यता सिद्धांत) या सनियम संभाव्यता में तोड़ें)।
3. प्रत्येक वितरण के रूपों को परिभाषित करें (उदाहरण के लिए, प्रत्येक वेरिएबल के लिए, संभाव्यता वितरण की सूची में से एक)।

अपघटन

$\left\{X_{1},X_{2},\ldots ,X_{N}\right\}$ का विभाजन दिया गया है युक्त $K$ उपसमुच्चय, $K$ वेरिएबल परिभाषित हैं , प्रत्येक इन उपसमुच्चयों $L_{1},\cdots ,L_{K}$ में अनुरूप है।

प्रत्येक वेरिएबल $L_{k}$ वेरिएबलं के संयोजन के रूप में प्राप्त किया जाता है $\left\{X_{k_{1}},X_{k_{2}},\cdots \right\}$ से संबंधित $k^{th}$ सबसमुच्चय बेयस प्रमेय के पुनरावर्ती अनुप्रयोग की ओर जाता है:

${\begin{aligned}&P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\wedge \cdots \wedge L_{K}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid L_{1}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid L_{K-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)\end{aligned}}$

सनियम इन्डीपेंडेंस परिकल्पना तब और अधिक सरलीकरण की अनुमति देती है। सनियम वेरिएबल के लिए इन्डीपेंडेंस परिकल्पना $L_{k}$ कुछ वेरिएबल $X_{n}$ द्वारा परिभाषित किया गया है संयोजन में प्रदर्शित होने वाले वेरिएबलं के मध्य $L_{k-1}\wedge \cdots \wedge L_{2}\wedge L_{1}$, लेबलिंग $R_{k}$ के रूप में इन चुने हुए वेरिएबल और समुच्चयिंग का संयोजन है:

$P\left(L_{k}\mid L_{k-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi \right)=P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)$

फिर हम प्राप्त करते हैं:

${\begin{aligned}&P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)\\={}&P\left(L_{1}\mid \delta \wedge \pi \right)\times P\left(L_{2}\mid R_{2}\wedge \delta \wedge \pi \right)\times \cdots \times P\left(L_{K}\mid R_{K}\wedge \delta \wedge \pi \right)\end{aligned}}$

सरल वितरणों के उत्पाद के रूप में संयुक्त वितरण का ऐसा सरलीकरण है श्रृंखला नियम (संभाव्यता) का उपयोग करके प्राप्त अपघटन कहा जाता है।

यह सुनिश्चित करता है कि प्रत्येक वेरिएबल कंडीशनिंग के बाईं ओर अधिकतम बार दिखाई दे जो गणितीय रूप से मान्य लिखने के लिए आवश्यक और पर्याप्त नियम है

प्रपत्र

प्रत्येक वितरण $P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)$ फिर उत्पाद में दिखाई देना संबद्ध हो जाता है या तो पैरामीट्रिक फॉर्म के साथ (अर्थात, फलन $f_{\mu }\left(L_{k}\right)$) या किसी अन्य बायेसियन प्रोग्राम के लिए है $P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)=P\left(L\mid R\wedge {\widehat {\delta }}\wedge {\widehat {\pi }}\right)$.

जब यह $f_{\mu }\left(L_{k}\right)$ रूप है , सामान्य रूप में, $\mu$ मापदंड का सदिश है जिस पर निर्भर हो सकता है $R_{k}$ या $\delta$ अथवा दोनों सीखना तब होता है जब इनमें से कुछ मापदंडों की गणना डेटा समुच्चय $\delta$ का उपयोग करके की जाती है .

बायेसियन प्रोग्रामिंग की महत्वपूर्ण विशेषता नए बायेसियन प्रोग्राम की परिलैंग्वेज के घटकों के रूप में अन्य बायेसियन प्रोग्रामों के प्रश्नों $P\left(L_{k}\mid R_{k}\wedge \delta \wedge \pi \right)$ का उपयोग करने की क्षमता है। विनिर्देशों द्वारा परिभाषित किसी अन्य बायेसियन प्रोग्राम द्वारा किए गए कुछ अनुमानों ${\widehat {\pi }}$ और डेटा ${\widehat {\delta }}$ द्वारा प्राप्त किया जाता है. यह मौलिक प्रोग्रामिंग में सबरूटीन को कॉल करने के समान है और बायेसियन नेटवर्क पदानुक्रमित मॉडल बनाने का सरल विधि प्रदान करता है।

प्रश्न

विवरण दिया गया है (अर्थात्, $P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)$), विभाजन $\left\{X_{1},X_{2},\cdots ,X_{N}\right\}$ द्वारा प्रश्न प्राप्त किया जाता है तीन समुच्चयों में: खोजे गए चर, ज्ञात वेरिएबल और मुक्त चर.

3 वेरिएबल $Searched$, $Known$ और $Free$ के रूप में परिभाषित किया गया है ये समुच्चय.

प्रश्न को समुच्चय के रूप में परिभाषित किया गया है

$P\left(Searched\mid {\text{Known}}\wedge \delta \wedge \pi \right)$

$Known$ के कार्डिनल के रूप में कई त्वरित प्रश्नों से बना है ,प्रत्येक तात्कालिक प्रश्न वितरण है:

$P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)$

अनुमान

संयुक्त वितरण $P\left(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}\mid \delta \wedge \pi \right)$ को देखते हुए , निम्नलिखित सामान्य अनुमान का उपयोग करके किसी भी संभावित प्रश्न की गणना करना सदैव संभव है:

${\begin{aligned}&P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\\={}&\sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\right]\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle P\left({\text{Known}}\mid \delta \wedge \pi \right)}}\\={}&{\frac {\displaystyle \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}{\displaystyle \sum _{{\text{Free}}\wedge {\text{Searched}}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]}}\\={}&{\frac {1}{Z}}\times \sum _{\text{Free}}\left[P\left({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}\mid \delta \wedge \pi \right)\right]\end{aligned}}$

जहां पहली समानता हाशिए के नियम से उत्पन्न होती है, वहीं दूसरी बेयस प्रमेय के परिणाम और तीसरा हाशिए के दूसरे अनुप्रयोग से मेल खाता है। प्रत्येक सामान्यीकरण शब्द प्रतीत होता है और इसे स्थिरांक $Z$ द्वारा प्रतिस्थापित किया जा सकता है .

सैद्धांतिक रूप से, यह किसी भी बायेसियन अनुमान समस्या को हल करने की अनुमति देता है। व्यवहार में, चूँकि, गणना $P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)$ की निवेश विस्तृत और स्पष्ट है लगभग सभी स्थितियों में बहुत सही है.

संयुक्त वितरण को उसके अपघटन द्वारा प्रतिस्थापित करने पर हमें प्राप्त होता है:

${\begin{aligned}&P\left({\text{Searched}}\mid {\text{Known}}\wedge \delta \wedge \pi \right)\\={}&{\frac {1}{Z}}\sum _{\text{Free}}\left[\prod _{k=1}^{K}\left[P\left(L_{i}\mid K_{i}\wedge \pi \right)\right]\right]\end{aligned}}$

जो सामान्यतः गणना करने के लिए बहुत ही सरल अभिव्यक्ति है, क्योंकि निम्न आयाम वितरण के उत्पाद में अपघटन से समस्या की आयामीता अधिक कम हो जाती है।

उदाहरण

बायेसियन स्पैम का पता लगाना

बायेसियन स्पैम फ़िल्टरिंग का उद्देश्य जंक ई-मेल को ख़त्म करना है।

समस्या को सूत्रबद्ध करना बहुत सरल है. ई-मेल को वर्गीकृत किया जाना चाहिए दो श्रेणियों में से में: गैर-स्पैम या स्पैम ई-मेल को वर्गीकृत करने के लिए एकमात्र उपलब्ध जानकारी उनकी कंटेंट है: शब्दों का समुच्चय क्रम को ध्यान में रखे बिना इन शब्दों का उपयोग करना सामान्यतः शब्दों का बैग मॉडल कहा जाता है।

क्लासिफायरियर को इसके अतिरिक्त अपने उपयोगकर्ता के अनुकूल होने और सीखने में सक्षम होना चाहिए अनुभव से प्रारंभिक मानक समुच्चयिंग से प्रारंभ करते हुए, क्लासिफायरियर को ऐसा करना चाहिए

जब उपयोगकर्ता अपने निर्णय से असहमत हो तो अपने आंतरिक मापदंडों को संशोधित करें। इसलिए यह गैर-स्पैम और के मध्य अंतर करने के लिए उपयोगकर्ता के मानदंडों के अनुकूल होता है अवांछित ईमेल यह अपने परिणामों में सुधार करेगा क्योंकि इसे तेजी से वर्गीकृत ई-मेल का सामना करना पड़ेगा।

चर

इस प्रोग्राम को लिखने के लिए आवश्यक वेरिएबल इस प्रकार हैं:

1. $Spam$: बाइनरी वैरिएबल, यदि ई-मेल स्पैम नहीं है तो गलत और अन्यथा सत्य।
2. $W_{0},W_{1},\ldots ,W_{N-1}$: $N$ बाइनरी डेटा $W_{n}$ सत्य है यदि $n^{th}$ शब्दकोश का शब्द टेक्स्ट में उपस्थित है।

इन $N+1$ बाइनरी वैरिएबल ई-मेल के बारे में सारी जानकारी को संक्षेप में प्रस्तुत करते हैं.

अपघटन

संयुक्त वितरण से प्रारंभ करने और बेयस प्रमेय को पुनरावर्ती रूप से प्रयुक्त करने से हमें प्राप्त होता है:

${\begin{aligned}&P({\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-1})\\={}&P({\text{Spam}})\times P(W_{0}\mid {\text{Spam}})\times P(W_{1}\mid {\text{Spam}}\wedge W_{0})\\&\times \cdots \\&\times P\left(W_{N-1}\mid {\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-2}\right)\end{aligned}}$

यह स्पष्ट गणितीय अभिव्यक्ति है.

इसे यह मानकर अधिक सरल बनाया जा सकता है कि टेक्स्ट की प्रकृति (स्पैम या नहीं) को जानते हुए किसी शब्द के प्रकट होने की संभाव्यता दूसरे शब्दों के प्रकट होने से स्वतंत्र है। यह बेयस की धारणा है और यह इस स्पैम फ़िल्टर को बेयस मॉडल कों अनुभवहीन बनाती है।

उदाहरण के लिए, प्रोग्रामर यह मान सकता है:

$P(W_{1}\mid {\text{Spam}}\land W_{0})=P(W_{1}\mid {\text{Spam}})$

अंततः प्राप्त करने के लिए:

$P({\text{Spam}}\land W_{0}\land \ldots \land W_{N-1})=P({\text{Spam}})\prod _{n=0}^{N-1}[P(W_{n}\mid {\text{Spam}})]$

इस प्रकार की धारणा को नाइव बेयस क्लासिफायर|नाइव बेयस धारणा के रूप में जाना जाता है। यह इस अर्थ में अनुभवहीन है कि शब्दों के मध्य की इन्डीपेंडेंस स्पष्ट रूप से पूर्णतः सत्य नहीं है। उदाहरण के लिए, यह पूरी तरह से उपेक्षा करता है कि शब्दों के जोड़े की उपस्थिति पृथक उपस्थिति से अधिक महत्वपूर्ण हो सकती है। चूँकि, प्रोग्रामर इस परिकल्पना को मान सकता है और यह परीक्षण करने के लिए मॉडल और संबंधित निष्कर्ष विकसित कर सकता है कि यह कितना विश्वसनीय और कुशल है।

पैरामीट्रिक फॉर्म

संयुक्त वितरण की गणना करने में सक्षम होने के लिए, प्रोग्रामर को अब निर्दिष्ट करना होगा $N+1$ अपघटन में प्रकट होने वाले वितरण:

1. $P({\text{Spam}})$ उदाहरण के लिए, पूर्व परिभाषित है $P([{\text{Spam}}=1])=0.75$
2. प्रत्येक $N$ फार्म $P(W_{n}\mid {\text{Spam}})$ उत्तराधिकार के लाप्लास नियम का उपयोग करके निर्दिष्ट किया जा सकता है (यह पीपीएम संपीड़न एल्गोरिदम का मुकाबला करने के लिए छद्म गिनती-आधारित एन-ग्राम स्मूथिंग तकनीक है। शब्दों की शून्य-आवृत्ति समस्या जो पहले कभी नहीं देखी गई):
   1. $P(W_{n}\mid [{\text{Spam}}={\text{false}}])={\frac {1+a_{f}^{n}}{2+a_{f}}}$
   2. $P(W_{n}\mid [{\text{Spam}}={\text{true}}])={\frac {1+a_{t}^{n}}{2+a_{t}}}$

जहाँ $a_{f}^{n}$ की उपस्थिति की संख्या को दर्शाता है $n^{th}$ गैर-स्पैम ई-मेल में शब्द और $a_{f}$ गैर-स्पैम ई-मेल की कुल संख्या को दर्शाता है। इसी प्रकार, $a_{t}^{n}$ की उपस्थिति की संख्या को दर्शाता है $n^{th}$ स्पैम ई-मेल में शब्द और $a_{t}$ स्पैम ई-मेल की कुल संख्या को दर्शाता है।

मान्यता $N$ h> प्रपत्र $P(W_{n}\mid {\text{Spam}})$ अभी तक पूरी तरह से निर्दिष्ट नहीं हैं क्योंकि $2N+2$ मापदंड $a_{f}^{n=0,\ldots ,N-1}$, $a_{t}^{n=0,\ldots ,N-1}$, $a_{f}$ और $a_{t}$ अभी तक कोई मूल्य नहीं है.

इन मापदंडों की मान्यता या तो वर्गीकृत ई-मेल की श्रृंखला के बैच प्रसंस्करण द्वारा या ई-मेल के आने पर उपयोगकर्ता के वर्गीकरण का उपयोग करके मापदंडों के वृद्धिशील अद्यतन द्वारा की जा सकती है।

दोनों विधियों को जोड़ा जा सकता है: सिस्टम सामान्य डेटाबेस से जारी किए गए इन मापदंडों के प्रारंभिक मानक मूल्यों के साथ प्रारंभ हो सकता है, फिर कुछ वृद्धिशील शिक्षा प्रत्येक व्यक्तिगत उपयोगकर्ता के लिए क्लासिफायरियर को अनुकूलित करती है।

प्रश्न

प्रोग्राम से पूछा गया प्रश्न यह है: किसी दिए गए टेक्स्ट के स्पैम होने की क्या संभाव्यता है, यह जानते हुए कि इस टेक्स्ट में कौन से शब्द दिखाई देते हैं और कौन से शब्द दिखाई नहीं देते हैं?

इसे इसके द्वारा औपचारिक रूप दिया जा सकता है:

$P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1})$

जिसकी गणना इस प्रकार की जा सकती है:

${\begin{aligned}&P({\text{Spam}}\mid w_{0}\wedge \cdots \wedge w_{N-1})\\={}&{\frac {\displaystyle P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]}{\displaystyle \sum _{\text{Spam}}[P({\text{Spam}})\prod _{n=0}^{N-1}[P(w_{n}\mid {\text{Spam}})]]}}\end{aligned}}$

प्रत्येक सामान्यीकृत स्थिरांक प्रतीत होता है। यह तय करने के लिए कि हम स्पैम से निपट रहे हैं या नहीं, इसकी गणना करना आवश्यक नहीं है। उदाहरण के लिए, अनुपात की गणना करना सरल तरकीब है:

${\begin{aligned}&{\frac {P([{\text{Spam}}={\text{true}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}{P([{\text{Spam}}={\text{false}}]\mid w_{0}\wedge \cdots \wedge w_{N-1})}}\\={}&{\frac {P([{\text{Spam}}={\text{true}}])}{P([{\text{Spam}}={\text{false}}])}}\times \prod _{n=0}^{N-1}\left[{\frac {P(w_{n}\mid [{\text{Spam}}={\text{true}}])}{P(w_{n}\mid [{\text{Spam}}={\text{false}}])}}\right]\end{aligned}}$

यह गणना तेज़ और सरल है क्योंकि $2N$ के लिए केवल आवश्यकता होती है .

बायेसियन प्रोग्राम

बायेसियन स्पैम फ़िल्टर प्रोग्राम पूरी तरह से परिभाषित है:

$\Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:{\text{Spam}},W_{0},W_{1}\ldots W_{N-1}\\Dc:{\begin{cases}P({\text{Spam}}\land W_{0}\land \ldots \land W_{n}\land \ldots \land W_{N-1})\\=P({\text{Spam}})\prod _{n=0}^{N-1}P(W_{n}\mid {\text{Spam}})\end{cases}}\\Fo:{\begin{cases}P({\text{Spam}}):{\begin{cases}P([{\text{Spam}}={\text{false}}])=0.25\\P([{\text{Spam}}={\text{true}}])=0.75\end{cases}}\\P(W_{n}\mid {\text{Spam}}):{\begin{cases}P(W_{n}\mid [{\text{Spam}}={\text{false}}])\\={\frac {1+a_{f}^{n}}{2+a_{f}}}\\P(W_{n}\mid [{\text{Spam}}={\text{true}}])\\={\frac {1+a_{t}^{n}}{2+a_{t}}}\end{cases}}\\\end{cases}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\Qu:P({\text{Spam}}\mid w_{0}\land \ldots \land w_{n}\land \ldots \land w_{N-1})\end{cases}}$

बायेसियन फ़िल्टर, कलमैन फ़िल्टर और हिडन मार्कोव मॉडल

बायेसियन फिल्टर (अधिकांशतः पुनरावर्ती बायेसियन अनुमान कहा जाता है) समय विकसित होने वाली प्रक्रियाओं के लिए सामान्य संभाव्य मॉडल हैं। कई मॉडल इस सामान्य दृष्टिकोण के विशेष उदाहरण हैं, उदाहरण के लिए: कलमैन फ़िल्टर या हिडन मार्कोव मॉडल (एचएमएम)।

चर

• वेरिएबल $S^{0},\ldots ,S^{T}$ स्तर वेरिएबल की समय श्रृंखला है जिसे $0$ को $T$. समय क्षितिज पर माना जाता है
• वेरिएबल $O^{0},\ldots ,O^{T}$ ही क्षितिज पर अवलोकन वेरिएबल की समय श्रृंखला है।

अपघटन

अपघटन आधारित है:

• $P(S^{t}\mid S^{t-1})$ पर , जिसे सिस्टम मॉडल, संक्रमण मॉडल या गतिशील मॉडल कहा जाता है, जो $t-1$ समय पर स्तर के लिए $t$ समय पर स्तर से संक्रमण को औपचारिक बनाता है;
• $P(O^{t}\mid S^{t})$ पर , जिसे अवलोकन मॉडल कहा जाता है, जो $t$ जब सिस्टम स्थिति में हो $S^{t}$ व्यक्त करता है कि समय पर क्या देखा जा सकता है;
• $P(S^{0}\wedge O^{0})$ समय पर प्रारंभिक अवस्था $0$ में : .

पैरामीट्रिकल फॉर्म

पैरामीट्रिकल फॉर्म सीमित नहीं हैं और अलग-अलग विकल्प अलग-अलग प्रसिद्ध मॉडल की ओर ले जाते हैं: नीचे कलमैन फिल्टर और हिडन मार्कोव मॉडल देखें।

प्रश्न

ऐसे मॉडलों $P\left(S^{t+k}\mid O^{0}\wedge \cdots \wedge O^{t}\right)$ के लिए सामान्य प्रश्न है : $t+k$ अवलोकनों को तुरंत जानना $0$ को $t$ समय पर स्तर के लिए संभाव्यता वितरण क्या है?

सबसे सामान्य स्थिति बायेसियन फ़िल्टरिंग $k=0$ का है , जो पिछली टिप्पणियों को जानकर, वर्तमान स्थिति की खोज करता है।

चूँकि, यह $(k>0)$ भी संभव है , अतीत की टिप्पणियों से भविष्य की स्थिति का अनुमान लगाना, या स्मूथिंग करना $(k<0)$, उस क्षण से पहले या बाद में किए गए अवलोकनों से पिछली स्थिति को पुनर्प्राप्त करना।

अधिक जटिल प्रश्न भी पूछे जा सकते हैं जैसा कि नीचे एचएमएम अनुभाग में दिखाया गया है।

बायेसियन फ़िल्टर $(k=0)$ इनमें बहुत ही रोचक पुनरावर्ती गुण होता है, जो उनके आकर्षण में बहुत योगदान देता है। $P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t}\right)$ से सरली से गणना की जा सकती है $P\left(S^{t-1}\mid O^{0}\wedge \cdots \wedge O^{t-1}\right)$ निम्नलिखित सूत्र के साथ:

${\begin{array}{ll}&P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t}\right)\\=&P\left(O^{t}|S^{t}\right)\times \sum _{S^{t-1}}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(S^{t-1}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\right]\end{array}}$

इस समीकरण के लिए और रोचक दृष्टिकोण यह विचार करना है कि इसके दो चरण हैं: a पूर्वानुमान चरण और अनुमान चरण:

• पूर्वानुमान चरण के समय, गतिशील मॉडल और पिछले क्षण में स्तर के अनुमान का उपयोग करके स्तर की पूर्वानुमान की जाती है:

${\begin{array}{ll}&P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\\=&\sum _{S^{t-1}}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(S^{t-1}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\right]\end{array}}$

• अनुमान चरण के समय, अंतिम अवलोकन का उपयोग करके पूर्वानुमान की या तो पुष्टि की जाती है या अमान्य:

${\begin{aligned}&P\left(S^{t}\mid O^{0}\wedge \cdots \wedge O^{t}\right)\\={}&P\left(O^{t}\mid S^{t}\right)\times P\left(S^{t}|O^{0}\wedge \cdots \wedge O^{t-1}\right)\end{aligned}}$

बायेसियन प्रोग्राम

$Pr{\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\cdots ,S^{T},O^{0},\cdots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}|\pi \right)\\=&P\left(S^{0}\wedge O^{0}\right)\times \prod _{t=1}^{T}\left[P\left(S^{t}|S^{t-1}\right)\times P\left(O^{t}|S^{t}\right)\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{0}\wedge O^{0}\right)\\P\left(S^{t}|S^{t-1}\right)\\P\left(O^{t}|S^{t}\right)\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\{\begin{cases}{\begin{array}{l}P\left(S^{t+k}|O^{0}\wedge \cdots \wedge O^{t}\right)\\\left(k=0\right)\equiv {\text{Filtering}}\\\left(k>0\right)\equiv {\text{Prediction}}\\\left(k<0\right)\equiv {\text{Smoothing}}\end{array}}\end{cases}}\end{cases}}$

कलमन फ़िल्टर

बहुत प्रसिद्ध कलमैन फ़िल्टर बायेसियन का विशेष स्थिति है.

इन्हें निम्नलिखित बायेसियन प्रोग्राम द्वारा परिभाषित किया गया है:

$Pr{\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\cdots ,S^{T},O^{0},\cdots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge O^{T}|\pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^{0}|\pi \right)\\\prod _{t=1}^{T}\left[P\left(S^{t}|S^{t-1}\wedge \pi \right)\times P\left(O^{t}|S^{t}\wedge \pi \right)\right]\end{array}}\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\equiv G\left(S^{t},A\bullet S^{t-1},Q\right)\\P\left(O^{t}\mid S^{t}\wedge \pi \right)\equiv G\left(O^{t},H\bullet S^{t},R\right)\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\P\left(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\end{cases}}$

• वेरिएबल निरंतर होते हैं.
• संक्रमण मॉडल $P(S^{t}\mid S^{t-1}\wedge \pi )$ और अवलोकन मॉडल $P(O^{t}\mid S^{t}\wedge \pi )$ दोनों को गॉसियन नियमो का उपयोग करके ऐसे साधनों के साथ निर्दिष्ट किया गया है जो कंडीशनिंग वेरिएबल के रैखिक कार्य हैं।

इन परिकल्पनाओं के साथ और पुनरावर्ती सूत्र का उपयोग करके, इसे हल करना संभव है सामान्य रूप से उत्तर देने के लिए विश्लेषणात्मक रूप से अनुमान समस्या $P(S^{T}\mid O^{0}\wedge \cdots \wedge O^{T}\wedge \pi )$ सवाल यह बेहद कुशल एल्गोरिदम की ओर ले जाता है, जो कलमन फिल्टर की लोकप्रियता और उनके अनुप्रयोगों की संख्या को बताता है।

जब कोई स्पष्ट रैखिक संक्रमण और अवलोकन मॉडल नहीं होते हैं, तब भी यह अधिकांशतः होता है

प्रथम-क्रम टेलर के विस्तार का उपयोग करके, इन मॉडलों को स्थानीय रूप से रैखिक माना जा सकता है। इस सामान्यीकरण को सामान्यतः विस्तारित कलमैन फ़िल्टर कहा जाता है।

हिडन मार्कोव मॉडल

हिडन मार्कोव मॉडल (एचएमएम) बायेसियन फिल्टर का और बहुत लोकप्रिय विशेषज्ञता है।

इन्हें निम्नलिखित बायेसियन प्रोग्राम द्वारा परिभाषित किया गया है:

$\Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:\\S^{0},\ldots ,S^{T},O^{0},\ldots ,O^{T}\\Dc:\\{\begin{cases}&P\left(S^{0}\wedge \cdots \wedge O^{T}\mid \pi \right)\\=&\left[{\begin{array}{c}P\left(S^{0}\wedge O^{0}\mid \pi \right)\\\prod _{t=1}^{T}\left[P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\times P\left(O^{t}\mid S^{t}\wedge \pi \right)\right]\end{array}}\right]\end{cases}}\\Fo:\\{\begin{cases}P\left(S^{0}\wedge O^{0}\mid \pi \right)\equiv {\text{Matrix}}\\P\left(S^{t}\mid S^{t-1}\wedge \pi \right)\equiv {\text{Matrix}}\\P\left(O^{t}\mid S^{t}\wedge \pi \right)\equiv {\text{Matrix}}\end{cases}}\end{cases}}\\Id\end{cases}}\\Qu:\\\max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]\end{cases}}$

• वेरिएबल को असतत माना जाता है।
• संक्रमण मॉडल $P\left(S^{t}\mid S^{t-1}\wedge \pi \right)$ और अवलोकन मॉडल $P\left(O^{t}\mid S^{t}\wedge \pi \right)$ हैं

दोनों को संभाव्यता आव्यूह का उपयोग करके निर्दिष्ट किया गया है।

• एचएमएम से सबसे अधिक बार पूछा जाने वाला प्रश्न है:

$\max _{S^{1}\wedge \cdots \wedge S^{T-1}}\left[P\left(S^{1}\wedge \cdots \wedge S^{T-1}\mid S^{T}\wedge O^{0}\wedge \cdots \wedge O^{T}\wedge \pi \right)\right]$

अतीत की टिप्पणियों को जानते हुए, वर्तमान स्थिति की ओर ले जाने वाली स्थितियों की सबसे संभावित श्रृंखला क्या है ?

इस विशेष प्रश्न का उत्तर विशिष्ट और बहुत कुशल एल्गोरिदम के साथ दिया जा सकता है विटर्बी एल्गोरिदम कहा जाता है।

एचएमएम के लिए बॉम-वेल्च एल्गोरिदम विकसित किया गया है.

अनुप्रयोग

शैक्षणिक अनुप्रयोग

2000 से, बायेसियन प्रोग्रामिंग का उपयोग रोबोटिक अनुप्रयोगों और जीवन विज्ञान मॉडल दोनों को विकसित करने के लिए किया गया है।

रोबोटिक्स

रोबोटिक्स में, बायेसियन प्रोग्रामिंग को स्वायत्त रोबोटिक्स पर प्रयुक्त किया गया था, रोबोटिक कंप्यूटर एडेड डिजाइन सिस्टम, उन्नत ड्राइवर-सहायता प्रणाली, रोबोटिक भुजा नियंत्रण, मोबाइल रोबोट, मानव-रोबोट संपर्क, मानव-वाहन संपर्क (बायेसियन स्वायत्त चालक मॉडल) वीडियो गेम अवतार प्रोग्रामिंग और प्रशिक्षण और वास्तविक समय रणनीति खेल (एआई) है।

जीवन विज्ञान

जीवन विज्ञान में, गति से आकार का पुनर्निर्माण करने के लिए दृष्टि में बायेसियन प्रोग्रामिंग का उपयोग किया गया था, विज़ुओ-वेस्टिबुलर इंटरैक्शन को मॉडल करने के लिए और सैकेड नेत्र गतिविधियों का अध्ययन करना; प्रारंभिक भाषण अधिग्रहण का अध्ययन करने के लिए भाषण धारणा और नियंत्रण में और कलात्मक-ध्वनिक प्रणालियों का उद्भव; और लिखावट धारणा और नियंत्रण को मॉडल प्रस्तुत करना है।

क्रम मान्यता

बायेसियन प्रोग्राम लर्निंग में भाषण मान्यता और संश्लेषण, इमेज मान्यता और प्राकृतिक लैंग्वेज प्रसंस्करण के संभावित अनुप्रयोग हैं। यह रचनाशीलता (भागों से अमूर्त अभ्यावेदन का निर्माण), कारणता (भागों से जटिलता का निर्माण) और सीखना (नई अवधारणाओं के निर्माण को सरल बनाने के लिए पहले से मान्यता प्राप्त अवधारणाओं का उपयोग करना) के सिद्धांतों को नियोजित करता है।

संभाव्यता सिद्धांत

संभाव्य दृष्टिकोण (न केवल बायेसियन प्रोग्रामिंग) और संभाव्यता सिद्धांतों के मध्य तुलना पर बहस जारी है।

संभाव्यता सिद्धांत जैसे, उदाहरण के लिए, फजी सेट,फजी लॉजिक और संभावना सिद्धांत मॉडल अनिश्चितता के लिए संभाव्यता के विकल्प हैं। उनका तर्क है कि अपूर्ण/अनिश्चित ज्ञान के कुछ तथ्यों को मॉडल करने के लिए संभाव्यता अपर्याप्त या असुविधाजनक है।

संभाव्यता की रक्षा मुख्य रूप से कॉक्स प्रमेय पर आधारित है, जो अनिश्चितता की उपस्थिति में तर्कसंगत तर्क से संबंधित चार अभिधारणाओं से प्रारंभ होती है। यह दर्शाता है कि एकमात्र गणितीय प्रारुप जो इन अभिधारणाओं को संतुष्ट करता है वह संभाव्यता सिद्धांत है। तर्क यह है कि संभाव्यता के अतिरिक्त कोई भी दृष्टिकोण आवश्यक रूप से इनमें से किसी अभिधारणा और उस उल्लंघन के मूल्य का उल्लंघन करता है।

संभाव्य प्रोग्रामिंग

संभाव्य संबंधपरक प्रोग्रामिंग लैंग्वेज का उद्देश्य जटिलता को एनकोड करने के लिए प्रोग्रामिंग लैंग्वेजेज की अभिव्यक्ति से लाभ उठाते हुए अनिश्चितता से निपटने के लिए संभाव्य मॉडलिंग (विशेष रूप से बायेसियन नेटवर्क) के साथ मौलिक प्रोग्रामिंग लैंग्वेजेज के सीमा को एकीकृत करना है।

विस्तारित मौलिक प्रोग्रामिंग लैंग्वेजेज में अपहरणात्मक तर्क प्रोग्रामिंग में प्रस्तावित तार्किक लैंग्वेजएं सम्मिलित हैं, स्वतंत्र विकल्प तर्क, प्रिज्म, और प्रोलॉग जो प्रोलॉग के विस्तार का प्रस्ताव करता है।

यह कार्यात्मक प्रोग्रामिंग (अनिवार्य रूप से लिस्प (प्रोग्रामिंग लैंग्वेज) और स्कीम (प्रोग्रामिंग लैंग्वेज)) जैसे आईबीएएल या चर्च का विस्तार भी हो सकता है। अंतर्निहित प्रोग्रामिंग लैंग्वेजएँ ब्लॉग और फ़ैक्टरी की तरह ऑब्जेक्ट-ओरिएंटेड हो सकती हैं या सीईएस और फिगारो की तरह अधिक मानक लैंग्वेजएँ हो सकती हैं। बायेसियन प्रोग्रामिंग का उद्देश्य अलग है। जेन्स के तर्क के रूप में संभाव्यता के सिद्धांत का तर्क है कि संभाव्यता तर्क का विस्तार और विकल्प है जिसके ऊपर तर्कसंगतता, गणना और प्रोग्रामिंग का पूरा सिद्धांत फिर से बनाया जा सकता है। बायेसियन प्रोग्रामिंग मौलिक लैंग्वेजेज को संभाव्यता पर आधारित प्रोग्रामिंग दृष्टिकोण से बदलने का प्रयास करती है जो पूर्णता (तर्क) और अनिश्चितता मात्रा निर्धारण पर विचार करती है।

यह भी देखें

• बेयस नियम
• बायेसियन अनुमान
• बायेसियन संभावना
• बायेसियन स्पैम फ़िल्टरिंग
• विश्वास प्रचार
• कॉक्स प्रमेय
• कारक ग्राफ
• ग्राफिकल मॉडल
• हिडन मार्कोव मॉडल
• यहूदिया पर्ल
• कलमैन फ़िल्टर
• नाइव बेयस क्लासिफायरियर
• पियरे-साइमन डी लाप्लास
• संभाव्य तर्क
• संभाव्य प्रोग्रामिंग भाषा
• व्यक्तिपरक तर्क

अग्रिम पठन

• Kamel Mekhnacha (2013). Bayesian Programming. Chapman and Hall/CRC. doi:10.1201/b16111. ISBN 978-1-4398-8032-6.

बाहरी संबंध

• A companion site to the Bayesian programming book where to download ProBT an inference engine dedicated to Bayesian programming.
• The Bayesian-programming.org site Archived 2013-11-23 at archive.today for the promotion of Bayesian programming with detailed information and numerous publications.