संभाव्य अंक

संभाव्य अंकगणित एक सक्रिय अध्ययन का क्षेत्र है, जो गणना में अनिश्चितता की अवधारणा पर केंद्रित अनुप्रयुक्त गणित, सांख्यिकी और यंत्र अधिगम के अंतरा प्रतिच्छेदन पर आधारित है। संभाव्य संख्यात्मक में, संख्यात्मक विश्लेषण में फलन जैसे संख्यात्मक समाकलन के लिए संख्यात्मक समाधान ढूढ़ना, संख्यात्मक रैखिक बीजगणित, संख्यात्मक अनुकूलन और कंप्यूटर अनुरूपण को सांख्यिकीय, प्रायिकतात्मकता या बायेसियन अनुमान की समस्याओं के रूप में देखा जाता है।^[1]^[2]^[3]^[4]^[5]

परिचय

एक संख्यात्मक विधि एक कलन विधि है जो एक गणितीय समस्या के समाधान का अनुमान लगाती है (नीचे दिए गए उदाहरणों में एक रेखीय बीजगणित (रैखिक प्रणाली) का समाधान, एक समाकलन का मान, एक सामान्य अवकलन समीकरणों का समाधान, एक बहुभिन्नरूपी फलन का अनुकूलन सम्मिलित है) एक संभाव्य संख्यात्मक कलन विधि में, सन्निकटन की इस प्रक्रिया को अनुमान और बायेसियन अनुमान (अधिकांशतः, लेकिन सदैव नहीं, बायेसियन अनुमान) के ढांचे में महसूस किया जाता है और अनुमान या सीखने की समस्या के रूप में माना जाता है।^[6]

औपचारिक रूप से, इसका तात्पर्य यह है कि पूर्व संभाव्य के संदर्भ में संगणनात्मक समस्या का सेटअप करना, कंप्यूटर द्वारा गणना की गई संख्याओं के बीच संबंध तैयार करना (उदाहरण के लिए रैखिक बीजगणित में आव्यूह -सदिश गुणन, अनुकूलन में अनुप्रवण , समाकलित के मूल्य या सदिश क्षेत्र को परिभाषित करना) एक विभेदक समीकरण) और प्रश्न में मात्रा (रैखिक समस्या का समाधान, न्यूनतम, अभिन्न, समाधान वक्र) एक संभाव्य फलन में, और आउटपुट के रूप में एक पश्च वितरण वापस करता है। ज्यादातर स्थितियों में, संख्यात्मक कलन विधि आंतरिक अनुकूली निर्णय भी लेते हैं कि किन संख्याओं की गणना की जाए, जो एक सक्रिय शिक्षण (मशीन अधिगम) समस्या का निर्माण करती हैं।

संभाव्य ढांचे में सबसे प्रचलित पारम्परिक संख्यात्मक कलन विधि में से कई की फिर से व्याख्या की जा सकती है। इसमें संयुग्म ढाल विधि की विधि ,^[7]^[8]^[9]रैखिक मल्टीस्टेप विधि, गाऊसी चतुर्भुज नियम,^[10] और अर्ध-न्यूटन विधियाँ सम्मिलित है।^[11] इन सभी स्थितियों में, पारम्परिक विधि एक नियमित न्यूनतम वर्गों पर आधारित है। कम से कम वर्ग अनुमान है कि एक गॉसियन प्रक्रिया से पहले और संभाव्य से उत्पन्न होने वाले पश्च माध्य से जुड़ा हो सकता है। संभाव्य संख्यात्मक रेखीय बीजगणित रूटीनों को गॉसियन प्रक्रियाओं को बड़े डेटासेट में स्केल करने के लिए सफलतापूर्वक लागू किया गया है। ऐसे स्थितियों में, गॉसियन पोस्टीरियर का प्रसरण चुकता त्रुटि के लिए सर्वाधिक बुरा स्थिति का अनुमान तब एक सर्वश्रेष्ठ, सर्वाधिक बुरा और औसत स्थितियों से जुड़ा होता है।

संभाव्य संख्यात्मक पद्धतियाँ पारम्परिक, बिंदु-अनुमान आधारित सन्निकटन तकनीकों पर कई वैचारिक लाभों का वादा करती हैं:

वे संरचित त्रुटि अनुमान (विशेष रूप से, संयुक्त पश्च नमूनों को वापस करने की क्षमता, अर्थात समस्या के सही अज्ञात समाधान के लिए कई यथार्थवादी परिकल्पनाएं) वापस करते हैं।
पदानुक्रमित बायेसियन अनुमान का उपयोग प्रत्येक पैरामीटर के लिए उपन्यास विधियों का पुन: आविष्कार करने के अतिरिक्त, सामान्य तरीके से आंतरिक हाइपरपैरामीटर को सेट और नियंत्रित करने के लिए किया जा सकता है।
चूँकि वे परिकलित संख्याओं और लक्ष्य मात्रा के बीच संबंध का वर्णन करने वाली स्पष्ट संभाव्य का उपयोग करते हैं और अनुमति देते हैं, संभाव्य संख्यात्मक विधियाँ अत्यधिक सटीक, पक्षपाती और प्रसंभाव्य संगणनाओं के परिणामों का उपयोग कर सकती हैं।^[12] इसके विपरीत, संभावना-मुक्त कहीं और संभाव्य संख्यात्मक विधियाँ संगणनाओं में एक संभाव्य भी प्रदान कर सकती हैं जिन्हें अधिकांशतः अनुमानित बायेसियन संगणना माना जाता है। ^[13]
क्योंकि सभी संभाव्य संख्यात्मक विधियां अनिवार्य रूप से एक ही डेटा प्रकार - प्रायिकतात्मकता उपायों का उपयोग करती हैं - इनपुट और आउटपुट दोनों पर अनिश्चितता को मापने के लिए उन्हें बड़े पैमाने पर, समग्र कंप्यूटेशंस में अनिश्चितता फैलाने के लिए एक साथ जोड़ा जा सकता है।
सूचना के कई स्रोतों से स्रोत (उदाहरण के लिए बीजगणितीय, अवकलन समीकरण के रूप के बारे में यंत्रवत ज्ञान, और भौतिक दुनिया में एकत्रित प्रणाली के प्रक्षेपवक्र के अवलोकन) को स्वाभाविक रूप से और कलन विधि के आंतरिक लूप के अंदर जोड़ा जा सकता है, अन्यथा संगणना में आवश्यक नेस्टेड लूप, विपरीत समस्याओं में हटा दिया जा सकता है।^[14]

ये लाभ अनिवार्य रूप से समान कार्यात्मक लाभों के समतुल्य हैं जो बायेसियन विधियों को मशीन अधिगम में बिंदु-अनुमानों पर लागू या संगणनात्मक अनुक्षेत्र में स्थानांतरित करने का आनंद लेते हैं।

संख्यात्मक कार्य

एकीकरण

गौसियन प्रक्रिया के साथ बायेसियन चतुर्भुज पर सशर्त

n=0,3,\ {\text{and}}\ 8

समाकलित का मूल्यांकन (काले रंग में दिखाया गया है)। बाएं स्तंभ में छायांकित क्षेत्र सीमांत मानक विचलन दर्शाते हैं। सही आंकड़ा पूर्व दिखाता है (

n=0

) और पीछे (

n=3,8

) समाकल के मान के साथ-साथ वास्तविक समाधान पर गाऊसी वितरण।

संभाव्य संख्यात्मक विधियों को संख्यात्मक समाकलन की समस्या के लिए विकसित किया गया है, जिसमें बायेसियन चतुर्भुज नामक सबसे प्रचलित विधि है।^[15]^[16]^[17]^[18] संख्यात्मक समाकलन में, फलन मूल्यांकन $f(x_{1}),\ldots ,f(x_{n})$ कई बिंदुओं पर $x_{1},\ldots ,x_{n}$ अभिन्न का अनुमान लगाने के लिए उपयोग किया जाता है किसी फलन $\textstyle \int f(x)\nu (dx)$ एक $f$ किसी उपाय के विरुद्ध $\nu$ . बायेसियन चतुर्भुज में एक पूर्व वितरण को निर्दिष्ट करना सम्मिलित है $f$ और इससे पहले कंडीशनिंग करें $f(x_{1}),\ldots ,f(x_{n})$ एक पश्च वितरण प्राप्त करने के लिए $f$ , फिर निहित पश्च वितरण की गणना करना $\textstyle \int f(x)\nu (dx)$ . प्रायर का सबसे साधारण विकल्प एक गाऊसी प्रक्रिया है क्योंकि यह हमें समाकलन पर एक क्लोज-फॉर्म पोस्टीरियर विभाजन प्राप्त करने की अनुमति देता है जो कि एक अविभाज्य गॉसियन विभाजन है। फलन $f$ करते समय बायेसियन चतुर्भुज विशेष रूप से उपयोगी होता है मूल्यांकन करना महंगा है और डेटा का आयाम छोटा से मध्यम है।

अनुकूलन

गॉसियन प्रक्रियाओं (बैंगनी) के साथ एक फलन (काला) का बायेसियन अनुकूलन। तीन अधिग्रहण फलन (नीला) नीचे दिखाए गए हैं।^[19]

गणितीय अनुकूलन के लिए संभाव्य अंकगणित का भी अध्ययन किया गया है, जिसमें कुछ उद्देश्य फलन $f$ दिए गए (संभवतः शोर या अप्रत्यक्ष) बिंदुओं के एक सेट पर उस फलन का मूल्यांकन का न्यूनतम या अधिकतम पता लगाना सम्मिलित है।

अनुमानतः इस दिशा में सबसे उल्लेखनीय प्रयास बायेसियन अनुकूलन है,^[20] अनुकूलन के लिए एक सामान्य दृष्टिकोण बायेसियन अनुमान पर आधारित है। बायेसियन अनुकूलीकरण कलन विधि के बारे में एक संभाव्य विश्वास बनाए रखते हुए काम करते हैं $f$ अनुकूलन प्रक्रिया के समय; यह अधिकांशतः एक गाऊसी प्रक्रिया का रूप ले लेता है जो पहले प्रेक्षणों पर आधारित होती है। संभाव्य संख्यात्मक पद्धतियाँ पारम्परिक, बिंदु-अनुमान आधारित सन्निकटन तकनीकों पर कई वैचारिक लाभों का वादा करती हैं। यह विश्वास तब कलन विधि को अवलोकन प्राप्त करने में मार्गदर्शन करता है जो अनुकूलन प्रक्रिया को आगे बढ़ाने की संभाव्य रखते हैं। बायेसियन अनुकूलीकरण नीतियों को सामान्यतः उद्देश्य फलन को एक सस्ती, अलग-अलग अधिग्रहण फलन में परिवर्तित करके महसूस किया जाता है जो प्रत्येक क्रमिक अवलोकन स्थान का चयन करने के लिए अधिकतम होता है। एक प्रमुख दृष्टिकोण बायेसियन प्रयोगात्मक डिजाइन के माध्यम से मॉडल अनुकूलन के लिए है, जो एक उपयुक्त उपयोगिता फलन द्वारा मूल्यांकन के रूप में सबसे अधिक अनुकूलन प्रगति प्रदान करने वाले अवलोकनों का अनुक्रम प्राप्त करने की मांग कर रहा है। इस दृष्टिकोण से एक स्वागत योग्य पक्ष प्रभाव यह है कि अंतर्निहित संभाव्य विश्वास द्वारा मापी गई वस्तुनिष्ठ फलन में अनिश्चितता पारम्परिक मल्टी-आर्म्ड बैंडिट है |अन्वेषण बनाम शोषण ट्रेडऑफ़ को संबोधित करने में एक अनुकूलन नीति का मार्गदर्शन कर सकती है।

स्थानीय अनुकूलन

गहरी अध्ययन के लिए स्टोचैस्टिक अनुकूलन के संदर्भ में संभाव्य संख्यात्मक विधियों का विकास किया गया है, विशेष रूप से मुख्य सन्दर्भ जैसे कि सीखने की दर ट्यूनिंग और लाइन खोज,^[21] बैच-आकार चयन,^[22] जल्दी रुकना,^[23] छंटाई,^[24] और प्रथम- और द्वितीय-क्रम खोज निर्देश इत्यादि।^[25]^[26]

इस सेटिंग में, अनुकूलन उद्देश्य अधिकांशतः फॉर्म का अनुभवजन्य जोखिम न्यूनीकरण होता है। $\textstyle L(\theta )={\frac {1}{N}}\sum _{n=1}^{N}\ell (y_{n},f_{\theta }(x_{n}))$ एक डेटासेट द्वारा परिभाषित $\textstyle {\mathcal {D}}=\{(x_{n},y_{n})\}_{n=1}^{N}$ , और एक नुकसान $\ell (y,f_{\theta }(x))$ यह परिमाणित करता है कि एक पूर्वानुमानित मॉडल कितना अच्छा है $f_{\theta }(x)$ द्वारा पैरामीटर किया गया $\theta$ लक्ष्य की भविष्यवाणी करने पर प्रदर्शन करता है $y$ इसके संगत इनपुट से $x$ प्रदर्शन करता है।

महामारी संबंधी अनिश्चितता तब उत्पन्न होती है जब डेटासेट का आकार $N$ बड़ा है और एक बार में संसाधित नहीं किया जा सकता है जिसका अर्थ है कि स्थानीय मात्राएँ (कुछ दी गई हैं $\theta$ ) जैसे हानि फलन $L(\theta )$ स्वयं या उसकी ढाल $\nabla L(\theta )$ उचित समय में गणना नहीं की जा सकती।

इसलिए, सामान्यतः डेटा के एक यादृच्छिक सबसेट पर इन मात्राओं के अनुमानक के निर्माण के लिए मिनी-बैचिंग का उपयोग किया जाता है। संभाव्य ढांचे में सबसे प्रचलित पारम्परिक संख्यात्मक कलन विधि में से कई की फिर से व्याख्या की जा सकती है। संभाव्य संख्यात्मक तरीके इस अनिश्चितता को स्पष्ट रूप से मॉडल करते हैं और स्वचालित निर्णय और पैरामीटर ट्यूनिंग की अनुमति देते हैं।

रेखीय बीजगणित

रैखिक बीजगणित के लिए संभाव्य संख्यात्मक तरीके^[7]^[8]^[27]^[9]^[28]^[29] मुख्य रूप से फॉर्म के रैखिक समीकरणों $Ax=b$ और निर्धारकों की गणना $|A|$ की प्रणालियों को हल करने पर ध्यान केंद्रित किया है।^[30]^[31]

600x400पीएक्स

विधियों का एक बड़ा वर्ग प्रकृति में पुनरावृत्त है और बार-बार आव्यूह -सदिश गुणन के माध्यम से हल करने के लिए $v\mapsto Av$ सिस्टम आव्यूह के साथ $A$ विभिन्न सदिश के साथ $v$ . रैखिक प्रणाली के बारे में जानकारी एकत्र करता है।

इस तरह के तरीकों को सामान्यतः समाधान में विभाजित किया जा सकता है-^[8]^[28]और एक आव्यूह आधारित परिप्रेक्ष्य,^[7]^[9]इस पर निर्भर करता है कि समाधान पर विश्वास व्यक्त किया गया है या नहीं $x$ आव्यूह $H=A^{\dagger }$ .के रैखिक प्रणाली या (छद्म-) व्युत्क्रम है।

विश्वास अद्यतन उपयोग करता है कि अनुमानित वस्तु आव्यूह $y=Av$ या $z=A^{\intercal }v$ के जरिए $b^{\intercal }z=x^{\intercal }v$ और $v=A^{-1}y$ . गुणा से जुड़ी हुई है।

समस्या की रैखिक टिप्पणियों के तहत इसकी निकटता के कारण, तरीके सामान्यतः एक गॉसियन वितरण मानते हैं। वैचारिक रूप से भिन्न होने के अतिरिक्त , ये $x=A^{-1}b$ दो विचार संगणनात्मक रूप से समतुल्य हैं और स्वाभाविक रूप से दाहिने हाथ की ओर से जुड़े हुए हैं। ^[27]

संभाव्य संख्यात्मक रेखीय बीजगणित रूटीनों को गॉसियन प्रक्रियाओं को बड़े डेटासेट में स्केल करने के लिए सफलतापूर्वक लागू किया गया है। यह नमूना किए जा सकने वाले अवकलन समीकरण के समाधान पर एक प्रायिकतात्मकता माप को परिभाषित करता है। ^[31]^[32] विशेष रूप से, वे सटीक एक संयुक्त गाऊसी प्रक्रिया पश्च में सन्निकटन त्रुटि के प्रसार को सक्षम करते हैं, जो देखे गए परिमित डेटा संख्या और दोनों से उत्पन्न होने वाली अनिश्चितता की मात्रा निर्धारित करता है। संगणना की सीमित मात्रा व्यय की गई है।^[32]

साधारण अवकलन समीकरण

320x118पीएक्स

साधारण अवकलन समीकरण के लिए संभाव्य संख्यात्मक तरीके ${\dot {y}}(t)=f(t,y(t))$ , प्रारंभिक और सीमा मूल्य समस्याओं के लिए विकसित किए गए हैं। साधारण अवकलन समीकरणों के लिए डिज़ाइन किए गए कई अलग-अलग संभाव्य संख्यात्मक तरीके प्रस्तावित किए गए हैं, और इन्हें सामान्यतः निम्नलिखित दो श्रेणियों में बांटा जा सकता है:

रैंडमाइजेशन-आधारित विधियों को साधारण अवकलन समीकरणों के लिए मानक नियतात्मक संख्यात्मक विधियों के यादृच्छिक गड़बड़ी के माध्यम से परिभाषित किया गया है। उदाहरण के लिए, यह एक-चरण इंटीग्रेटर्स के समाधान पर गॉसियन उलझन जोड़कर उपलब्ध किया गया है^[33] या बेतरतीब ढंग से उनके समय-कदम को परेशान करके उपलब्ध किया गया है।^[34] यह नमूना किए जा सकने वाले अवकलन समीकरण के समाधान पर एक प्रायिकतात्मकता माप को परिभाषित करता है।
गॉसियन प्रक्रिया प्रतिगमन विधियाँ गौसियन प्रक्रिया प्रतिगमन समस्या के रूप में अवकलन समीकरण को हल करने की समस्या को प्रस्तुत करने पर आधारित हैं, व्युत्पन्न पर डेटा के रूप में दाईं ओर के मूल्यांकन की व्याख्या^[35]. ये तकनीक बायेसियन क्यूबचर से मिलती-जुलती हैं, लेकिन अलग-अलग और अधिकांशतः गैर-रैखिक अवलोकन मॉडल को नियोजित करती हैं^[36]^[37]. अपनी प्रारंभिक अवस्था में, विधियों का यह वर्ग भोली गाऊसी प्रक्रिया प्रतिगमन पर आधारित था। गॉस के पक्ष में बाद में इसमें सुधार किया गया (कुशल संगणना के संदर्भ में)।–मार्कोव प्राथमिकताएं^[38]^[39] स्टोचैस्टिक अवकलन समीकरण द्वारा मॉडलिंग की गई $\mathrm {d} x(t)=Ax(t)\,\mathrm {d} t+B\,\mathrm {d} v(t)$ , जहाँ $x(t)$ एक है $\nu$ -आयामी सदिश मॉडलिंग पहले $\nu$ के डेरिवेटिव $y(t)$ , और जहाँ $v(t)$ एक है $\nu$ -आयामी ब्राउनियन गति। इस प्रकार कलमन फ़िल्टर आधारित विधियों के साथ अनुमान को कुशलतापूर्वक लागू किया जा सकता है।

इन दो श्रेणियों के बीच की सीमा स्पष्ट नहीं है, वास्तव में यादृच्छिक डेटा के आधार पर एक गाऊसी प्रक्रिया प्रतिगमन दृष्टिकोण भी विकसित किया गया था^[40]. संगणनात्मक रीमैनियन ज्यामिति में समस्याओं के लिए इन विधियों को लागू किया गया है^[41], व्युत्क्रम समस्याएं, अव्यक्त बल मॉडल, और एक ज्यामितीय संरचना जैसे कि सहानुभूति के साथ अवकलन समीकरणों के लिए इन विधियों को लागू किया गया है।

आंशिक अवकलन समीकरण

आंशिक अवकल समीकरणों के लिए कई संभाव्य संख्यात्मक विधियों को भी प्रस्तावित किया गया है। सल्दिन के दृष्टिकोण को बाद में माइक लार्किन ने बढ़ाया था। साधारण अवकलन समीकरणों की तरह, दृष्टिकोणों को सामान्यतः यादृच्छिकीकरण के आधार पर विभाजित किया जा सकता है, सामान्यतः कुछ अंतर्निहित परिमित-तत्व जाल के^[33]^[42] और जो गाऊसी प्रक्रिया प्रतिगमन पर आधारित हैं।^[4]^[3]^[43]^[44]

आंशिक अवकल समीकरण को हल करना सीखना। एक समस्या-विशिष्ट गाऊसी प्रक्रिया पूर्व

u

अनिश्चित सीमा स्थितियों (बीसी) और एक रैखिक पीडीई के साथ-साथ प्रयोग से शोर भौतिक मापों द्वारा दी गई आंशिक रूप से ज्ञात भौतिकी पर वातानुकूलित है। सीमा की स्थिति और पीडीई के दाहिने हाथ की ओर ज्ञात नहीं है, लेकिन शोर-दूषित माप के एक छोटे से सेट से अनुमान लगाया गया है। प्लॉट विश्वास को अलग करते हैं

u\mid \cdots

सच्चे समाधान के साथ

u^{\star }

अव्यक्त सीमा मान समस्या।^[44]

गॉसियन प्रक्रिया प्रतिगमन पर आधारित संभाव्य संख्यात्मक पीडीई सॉल्वर कुछ पुरोहितों के लिए रैखिक पीडीई पर पारम्परिक तरीकों को पुनर्प्राप्त करते हैं, विशेष रूप से माध्य भारित अवशेषों के तरीकों में, जिसमें गैलेर्किन विधियाँ, परिमित तत्व विधियाँ, साथ ही वर्णक्रमीय विधियाँ सम्मिलित हैं।^[44]

इतिहास और संबंधित क्षेत्र

संख्यात्मक विश्लेषण और प्रायिकतात्मकता के बीच परस्पर क्रिया को गणित के कई अन्य क्षेत्रों द्वारा स्पर्श किया जाता है, जिसमें संख्यात्मक विधियों का औसत-केस विश्लेषण, सूचना-आधारित जटिलता, खेल सिद्धांत और सांख्यिकीय निर्णय सिद्धांत सम्मिलित हैं। जिसे अब संभाव्य अंक कहा जा रहा है, उसके पूर्ववर्ती 19वीं सदी के अंत और 20वीं सदी की प्रारम्भ में पाए जा सकते हैं।

संभाव्य संख्या की उत्पत्ति हेनरी पॉइनकेयर द्वारा उनके कैलकुल डेस संभाव्य में बहुपद प्रक्षेप के लिए संभाव्य दृष्टिकोण की चर्चा के लिए खोजी जा सकती है।^[45]

आधुनिक शब्दावली में, पॉइंकेयर ने एक फलन $f\colon \mathbb {R} \to \mathbb {R}$ पर एक गॉसियन उपाय माना, यादृच्छिक गुणांकों के साथ एक औपचारिक शक्ति श्रृंखला के रूप में व्यक्त किया गया, और यह पहले दिया $f(x)$ के संभावित मूल्यों के लिए $n\in \mathbb {N}$ टिप्पणियों $f(a_{i})=B_{i}$ के लिए $i=1,\dots ,n$ . कहा। इस प्रकार, निश्चित अभिन्न $\textstyle \int u(t)\,\mathrm {d} t$ एक वास्तविक-मूल्यवान गाऊसी यादृच्छिक चर है।

संख्यात्मक विश्लेषण और प्रायिकतात्मकता के परस्पर क्रिया के लिए बाद में मौलिक योगदान अल्बर्ट सल्दिन द्वारा अविभाजित संख्यात्मक समाकलन के संदर्भ में प्रदान किया गया था।^[46] सुल्डिन द्वारा विचार की गई सांख्यिकीय समस्या निश्चित अभिन्न का सन्निकटन थी $\textstyle \int u(t)\,\mathrm {d} t$ एक फलन का $u\colon [a,b]\to \mathbb {R}$ , इससे पहले एक ब्राउनियन गति के तहत $u$ , के बिंदुवार मूल्यांकन तक पहुंच प्रदान की गई $u$ नोड्स पर $t_{1},\dots ,t_{n}\in [a,b]$ . सुल्डिन ने दिखाया कि, दिए गए चतुर्भुज नोड्स के लिए, न्यूनतम माध्य वर्ग त्रुटि वाला चतुर्भुज नियम समलम्बाकार नियम है; इसके अतिरिक्त , यह न्यूनतम त्रुटि इंटर-नोड स्पेसिंग के क्यूब्स के योग के समानुपाती होती है। परिणाम स्वरुप , कोई समलम्बाकार नियम को समान दूरी वाले नोड्स के साथ कुछ अर्थों में सांख्यिकीय रूप से इष्टतम के रूप में देख सकता है - एक संख्यात्मक पद्धति के औसत-केस विश्लेषण का एक प्रारंभिक उदाहरण है।

सल्दिन के दृष्टिकोण को बाद में माइक लार्किन ने बढ़ाया था।^[47]

ध्यान दें कि समाकलित से पहले सुल्डिन की ब्राउनियन गति $u$ एक गॉसियन उपाय है और यह समाकलन के संचालन और बिंदुवार मूल्यांकन का है $u$ दोनों रेखीय मानचित्र हैं।

इस प्रकार, निश्चित अभिन्न $\textstyle \int u(t)\,\mathrm {d} t$ एक वास्तविक-मूल्यवान गाऊसी यादृच्छिक चर है।

विशेष रूप से, के देखे गए बिंदुवार मूल्यों पर कंडीशनिंग के बाद $u$ , यह ट्रैपेज़ॉइडल नियम के बराबर माध्य $\textstyle {\frac {1}{12}}\sum _{i=2}^{n}(t_{i}-t_{i-1})^{3}$ और समान विचरण के साथ एक सामान्य वितरण का अनुसरण करता है।

यह दृष्टिकोण बायेसियन चतुष्कोण के बहुत करीब है, न केवल एक बिंदु अनुमान के रूप में बल्कि अपने आप में प्रायिकतात्मकता वितरण के रूप में एक द्विघात पद्धति के उत्पादन को देखते हुए बायेसियन चतुष्कोण के बहुत करीब है।

जैसा कि ओव्हाडी और सहयोगियों ने उल्लेख किया है,^[3]^[48] संख्यात्मक सन्निकटन और सांख्यिकीय अनुमान के बीच परस्पर क्रियाओं को पलास्ती और रेनी में भी देखा जा सकता है,^[49] सार्ड,^[50] किमेलडॉर्फ और वाहबा^[51] (बेयसियन अनुमान और तख़्ता चौरसाई/प्रक्षेप के बीच पत्राचार पर) और लार्किन^[47](गाऊसी प्रक्रिया प्रतिगमन और संख्यात्मक सन्निकटन के बीच पत्राचार पर)। जिसे अब संभाव्य अंक कहा जा रहा है, उसके पूर्ववर्ती 19वीं सदी के अंत और 20वीं सदी की प्रारम्भ में पाए जा सकते हैं।यद्यपि एक यादृच्छिक प्रक्रिया से एक नमूने के रूप में एक पूरी तरह से ज्ञात फलन को मॉडलिंग करने का दृष्टिकोण उल्टा लग सकता है, इसे समझने के लिए एक प्राकृतिक ढांचा सूचना-आधारित जटिलता (आईबीसी) में पाया जा सकता है।^[52] संगणनात्मक जटिलता की शाखा इस अवलोकन पर आधारित है कि संख्यात्मक कार्यान्वयन के लिए आंशिक जानकारी और सीमित संसाधनों के साथ संगणना की आवश्यकता होती है। आईबीसी में, अधूरी जानकारी पर काम करने वाले एक कलन विधि के प्रदर्शन का सर्वाधिक बुरा स्थिति या औसत-स्थितियों (यादृच्छिक) सेटिंग में लापता जानकारी के संबंध में विश्लेषण किया जा सकता है। इसके अतिरिक्त, पैकेल के रूप में^[53] देखा गया है, औसत केस सेटिंग को मिश्रित (यादृच्छिक) रणनीतियों पर न्यूनतम अधिकतम समस्या के लिए एक (सर्वाधिक बुरा स्थिति) न्यूनतम समस्या को उठाकर प्राप्त एक प्रतिकूल खेल में मिश्रित रणनीति के रूप में व्याख्या की जा सकती है। यह अवलोकन एक प्राकृतिक संबंध की ओर ले जाता है^[54]^[3]संख्यात्मक सन्निकटन और अब्राहम वाल्ड के बीच वाल्ड का निर्णय सिद्धांत, स्पष्ट रूप से जॉन वॉन न्यूमैन वॉन न्यूमैन के खेल सिद्धांत से प्रभावित है। इस संबन्ध का वर्णन करने के लिए मिशेली और रिवलिन की इष्टतम पुनर्प्राप्ति सेटिंग पर विचार करें^[55] जिसमें कोई उस फलन पर रैखिक मापों की सीमित संख्या से अज्ञात फलन को अनुमानित करने का प्रयास करता है। इस इष्टतम पुनर्प्राप्ति समस्या को एक शून्य-राशि वाले खेल के रूप में व्याख्या करते हुए जहां खिलाड़ी I अज्ञात फलन का चयन करता है और खिलाड़ी II इसके सन्निकटन का चयन करता है, और नुकसान को परिभाषित करने के लिए द्विघात मानदंड में सापेक्ष त्रुटियों का उपयोग करते हुए, गॉसियन पुजारी उभर कर आते हैं^[3] इस तरह के खेलों के लिए इष्टतम मिश्रित रणनीतियों के रूप में, और इष्टतम गॉसियन पूर्व के सहप्रसरण ऑपरेटर को पुनर्प्राप्ति की सापेक्ष त्रुटि को परिभाषित करने के लिए उपयोग किए जाने वाले द्विघात मानदंड द्वारा निर्धारित किया जाता है।

सॉफ्टवेयर

ProbNum: पायथन में संभाव्य अंक।
ProbNumDiffEq.jl: जूलिया में कार्यान्वित फ़िल्टरिंग पर आधारित संभाव्य संख्यात्मक ओडीई सॉल्वर।
Emukit: अनिश्चितता के तहत निर्णय लेने के लिए अनुकूलन योग्य पायथन टूलबॉक्स।
Backpack: पाइटोरच के ऊपर निर्मित। यह अनुप्रवण के अतिरिक्त अन्य मात्राओं की कुशलता से गणना करता है।

यह भी देखें

औसत-स्थितियों का विश्लेषण
सूचना-आधारित जटिलता
अनिश्चितता मात्रा का ठहराव

संदर्भ

↑ Hennig, P.; Osborne, M. A.; Kersting, H. P. (2022). Probabilistic Numerics (PDF). Cambridge University Press. ISBN 978-1107163447.
↑ Oates, C. J.; Sullivan, T. J. (2019). "A modern retrospective on probabilistic numerics". Stat. Comput. 29 (6): 1335–1351. arXiv:1901.04457. doi:10.1007/s11222-019-09902-z. S2CID 67885786.
↑ ^3.0 ^3.1 ^3.2 ^3.3 ^3.4 Owhadi, Houman; Scovel, Clint (2019). Operator-Adapted Wavelets, Fast Solvers, and Numerical Homogenization: From a Game Theoretic Approach to Numerical Approximation and Algorithm Design. Cambridge Monographs on Applied and Computational Mathematics. Cambridge: Cambridge University Press. ISBN 978-1-108-48436-7.
↑ ^4.0 ^4.1 Owhadi, Houman (2015). "बायेसियन न्यूमेरिकल होमोजेनाइजेशन". Multiscale Modeling & Simulation. 13 (3): 812–828. doi:10.1137/140974596. ISSN 1540-3459. S2CID 7245255.
↑ Hennig, P.; Osborne, M. A.; Girolami, M. (2015). "Probabilistic numerics and uncertainty in computations". Proc. A. 471 (2179): 20150142, 17. arXiv:1506.01326. Bibcode:2015RSPSA.47150142H. doi:10.1098/rspa.2015.0142. PMC 4528661. PMID 26346321.
↑ Cockayne, J.; Oates, C. J.; Sullivan, T. J.; Girolami, M. (2019). "Bayesian probabilistic numerical methods" (PDF). SIAM Review. 61 (4): 756–789. doi:10.1137/17M1139357. S2CID 14696405.
↑ ^7.0 ^7.1 ^7.2 Hennig, P. (2015). "Probabilistic interpretation of linear solvers". SIAM Journal on Optimization. 25 (1): 2347–260. arXiv:1402.2058. doi:10.1137/140955501. S2CID 16121233.
↑ ^8.0 ^8.1 ^8.2 Cockayne, J.; Oates, C.; Ipsen, I.; Girolami, M. (2019). "A Bayesian conjugate gradient method". Bayesian Analysis. International Society for Bayesian Analysis. 14 (3): 937–1012. doi:10.1214/19-BA1145. S2CID 12460125.
↑ ^9.0 ^9.1 ^9.2 ^9.3 Wenger, J.; Hennig, P. (2020). Probabilistic Linear Solvers for Machine Learning. Advances in Neural Information Processing Systems (NeurIPS). Vol. 33. pp. 6731–6742. arXiv:2010.09691.
↑ Karvonen, Toni; Särkkä, Simo (2017). Classical quadrature rules via Gaussian processes. 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing (MLSP).
↑ Hennig, Philipp; Kiefel, Martin (2013). "Quasi-Newton methods: A new direction". Journal of Machine Learning Research (JMLR). 14 (1): 843–865. arXiv:1206.4602.
↑ Maren Mahsereci; Philipp Hennig (2015). Probabilistic line searches for stochastic optimization. Advances in Neural Information Processing Systems (NeurIPS).
↑ Hans Kersting; Nicholas Krämer; Martin Schiegg; Christian Daniel; Michael Tiemann; Philipp Hennig (2020). Differentiable Likelihoods for Fast Inversion of 'Likelihood-Free' Dynamical Systems. International Conference on Machine Learning (ICML).
↑ Schmidt, Jonathan; Krämer, Peter Nicholas; Hennig, Philipp (2021). A Probabilistic State Space Model for Joint Inference from Differential Equations and Data. Advances in Neural Information Processing Systems (NeurIPS).
↑ Diaconis, P. (1988). "Bayesian Numerical Analysis". Statistical Decision Theory and Related Topics IV: 163–175. doi:10.1007/978-1-4613-8768-8_20. ISBN 978-1-4613-8770-1.
↑ O'Hagan, A. (1991). "Bayes–Hermite quadrature". Journal of Statistical Planning and Inference. 29 (3): 245–260. doi:10.1016/0378-3758(91)90002-V.
↑ Rasmussen, C.; Ghahramani, Z. (2002). "Bayesian Monte Carlo" (PDF). Neural Information Processing Systems: 489–496.
↑ Briol, F.-X.; Oates, C. J.; Girolami, M.; Osborne, M. A.; Sejdinovic, D. (2019). "Probabilistic integration: A role in statistical computation? (with discussion and rejoinder)". Statistical Science. 34 (1): 1–22. arXiv:1512.00933. doi:10.1214/18-STS660. S2CID 13932715.
↑ Wilson, Samuel (2019-11-22), ParBayesianOptimization R package, retrieved 2019-12-12
↑ Garnett, Roman (2021). बायेसियन अनुकूलन. Cambridge: Cambridge University Press.
↑ Mahsereci, M.; Hennig, P. (2017). "Probabilistic Line Searches for Stochastic Optimization". Journal of Machine Learning Research. 18 (119): 1–59.
↑ Balles, L.; Romero, J.; Hennig, H. (2017). "Coupling Adaptive Batch Sizes with Learning Rates" (PDF). Proceedings of the 33rd Conference on Uncertainty in Artificial Intelligence (UAI). arXiv:1612.05086.
↑ Mahsereci, M.; Balles, L.; Lassner, C.; Hennig, H. (2021). "Early Stopping without a Validation Set". arXiv:1703.09580 [cs.LG].
↑ Siems J. N.; Klein A.; Archambeau C.; Mahsereci, M. (2021). "Dynamic Pruning of a Neural Network via Gradient Signal-to-Noise Ratio". 8th ICML Workshop on Automated Machine Learning (AutoML).
↑ Mahsereci, Maren (2018). "Chapter 8: First-Order Filter for Gradients; chapter 9: Second-Order Filter for Hessian Elements". Probabilistic Approaches to Stochastic Optimization (Thesis). Universität Tübingen. doi:10.15496/publikation-26116.
↑ Balles, L.; Hennig, H. (2018). "Dissecting Adam: The Sign, Magnitude and Variance of Stochastic Gradients". Proceedings of the 35th International Conference on Machine Learning: 404–413. arXiv:1705.07774.
↑ ^27.0 ^27.1 Bartels, S.; Cockayne, J.; Ipsen, I.; Hennig, P. (2019). "Probabilistic linear solvers: a unifying view". Statistics and Computing. Springer. 29 (6): 1249–1263. doi:10.1007/s11222-019-09897-7. S2CID 53571618.
↑ ^28.0 ^28.1 Cockayne, J.; Ipsen, I.; Oates, C.; Reid, T. (2021). "Probabilistic iterative methods for linear systems" (PDF). Journal of Machine Learning Research. 22 (232): 1–34. arXiv:2012.12615.
↑ Schäfer, Florian; Katzfuss, Matthias; Owhadi, Houman (2021). "Sparse Cholesky Factorization by Kullback–Leibler Minimization". SIAM Journal on Scientific Computing. 43 (3): A2019–A2046. arXiv:2004.14455. Bibcode:2021SJSC...43A2019S. doi:10.1137/20M1336254. ISSN 1064-8275. S2CID 216914317.
↑ Bartels, Simon (2020). "Probabilistic Kernel-Matrix Determinant Estimation". Probabilistic Linear Algebra (Thesis). doi:10.15496/publikation-56119.
↑ ^31.0 ^31.1 Wenger, J.; Pleiss, G.; Hennig, P.; Cunningham, J. P.; Gardner, J. R. (2022). Preconditioning for Scalable Gaussian Process Hyperparameter Optimization. International Conference on Machine Learning (ICML). arXiv:2107.00243.
↑ ^32.0 ^32.1 Wenger, J.; Pförtner, M.; Hennig, P.; Cunningham, J. P. (2022). Posterior and Computational Uncertainty in Gaussian Processes. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.15449.
↑ ^33.0 ^33.1 ^33.2 Conrad, P.R.; Girolami, M.; Särkkä, S.; Stuart, A.M.; Zygalakis, K. (2017). "Statistical analysis of differential equations: introducing probability measures on numerical solutions". Stat. Comput. 27 (4): 1065–1082. doi:10.1007/s11222-016-9671-0. PMC 7089645. PMID 32226237.{{cite journal}}: CS1 maint: multiple names: authors list (link)
↑ Abdulle, A.; Garegnani, G. (2020). "Random time step probabilistic methods for uncertainty quantification in chaotic and geometric numerical integration". Stat. Comput. 30 (4): 907–932. arXiv:1801.01340. doi:10.1007/s11222-020-09926-w. S2CID 42880142.{{cite journal}}: CS1 maint: multiple names: authors list (link)
↑ Skilling, J. (1992). Bayesian solution of ordinary differential equations. Maximum Entropy and Bayesian Methods. pp. 23–37.
↑ Tronarp, F.; Kersting, H.; Särkkä, S.; Hennig, P (2019). "Probabilistic solutions to ordinary differential equations as nonlinear Bayesian filtering: a new perspective". Statistics and Computing. 29 (6): 1297–1315. doi:10.1007/s11222-019-09900-1. S2CID 88517317.
↑ Tronarp, F.; Särkkä, S.; Hennig, P. (2021). "Bayesian ODE solvers: The maximum a posteriori estimate". Statistics and Computing. 31 (3): 1–18. doi:10.1007/s11222-021-09993-7. S2CID 214774980.
↑ Kersting, H.; Hennig, P. (2016). Active Uncertainty Calibration in Bayesian ODE Solvers. Uncertainty in Artificial Intelligence. pp. 309–318.
↑ Schober, M.; Särkkä, S.; Hennig, P (2019). "A probabilistic model for the numerical solution of initial value problems". Statistics and Computing. 29 (1): 99–122. doi:10.1007/s11222-017-9798-7. S2CID 14299420.
↑ Chkrebtii, O.; Campbell, D. A.; Calderhead, B.; Girolami, M. A. (2016). "Bayesian solution uncertainty quantification for differential equations". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. S2CID 14077995.
↑ Hennig, P.; Hauberg, S. (2014). Probabilistic solutions to differential equations and their application to Riemannian statistics. Artificial Intelligence and Statistics. pp. 347–355.
↑ Abdulle, A.; Garegnani, G. (2021). "A probabilistic finite element method based on random meshes: A posteriori error estimators and Bayesian inverse problems". Comput. Methods Appl. Mech. Engrg. 384: 113961. arXiv:2103.06204. Bibcode:2021CMAME.384k3961A. doi:10.1016/j.cma.2021.113961. S2CID 232170649.{{cite journal}}: CS1 maint: multiple names: authors list (link)
↑ Chkrebtii, Oksana A.; Campbell, David A.; Calderhead, Ben; Girolami, Mark A. (2016). "विभेदक समीकरणों के लिए बायेसियन समाधान अनिश्चितता मात्रा". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. ISSN 1936-0975. S2CID 14077995.
↑ ^44.0 ^44.1 ^44.2 Pförtner, M.; Steinwart, I.; Hennig, P.; Wenger, J. (2022). "भौतिकी-सूचित गाऊसी प्रक्रिया प्रतिगमन रैखिक पीडीई सॉल्वर का सामान्यीकरण करता है". arXiv:2212.12474 [cs.LG].
↑ Poincaré, Henri (1912). Calcul des Probabilités (second ed.). Gauthier-Villars.
↑ Suldin, A. V. (1959). "Wiener measure and its applications to approximation methods. I". Izv. Vysš. Učebn. Zaved. Matematika. 6 (13): 145–158.
↑ ^47.0 ^47.1 Larkin, F. M. (1972). "Gaussian measure in Hilbert space and applications in numerical analysis". Rocky Mountain J. Math. 2 (3): 379–421. doi:10.1216/RMJ-1972-2-3-379.
↑ Owhadi, Houman; Scovel, Clint; Schäfer, Florian (2019). "Statistical Numerical Approximation". Notices of the American Mathematical Society. 66 (10): 1608–1617. doi:10.1090/noti1963. S2CID 204830421.
↑ Palasti, I.; Renyi, A (1956). "On interpolation theory and the theory of games". MTA Mat. Kat. Int. Kozl. 1: 529–540.
↑ Sard, A. (1963). Linear Approximation. Mathematical Surveys and Monographs. Vol. 9. American Mathematical Society. doi:10.1090/surv/009. ISBN 9780821815090.
↑ Kimeldorf, George S.; Wahba, Grace (1970). "A correspondence between Bayesian estimation on stochastic processes and smoothing by splines". Ann. Math. Statist. 41 (2): 495–502. doi:10.1214/aoms/1177697089.
↑ Traub, J. F.; Wasilkowski, G. W.; Woźniakowski, H. (1988). Information-Based Complexity. Computer Science and Scientific Computing. Boston, MA: Academic Press, Inc. ISBN 0-12-697545-0.{{cite book}}: CS1 maint: multiple names: authors list (link)
↑ Packel, Edward W. (1987). "The algorithm designer versus nature: a game-theoretic approach to information-based complexity". J. Complexity. 3 (3): 244–257. doi:10.1016/0885-064X(87)90014-8.
↑ Owhadi, H. (2017). "किसी न किसी गुणांक के साथ मल्टीग्रिड और पदानुक्रमित सूचना गेम से बहु-रिज़ॉल्यूशन ऑपरेटर अपघटन". SIAM Review. 59 (1): 99–149. doi:10.1137/15M1013894. S2CID 5877877.
↑ Micchelli, C. A.; Rivlin, T. J. (1977). "A survey of optimal recovery". Optimal estimation in approximation theory (Proc. Internat. Sympos., Freudenstadt, 1976. pp. 1–54. doi:10.1007/978-1-4684-2388-4_1.

[HennigOsborneKersting2022-1] Hennig, P.; Osborne, M. A.; Kersting, H. P. (2022). Probabilistic Numerics (PDF). Cambridge University Press. ISBN 978-1107163447.

[OatesSullivan2019-2] Oates, C. J.; Sullivan, T. J. (2019). "A modern retrospective on probabilistic numerics". Stat. Comput. 29 (6): 1335–1351. arXiv:1901.04457. doi:10.1007/s11222-019-09902-z. S2CID 67885786.

[:1-3] 3.0 ^3.1 ^3.2 ^3.3 ^3.4 Owhadi, Houman; Scovel, Clint (2019). Operator-Adapted Wavelets, Fast Solvers, and Numerical Homogenization: From a Game Theoretic Approach to Numerical Approximation and Algorithm Design. Cambridge Monographs on Applied and Computational Mathematics. Cambridge: Cambridge University Press. ISBN 978-1-108-48436-7.

[Owhadi2015-4] 4.0 ^4.1 Owhadi, Houman (2015). "बायेसियन न्यूमेरिकल होमोजेनाइजेशन". Multiscale Modeling & Simulation. 13 (3): 812–828. doi:10.1137/140974596. ISSN 1540-3459. S2CID 7245255.

[HennigOsborneGirolami2015-5] Hennig, P.; Osborne, M. A.; Girolami, M. (2015). "Probabilistic numerics and uncertainty in computations". Proc. A. 471 (2179): 20150142, 17. arXiv:1506.01326. Bibcode:2015RSPSA.47150142H. doi:10.1098/rspa.2015.0142. PMC 4528661. PMID 26346321.

[6] Cockayne, J.; Oates, C. J.; Sullivan, T. J.; Girolami, M. (2019). "Bayesian probabilistic numerical methods" (PDF). SIAM Review. 61 (4): 756–789. doi:10.1137/17M1139357. S2CID 14696405.

[Hennig2015PLS-7] 7.0 ^7.1 ^7.2 Hennig, P. (2015). "Probabilistic interpretation of linear solvers". SIAM Journal on Optimization. 25 (1): 2347–260. arXiv:1402.2058. doi:10.1137/140955501. S2CID 16121233.

[Cockayne2019bayescg-8] 8.0 ^8.1 ^8.2 Cockayne, J.; Oates, C.; Ipsen, I.; Girolami, M. (2019). "A Bayesian conjugate gradient method". Bayesian Analysis. International Society for Bayesian Analysis. 14 (3): 937–1012. doi:10.1214/19-BA1145. S2CID 12460125.

[Wenger2020problinsolve-9] 9.0 ^9.1 ^9.2 ^9.3 Wenger, J.; Hennig, P. (2020). Probabilistic Linear Solvers for Machine Learning. Advances in Neural Information Processing Systems (NeurIPS). Vol. 33. pp. 6731–6742. arXiv:2010.09691.

[KarvonenSarkka2017-10] Karvonen, Toni; Särkkä, Simo (2017). Classical quadrature rules via Gaussian processes. 2017 IEEE 27th International Workshop on Machine Learning for Signal Processing (MLSP).

[hennigkiefel13-11] Hennig, Philipp; Kiefel, Martin (2013). "Quasi-Newton methods: A new direction". Journal of Machine Learning Research (JMLR). 14 (1): 843–865. arXiv:1206.4602.

[Mahsereci2015-12] Maren Mahsereci; Philipp Hennig (2015). Probabilistic line searches for stochastic optimization. Advances in Neural Information Processing Systems (NeurIPS).

[Kerstingetal2020-13] Hans Kersting; Nicholas Krämer; Martin Schiegg; Christian Daniel; Michael Tiemann; Philipp Hennig (2020). Differentiable Likelihoods for Fast Inversion of 'Likelihood-Free' Dynamical Systems. International Conference on Machine Learning (ICML).

[SchmidtKramerHennig2021-14] Schmidt, Jonathan; Krämer, Peter Nicholas; Hennig, Philipp (2021). A Probabilistic State Space Model for Joint Inference from Differential Equations and Data. Advances in Neural Information Processing Systems (NeurIPS).

[Diaconis1988-15] Diaconis, P. (1988). "Bayesian Numerical Analysis". Statistical Decision Theory and Related Topics IV: 163–175. doi:10.1007/978-1-4613-8768-8_20. ISBN 978-1-4613-8770-1.

[OHagan1991-16] O'Hagan, A. (1991). "Bayes–Hermite quadrature". Journal of Statistical Planning and Inference. 29 (3): 245–260. doi:10.1016/0378-3758(91)90002-V.

[Rasmussen2002BMC-17] Rasmussen, C.; Ghahramani, Z. (2002). "Bayesian Monte Carlo" (PDF). Neural Information Processing Systems: 489–496.

[Briol2019-18] Briol, F.-X.; Oates, C. J.; Girolami, M.; Osborne, M. A.; Sejdinovic, D. (2019). "Probabilistic integration: A role in statistical computation? (with discussion and rejoinder)". Statistical Science. 34 (1): 1–22. arXiv:1512.00933. doi:10.1214/18-STS660. S2CID 13932715.

[19] Wilson, Samuel (2019-11-22), ParBayesianOptimization R package, retrieved 2019-12-12

[garnett_bayesopt_2022-20] Garnett, Roman (2021). बायेसियन अनुकूलन. Cambridge: Cambridge University Press.

[Mahsereci2017-21] Mahsereci, M.; Hennig, P. (2017). "Probabilistic Line Searches for Stochastic Optimization". Journal of Machine Learning Research. 18 (119): 1–59.

[balles2017coupling-22] Balles, L.; Romero, J.; Hennig, H. (2017). "Coupling Adaptive Batch Sizes with Learning Rates" (PDF). Proceedings of the 33rd Conference on Uncertainty in Artificial Intelligence (UAI). arXiv:1612.05086.

[mahsereci2017early-23] Mahsereci, M.; Balles, L.; Lassner, C.; Hennig, H. (2021). "Early Stopping without a Validation Set". arXiv:1703.09580 [cs.LG].

[Siems21-24] Siems J. N.; Klein A.; Archambeau C.; Mahsereci, M. (2021). "Dynamic Pruning of a Neural Network via Gradient Signal-to-Noise Ratio". 8th ICML Workshop on Automated Machine Learning (AutoML).

[mahsereci2018thesis-25] Mahsereci, Maren (2018). "Chapter 8: First-Order Filter for Gradients; chapter 9: Second-Order Filter for Hessian Elements". Probabilistic Approaches to Stochastic Optimization (Thesis). Universität Tübingen. doi:10.15496/publikation-26116.

[balles2018sign-26] Balles, L.; Hennig, H. (2018). "Dissecting Adam: The Sign, Magnitude and Variance of Stochastic Gradients". Proceedings of the 35th International Conference on Machine Learning: 404–413. arXiv:1705.07774.

[Bartels2019unifying-27] 27.0 ^27.1 Bartels, S.; Cockayne, J.; Ipsen, I.; Hennig, P. (2019). "Probabilistic linear solvers: a unifying view". Statistics and Computing. Springer. 29 (6): 1249–1263. doi:10.1007/s11222-019-09897-7. S2CID 53571618.

[Cockayne2021iterative-28] 28.0 ^28.1 Cockayne, J.; Ipsen, I.; Oates, C.; Reid, T. (2021). "Probabilistic iterative methods for linear systems" (PDF). Journal of Machine Learning Research. 22 (232): 1–34. arXiv:2012.12615.

[29] Schäfer, Florian; Katzfuss, Matthias; Owhadi, Houman (2021). "Sparse Cholesky Factorization by Kullback–Leibler Minimization". SIAM Journal on Scientific Computing. 43 (3): A2019–A2046. arXiv:2004.14455. Bibcode:2021SJSC...43A2019S. doi:10.1137/20M1336254. ISSN 1064-8275. S2CID 216914317.

[bartels2020thesis-30] Bartels, Simon (2020). "Probabilistic Kernel-Matrix Determinant Estimation". Probabilistic Linear Algebra (Thesis). doi:10.15496/publikation-56119.

[wenger2022precondgp-31] 31.0 ^31.1 Wenger, J.; Pleiss, G.; Hennig, P.; Cunningham, J. P.; Gardner, J. R. (2022). Preconditioning for Scalable Gaussian Process Hyperparameter Optimization. International Conference on Machine Learning (ICML). arXiv:2107.00243.

[Wenger2022computationaluncertainty-32] 32.0 ^32.1 Wenger, J.; Pförtner, M.; Hennig, P.; Cunningham, J. P. (2022). Posterior and Computational Uncertainty in Gaussian Processes. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.15449.

[Conrad2016-33] 33.0 ^33.1 ^33.2 Conrad, P.R.; Girolami, M.; Särkkä, S.; Stuart, A.M.; Zygalakis, K. (2017). "Statistical analysis of differential equations: introducing probability measures on numerical solutions". Stat. Comput. 27 (4): 1065–1082. doi:10.1007/s11222-016-9671-0. PMC 7089645. PMID 32226237.{{cite journal}}: CS1 maint: multiple names: authors list (link)

[Abdulle2020-34] Abdulle, A.; Garegnani, G. (2020). "Random time step probabilistic methods for uncertainty quantification in chaotic and geometric numerical integration". Stat. Comput. 30 (4): 907–932. arXiv:1801.01340. doi:10.1007/s11222-020-09926-w. S2CID 42880142.{{cite journal}}: CS1 maint: multiple names: authors list (link)

[35] Skilling, J. (1992). Bayesian solution of ordinary differential equations. Maximum Entropy and Bayesian Methods. pp. 23–37.

[36] Tronarp, F.; Kersting, H.; Särkkä, S.; Hennig, P (2019). "Probabilistic solutions to ordinary differential equations as nonlinear Bayesian filtering: a new perspective". Statistics and Computing. 29 (6): 1297–1315. doi:10.1007/s11222-019-09900-1. S2CID 88517317.

[37] Tronarp, F.; Särkkä, S.; Hennig, P. (2021). "Bayesian ODE solvers: The maximum a posteriori estimate". Statistics and Computing. 31 (3): 1–18. doi:10.1007/s11222-021-09993-7. S2CID 214774980.

[38] Kersting, H.; Hennig, P. (2016). Active Uncertainty Calibration in Bayesian ODE Solvers. Uncertainty in Artificial Intelligence. pp. 309–318.

[39] Schober, M.; Särkkä, S.; Hennig, P (2019). "A probabilistic model for the numerical solution of initial value problems". Statistics and Computing. 29 (1): 99–122. doi:10.1007/s11222-017-9798-7. S2CID 14299420.

[40] Chkrebtii, O.; Campbell, D. A.; Calderhead, B.; Girolami, M. A. (2016). "Bayesian solution uncertainty quantification for differential equations". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. S2CID 14077995.

[41] Hennig, P.; Hauberg, S. (2014). Probabilistic solutions to differential equations and their application to Riemannian statistics. Artificial Intelligence and Statistics. pp. 347–355.

[Abdulle2021-42] Abdulle, A.; Garegnani, G. (2021). "A probabilistic finite element method based on random meshes: A posteriori error estimators and Bayesian inverse problems". Comput. Methods Appl. Mech. Engrg. 384: 113961. arXiv:2103.06204. Bibcode:2021CMAME.384k3961A. doi:10.1016/j.cma.2021.113961. S2CID 232170649.{{cite journal}}: CS1 maint: multiple names: authors list (link)

[43] Chkrebtii, Oksana A.; Campbell, David A.; Calderhead, Ben; Girolami, Mark A. (2016). "विभेदक समीकरणों के लिए बायेसियन समाधान अनिश्चितता मात्रा". Bayesian Analysis. 11 (4): 1239–1267. doi:10.1214/16-BA1017. ISSN 1936-0975. S2CID 14077995.

[Pförtner2022linpde-44] 44.0 ^44.1 ^44.2 Pförtner, M.; Steinwart, I.; Hennig, P.; Wenger, J. (2022). "भौतिकी-सूचित गाऊसी प्रक्रिया प्रतिगमन रैखिक पीडीई सॉल्वर का सामान्यीकरण करता है". arXiv:2212.12474 [cs.LG].

[Poincare1912-45] Poincaré, Henri (1912). Calcul des Probabilités (second ed.). Gauthier-Villars.

[Suldin1959-46] Suldin, A. V. (1959). "Wiener measure and its applications to approximation methods. I". Izv. Vysš. Učebn. Zaved. Matematika. 6 (13): 145–158.

[Larkin1972-47] 47.0 ^47.1 Larkin, F. M. (1972). "Gaussian measure in Hilbert space and applications in numerical analysis". Rocky Mountain J. Math. 2 (3): 379–421. doi:10.1216/RMJ-1972-2-3-379.

[48] Owhadi, Houman; Scovel, Clint; Schäfer, Florian (2019). "Statistical Numerical Approximation". Notices of the American Mathematical Society. 66 (10): 1608–1617. doi:10.1090/noti1963. S2CID 204830421.

[PalastiRenyi1956-49] Palasti, I.; Renyi, A (1956). "On interpolation theory and the theory of games". MTA Mat. Kat. Int. Kozl. 1: 529–540.

[Sard1963-50] Sard, A. (1963). Linear Approximation. Mathematical Surveys and Monographs. Vol. 9. American Mathematical Society. doi:10.1090/surv/009. ISBN 9780821815090.

[KimeldorfWahba1970-51] Kimeldorf, George S.; Wahba, Grace (1970). "A correspondence between Bayesian estimation on stochastic processes and smoothing by splines". Ann. Math. Statist. 41 (2): 495–502. doi:10.1214/aoms/1177697089.

[TraubWasilkowskiWozniakowski1988-52] Traub, J. F.; Wasilkowski, G. W.; Woźniakowski, H. (1988). Information-Based Complexity. Computer Science and Scientific Computing. Boston, MA: Academic Press, Inc. ISBN 0-12-697545-0.{{cite book}}: CS1 maint: multiple names: authors list (link)

[Packel1987-53] Packel, Edward W. (1987). "The algorithm designer versus nature: a game-theoretic approach to information-based complexity". J. Complexity. 3 (3): 244–257. doi:10.1016/0885-064X(87)90014-8.

[:2-54] Owhadi, H. (2017). "किसी न किसी गुणांक के साथ मल्टीग्रिड और पदानुक्रमित सूचना गेम से बहु-रिज़ॉल्यूशन ऑपरेटर अपघटन". SIAM Review. 59 (1): 99–149. doi:10.1137/15M1013894. S2CID 5877877.

[55] Micchelli, C. A.; Rivlin, T. J. (1977). "A survey of optimal recovery". Optimal estimation in approximation theory (Proc. Internat. Sympos., Freudenstadt, 1976. pp. 1–54. doi:10.1007/978-1-4684-2388-4_1.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

[45]

[46]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]

[55]

Anonymous

Search

संभाव्य अंक

Namespaces

More

Page actions

Contents

परिचय

संख्यात्मक कार्य

एकीकरण

अनुकूलन

स्थानीय अनुकूलन

रेखीय बीजगणित

साधारण अवकलन समीकरण

आंशिक अवकलन समीकरण

इतिहास और संबंधित क्षेत्र

सॉफ्टवेयर

यह भी देखें

संदर्भ

Navigation

Navigation

Wiki tools

Wiki tools

Anonymous

Search

संभाव्य अंक

परिचय

संख्यात्मक कार्य

एकीकरण

अनुकूलन

स्थानीय अनुकूलन

रेखीय बीजगणित

साधारण अवकलन समीकरण

आंशिक अवकलन समीकरण

इतिहास और संबंधित क्षेत्र

सॉफ्टवेयर

यह भी देखें

संदर्भ

Navigation

Wiki tools

Page tools

Other projects

Categories