सभी शक्ति पीठ पीठों में माता सती के शरीर का कोई ना कोई अंग स्थित होता है, अतः गुह्येश्वरी मंदिर में माता के दोनों घुटने गिरे होने के कारण यह श्री गुह्येश्वरी शक्तिपीठ कहलाया जाता है। यह मंदिर गुह्येश्वरी (गुप्त ईश्वरी) को समर्पित है, देवी को गुह्यकाली भी कहा जाता है। गुह्येश्वरी शक्तिपीठ के भैरव कपाली हैं।

नेपाल के प्रसिद्ध श्री पशुपतिनाथ मन्दिर दर्शन से पहले माता गुह्येश्वरी के दर्शन करना अनिवार्य माना जाता है। इस परंपरा का पालन वहाँ के शाही परिवार के सदस्यों द्वारा अभी भी किया जाता है। अर्थात पहले गुह्येश्वरी मंदिर की पूजा की जाती है उसके उपरांत ही अन्य मंदिरों के दर्शन किए जाते हैं।  यह हिंदू और विशेष रूप से तांत्रिक उपासकों के लिए एक महत्वपूर्ण तीर्थ स्थल है। गर्भग्रह की लगभग सभी मूर्तियां सोने एवं चांदी से बनी हुई हैं। मंदिर के गर्भगृह में एक छिद्र है। ये पूरी तरह से प्राकृतिक है। इस छिद्र से जल की धारा बहती रहती है। ये चांदी के कलश से ढंका हुआ है। 

श्री पशुपतिनाथ मंदिर ही की तरह, भारतीय एवं तिब्बती मूल के हिंदुओं तथा बौद्धों को ही मुख्य मंदिर में प्रवेश की अनुमति है। पूजा-आरती के दौरान उपयोग किए जाने वाले कई वाद्य यंत्र राजा राणा बहादुर द्वारा भेंट स्वरूप दिए गए थे।

मंदिर की वास्तुकला भूटानी पगोडा वास्तुकला शैली में बनाई गई है। प्रसिद्ध मृगस्थली वन के निकट एवं बागमती नदी के तट पर स्थित होने के कारण गुह्येश्वरी मंदिर का वातावरण हरियाली एवं फूलों से सजाया गया लगता है। अगर आप श्री गुह्येश्वरी शक्तिपीठ से वन के रास्ते श्री पशुपतिनाथ मन्दिर जा रहे हैं तो, रास्ते में आने वाले शरारती बानरों से थोड़ा सावधान रहें।

दशईं एवं नवरात्रि यहाँ मनाए जाने वाले प्रमुख त्यौहार हैं, श्री पशुपतिनाथ मन्दिर निकट होने के कारण शिवरात्रि एवं सोमवार के दिन यहाँ भी अत्यधिक श्रद्धालु दर्शन हेतु आते हैं।