Robots.txt File: दोस्तो आज की इस Post में आप लोग जानेंगे कि Robots.txt File Kya Hai और Robots.txt File Kaise Banaye in Hindi इसके बाद Robots.txt File को अपने Blogger Blog या Website पर कैसे Add करेंगे पूरी जानकारी हिंदी में दी जाएगी तो आइये जानते है।


Robots.txt File क्या है? और Robots.txt File कैसे बनाये? पूरी जानकारी हिंदी में 2020

Robots.txt file एक छोटा सा Text फ़ाइल होता है जो आपके साइट के Root folder में रहता है। यह Search Engine Bots को बताता है कि साइट के किस भाग को Crawl और Index करना है और साइट के किस भाग को Crawl नहीं। करना है।

आपने बहोत बार देखा होगा या फिर आपके साथ हो रहा होगा कि आप अपने Blog/Website के Tag, Category या फिर Label को Google में Index नही करवाना चाहते लेकिन फिर भी Google Search Engine में Index हो जाते है। 

और कभी - कभी तो ऐसा हो जाता है कि हम अपने Article/Post को Google में Index करना चाहते है पर वो Index नही होता है। अगर आपके भी article या post google में index नही हो रहे है तो आपके Robots.txt की वजह से ही हो सकता है।


इसे भी पढ़े- 150+ Free High DA PA Directory Submission Websites list in 2020

इसे भी पढ़े- SEO Friendly Premium Blogger Templates Free Download - AdSense Responsive 2020


Robots.txt क्या है? (What is Robots.txt)

Robot.txt File क्या है? जैसे कि मैंने ऊपर बताया Robots.txt File एक छोटी सी Text File होती है जो Root Folder में रहता है। ये File छोटी जरूर होती है लेकिन इसका काम बहोत बड़ा है। Robots.txt File एक Robot कि तरह होती है जो हम कमांड देते हैं वैसा ही काम करता है। वैसे ही जब आप अपने ब्लॉग पर कोई New Post Publish या Post को Update करते है।

तो Robots.txt File Search Engine को बताता है कि आज आपने यह Post New Publish की गई है या Update की गई है। जिससे Search Engine आपके Post को Index करके अपने Search Result में दिखाता है। अभी तो आपको Robots.txt Flie के बारे पता चल ही चुका है कि इसका काम क्या होता है। अभी भी आपको बहोत कुछ जानने की जरूरत है।


जैसे कि Robots.txt File कैसी होती है, Robots.txt Flie कैसे बनाते है और Robots.txt File को Blogger में कैसे Add करे। तो आइए आज बढ़ते है और जानते है इसके फायदे क्या है और अगर Robots.txt File Add नही की तो क्या होगा।



Robots.txt File क्या है?

Robots.txt File एक Text File है, इस Text File में हम जो लिखते है या लिखा होता है Google Search Engine वही करता है।

उदाहरण (Example)- अगर आप अपने Blog/Website के Tag, Category, Label को Search Engine में Index नही करना चाहते है तो आप Robots.txt में इनको Disallow कर देंगे जिस से की Search Engine को पता चल जाता है कि किस चीज़ को Index करना है और किसे नही।


इसे भी पढ़े- Instant Approval High DA PA DoFollow Backlink Site List 2020

इसे भी पढ़े- How to Add link in Blogspot Blog Comment for Backlink in hindi



Robots.txt Website के लिए क्यो जरूरी है

जब भी Search Engine के Crawler हमारी Blog या Website पर आते Post/Articles को Crawl या Index करने, तो वो सबसे पहले Robots.txt को देखता है। और जो कुछ भी Robots.txt पर लिखा होता है उसे Follow करता है।

अगर आपके Blog/Website पर Robots.txt File नही मिलेगा तो Search Engine के Crawler आपके Site से सभी चीज़े Index कर लेंगे जो आप नही दिखाना चाहते, जो Index नही होना चाहिए और Google Search Console में Error आ जाते है जिससे आपको काफी problem हो सकती है।

जिससे आपके साइट की Rank नही होती और हो सकता है आपकी साइट को google search engine से भी निकाल दिया जाए। इस लिए ये Robots.txt File को Blogger में Add करना बहोत जरूरी होता है।


Robots.Txt को Blogger में Add करने का फायदा

Blogger में Robots.txt को Add करना बहोत जरूरी होता है, और इससे आपको बहोत फायदे मिलते है जो की आप नीचे पढ़ सकते है-
  • आप लोग Robots.txt से Search Engine को बता सकते है कि वो आपके ब्लॉग कि कोन - कोन सी चीजें Index करे और कोन - कोन सी चीजें Index न करें।
  • आप अपने Website के Duplicate File या Page को Noindex करा सकते है।
  • आप अपने वेबसाइट की Category, Tags, Author Page और Comments को Noindex करा सकते है।
  • आप अगर कुछ File, PDF, Image इत्यादि को Index नही करना चाहते है।
  • आप इसे अपनी वेबसाइट को Secure कर सकते है।
  • Internal Search Results Pages को आप Index नही करना चाहते हैं।
  • आप Robots.txt File में Sitemap Add करके किसी भी पोस्ट को Search Engine में जल्द Index करा सकते है।
  • आप इससे Low Quality Page block करके अपनी वेबसाइट का SEO कर सकते है।
  • आप इससे किसी भी Secure File, Page को Noindex करा सकते हैं।

Robots.Txt File कैसी होती है

आपने अगर Robots.txt File नही बनाया है तो आपको जल्दी से जल्दी बना बना लेना चाहिए, क्योंकि आपके Blog/Website के लिए ये बहोत ही ज्यादा जरूरी है। अगर आप इसे अपने ब्लॉग पर नही लगाएंगे तो आपको काफी परेशानियों का सामना करना पड़ सकता है।

Rotobs.txt file बनाने के लिए आपको Internet पर बहोत सारी websit मिल जाएगी जिनपर आपको अपने ब्लॉग का url डालना पड़ता है और वो आपको Robots.txt बना कर दे देती है। जो कि कुछ इस तरह की दिखाई देती है-


User-agent: Mediapartners-Google
Disallow:
User-agent:
Disallow: /search
Allow: /
Sitemap: https://www.techonly99.xyz/sitemap.xml




Robots.txt File कैसे बनाये

अगर आपको Robots.Txt कैसे बनाते है नही पता तो आप tension मत लीजिये। मैं आपको बताउगा की आप कैसे बनायेगे और कैसे अपने ब्लॉग पर लगायेगे। आपको मैं ये code दे दूँगा जिसे आप copy कर के अपने ब्लॉग पर लगा सकते है।

Robots.Txt File Code


आपको इस Code को Copy कर लेना है, और जहा पर https://www.techonly99.xyz लिखा हुआ है उसकी जगह पर आपको अपने Blog/Website के Home Page का Url (link) लगा देना है। आपका Robots.txt File बन जाएगा। अब आइये इस Code Syntax के बारे जानते है।

Robots.txt के Syntax का मतलब क्या है

Robots.txt के जो Syntax है उनके बारे में आपको समझ लेना चाहिए ये आपको बहोत काम आएंगे।

User - agent: Mediapartners - Google : आप इसके द्वारा Google AdSense के Code को User से छिपा सकते है।

User - agent : यह Code आपकी वेबसाइट पर आने वाले User के लिए है कि वो आपकी वेबसाइट पर क्या क्या देख सकते है और क्या क्या नहीं देख सकते है आप इसे हमेशा Disallow ही रहने दें क्युकी यह आपकी वेबसाइट के Security के लिए बहुत जरूरी है।

Disallow: /search : अगर आप अपने पोस्ट के Keyword को नहीं दिखाना चाहते है तो आप इसे हमेशा Disallow ही रखे और अगर आप
  • अपने किसी पोस्ट को Google Search में नहीं दिखाना चाहते है तो उस पोस्ट के URL को यहां Paste करके उसको आप Disallow कर सकते है जिससे Search Engine उसको Index नहीं करेगा और वो Search Results में नहीं दिखेगा।
  • यहां पर आप किसी भी Post, Page के URL को Paste करके उसे Disallow कर सकते है और Google उसको Index नहीं करेगा।

Allow : इससे आप User को जो दिखना चाहते है वो दिखा सकते है और इसे आप हमेशा Allow ही रहने दें क्युकी यह Search Engine को Index करने की अनुमति देता है।

Sitemap : Sitemap आपके ब्लॉग कि नई पोस्ट कि जानकारी Search Engine को देता है जिससे Search Engine उसे जल्द Index करके अपने Search Results में दिखाता है।
Sitemap इसके अलावा यह भी बताता है कि आपकी वेबसाइट पर कितनी पोस्ट अभी तक Publish हुई है।

इसे भी पढ़े- (Free) Keyword Research Kaise Kare | 2020 Step By Step पूरी जानकारी हिंदी में

इसे भी पढ़े- कितने Post Publish करने के बाद Adsense के लिए Apply करना चाहिए? 2020

Website में Robots.txt File है कि नहीं कैसे पता करें

Robots.txt File Root Folder में रहता है। इसे आप अपने Website की Robots.txt File को नीचे बताये गए तरीके से पता लगा सकते हैं, Google भी नीचे दिए गए तरीके से ही पता लगाता है-

Step 1 : सबसे पहले आपको Browser Open करना है

Step 2 : अब आपको अपने Website के URL के Last में robots.txt लिखके Search करना है, जैसे-https://www.Example.com/robots.txt

Step 3 : Search करते ही आपके सामने आपकी वेबसाइट की Robots.txt File आ जाएगी आप नीचे Screenshot में देख सकते है मेरी वेबसाइट की Robots.txt File

Website में Robots.txt File है कि नहीं कैसे पता करें

Website के कोन कोन से Page को Robots.txt File द्वारा Block करना चाहिए है

आपको नीचे दिए गए चीजों को आपको Robots.txt File द्वारा जरूर Noindex करना चाहिए

  • Category
  • Tags
  • Comments 
  • Author
  • Links
  • Admin


इन सब चीजों को आपको Noindex कराना बहुत जरूरी SEO के लिए

आप यह सब Blogger में सही से नहीं कर पाएंगे, लेकिन आप अगर WordPress User है तो आप Yoast SEO Plugin के द्वारा यह सब Noindex करा सकते है।


Blogger me Robots.Txt kaise Add kare

Blogger में Robots.txt Add करने के लिए आपको नीचे बताये गए steps को Follow करना है। जिससे आप बहोत ही आसानी से अपने Blog/Website में Robots.txt को लगा पाएंगे-

Robots.txt File Copy



1- Step: सबसे पहले आपको इस Robots.txt File को Copy करना है, और https://www.techonly99.xyz की जगह अपने Blog/Website का Link (Url) add कर लेंना है।

2- Step: अब आपको अपने Blog के Dashbord पर आना है।

3- Step: अब आपको Settings पर Click करना है।

  • उसके बाद Search Preferences पर click करना है।
  • उसके बाद आपको Custom robots.txt के सामने Edit लिखा है उस पर किल्क करना है।

Robots.txt File क्या है? और Robots.txt File कैसे बनाये? पूरी जानकारी हिंदी में 2020

4- Step: उसके बाद Yes पर Click करना है।

  • अब आपके सामने एक Box Open हो जाएगा।
  • उस Box में Copy किया हुआ Code Paste कर देना है, लेकिन Code में https://www.techonly99.xyz कि जगह अपने ब्लॉग कि URL जरूर लगा ले।
  • अब आपको Save chenges पर Click कर देना है।

Robots.txt File क्या है? और Robots.txt File कैसे बनाये? पूरी जानकारी हिंदी में 2020

Blog Dashboard> Settings> Search Preferences> Custom Robots.txt > Edit > Past Robots.txt File> Save

अब आपके Blog/Website में Robots.txt File Add हो चुकी है और अब Search Engine Crawler वहीं Index करेगा जो Robots.txt File उसे Allow करेगा।

Conclusion

मुझे उम्मीद है कि आपको सबकुछ समझ मे आ गया होगा जैसे- Robots.Txt File क्या है, Robots.txt File कैसे बनाये, Robots.txt के फायदे क्या है और Robots.txt को Blogger में कैसे Add करते है। अगर फिर भी कोई चीज़ समझ नही आई हो तो आप नीचे Comment में बता सकते है।

आपको ये पोस्ट Robots.txt File क्या है? और Robots.txt File कैसे बनाये? पसंद आई हो तो आप इसे Social media facebook, instagram, LinkedIn, Twitter, telegram, Reddit, whatsapp पर share करना न भूले ताकि और Blogger तक ये information पहोच सके और उनकी भी थोड़ी हेल्प हो जाए।

Robots.Txt Kya Hai aur Robots.txt ko Blogger me Kaise Add kare

1 Comments

Comments any problem & advice

Post a Comment

Comments any problem & advice

Previous Post Next Post
free