robots.txt file for website

0 votes
asked Nov 18, 2015 in SEO by alamin (2,060 points)

What will the following robots.txt file do?

User-agent:Googlebot
Disallow:/*?
User-agent:Scooter
Disallow:

a. It will allow Google to crawl any of the dynamically generated pages. It will also allow thealtavista scooter bot to access every page
b. It will disallow Google from crawling any of the dynamically generated pages. It will also disallow the altavista scooter bot from accessing any page
c. It will disallow Google from crawling any of the dynamically generated pages. It will allow the altavista scooter bot to access every page
d. None of the above

2 Answers

0 votes
answered Mar 11, 2016 by tanjedhasanriyad (210 points)

The answer is C

It will disallow Google from crawling any of the dynamically generated pages and it will allow the altavista scooter bot to access every page.

0 votes
answered Apr 30 by Mohammad Arman (140 points)

The answer is c. It will disallow Google from crawling any of the dynamically generated pages. It will allow the AltaVista scooter bot to access every page

Related questions

722 questions

656 answers

179 comments

4,747 users

Welcome to IDB Scholars Forum, where you can ask questions and receive answers from other members of the community. It's 100% free.
আইডিবি স্কলারস ফোরামে আপনাকে স্বাগত - প্রোগ্রামিং, ডিজাইন, ডেভেলপমেন্ট, ব্লগিং, ইন্টারনেটসহ তথ্য প্রযুক্তির যাবতীয় বিষয় নিয়ে আলোচনার একটি মুক্ত মঞ্চ হলো এই ফোরাম । এখানে আইসিটি বিষয়ক আপনার প্রশ্ন, উত্তর এবং অভিজ্ঞতা শেয়ার করুন, আলোচনা করুন এবং সমাধান নিন। দেশের তরুণ প্রজন্মকে আইসিটিতে আগ্রহী করাই আমাদের মূল লক্ষ্য।
** ইংলিশ বা বাংলা যে কোনো ভাষায় আপনি এই ফোরামে আলোচনা করতে পারবেন। তবে বাংলাকে ইংরেজি অক্ষরে লিখবেন না।
  1. tulbadex

    110 points

    0 answers

  2. JettaQoa3381

    100 points

    0 answers

  3. clutch7conga

    100 points

    0 answers

  4. WhitneyMauer

    100 points

    0 answers

  5. pajamazipper55

    100 points

    0 answers

...