Путешествовал по просторам интернета и нашел несколько online сервисов которые умеют очень многое и могут пригодится для многих начинающих и не очень веб мастеров,в частности позволяют очень быстро создать файл robots.txt, карту сайта, и причем все это происходить на наших глазах, очень понравился сервис по созданию файл robots.txt, вы просто в нужные поля прописываете нужные значения, а ниже вы наглядно видите как создается этот самый файл, там же имеются подсказки какие значения вводить и что каждый параметр означает, что позволяет быстро понять суть данного процесса и в дальнейшем самому справляться с этой задачей-создание robots.txt и карты сайта
