生成了多个网站地图robots内怎么设置？

在生成多个网站地图时，需要在每个网站的根目录下创建一个名为“robots.txt”的文件，并在该文件中设置相应的规则。以下是一个示例：

1. 首先，在每个网站的根目录下创建一个名为“robots.txt”的文件。

2. 在每个“robots.txt”文件中，可以设置以下基本规则：

   - User-agent: 指定要应用规则的搜索引擎爬虫的名称。例如，可以使用“*”表示所有搜索引擎爬虫。

   - Disallow: 拒绝爬虫访问的页面或目录。例如，“Disallow: /admin”表示禁止爬虫访问“/admin”目录。

   - Allow: 允许爬虫访问的页面或目录。与Disallow相反，Allow用于指定爬虫可以访问的页面或目录。

3. 如果您有多个网站地图，可以在每个“robots.txt”文件中设置不同的规则，以确保每个网站的爬虫行为符合您的要求。

4. 您还可以在“robots.txt”文件中添加其他指令，如Sitemap: 指令，以指定网站地图的位置。例如，“Sitemap: http://www.jdzjdz.cn/sitemap.xml”表示指定了网站地图的位置。

5. 最后，确保每个网站的“robots.txt”文件符合搜索引擎的爬虫规则，以确保您的网站能够被正确索引。

总之，在生成多个网站地图时，需要在每个网站的根目录下创建一个“robots.txt”文件，并在其中设置适当的规则，以控制搜索引擎爬虫的行为。通过正确设置“robots.txt”文件，可以确保您的网站被正确索引，同时避免出现不必要的爬虫访问。