El fichero robots.txt es el recurso clave para cualquier página web que busca ser bien posicionada por los buscadores como Bing. Sirve como un mapa para los bots, indicándoles qué secciones de https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html