https://iranhost.com/blog/10-خزنده-پیشرفته-وبسایت-برای-بهبود-سئو/
web crawler چیست و چگونه کار می کند؟