Содержание
- Определение - Что означает Web Crawler?
- Введение в Microsoft Azure и Microsoft Cloud | Из этого руководства вы узнаете, что такое облачные вычисления и как Microsoft Azure может помочь вам перенести и запустить свой бизнес из облака.
- Techopedia объясняет Web Crawler
Определение - Что означает Web Crawler?
Веб-сканер - это интернет-бот, который помогает в индексации веб-сайтов. Они сканируют одну страницу за раз по веб-сайту, пока все страницы не будут проиндексированы. Сканеры помогают собирать информацию о веб-сайте и связанных с ним ссылках, а также помогают проверять HTML-код и гиперссылки.
Сканер также известен как веб-паук, автоматический индексатор или просто сканер.
Введение в Microsoft Azure и Microsoft Cloud | Из этого руководства вы узнаете, что такое облачные вычисления и как Microsoft Azure может помочь вам перенести и запустить свой бизнес из облака.
Techopedia объясняет Web Crawler
Сканеры собирают такую информацию, как URL-адрес веб-сайта, информацию о метатеге, содержимое веб-страницы, ссылки на веб-странице и места назначения, которые ведут по этим ссылкам, заголовок веб-страницы и любую другую соответствующую информацию. Они отслеживают URL-адреса, которые уже были загружены, чтобы избежать повторной загрузки той же страницы. Комбинация политик, таких как политика повторного посещения, политика выбора, политика распараллеливания и политика вежливости, определяет поведение сканера Web. Для сканеров сети существует множество проблем, а именно большая и постоянно развивающаяся Всемирная паутина, компромиссы при выборе контента, социальные обязательства и взаимодействие с противниками.
Сканеры - это ключевые компоненты поисковых систем и систем, которые смотрят веб-страницы. Они помогают в индексации веб-записей и позволяют пользователям выполнять запросы к индексу, а также предоставляют веб-страницы, соответствующие запросам. Другое использование веб-сканеров в веб-архивации, которая включает в себя большие наборы веб-страниц, которые периодически собираются и архивируются. Веб-сканеры также используются в интеллектуальном анализе данных, когда страницы анализируются на предмет различных свойств, таких как статистика, и затем на них выполняется аналитика данных.