Содержание
- Определение - Что означает паук?
- Введение в Microsoft Azure и Microsoft Cloud | Из этого руководства вы узнаете, что такое облачные вычисления и как Microsoft Azure может помочь вам перенести и запустить свой бизнес из облака.
- Техопедия объясняет паука
Определение - Что означает паук?
В Интернет-пауке паук - это специализированное программное обеспечение, предназначенное для систематического сканирования и просмотра Всемирной паутины, обычно с целью индексации веб-страниц, чтобы предоставить их в качестве результатов поиска для пользовательских поисковых запросов. Самым известным из таких пауков является Googlebot, основной сканер Googles, который помогает гарантировать, что релевантные результаты возвращаются для поисковых запросов.
Пауки также известны как веб-сканеры, поисковые боты или просто боты.
Введение в Microsoft Azure и Microsoft Cloud | Из этого руководства вы узнаете, что такое облачные вычисления и как Microsoft Azure может помочь вам перенести и запустить свой бизнес из облака.
Техопедия объясняет паука
Паук - это, по сути, программа, используемая для сбора информации из всемирной паутины. Он просматривает страницы веб-сайтов, извлекая информацию и индексируя ее для последующего использования, обычно для результатов поисковой системы. Паук посещает веб-сайты и их страницы по различным ссылкам на страницы и со страниц, поэтому будет трудно проиндексировать страницу без единой ссылки, которая может быть очень низко оценена на странице результатов поиска. И если есть много ссылок, указывающих на страницу, это будет означать, что страница популярна, и она будет отображаться выше в результатах поиска.
Шаги, связанные с веб-сканированием:
- Паук находит сайт и начинает сканировать его страницы.
- Паук индексирует слова и содержание сайта.
- Паук посещает ссылки, найденные на сайте.
Пауки или веб-сканеры - это просто программы, и поэтому они следуют систематическим правилам, установленным программистами. Владельцы веб-сайтов также могут вмешаться, сообщив пауку, какие части сайта индексировать, а какие - нет. Это делается путем создания файла «robots.txt», который содержит инструкции для паука относительно того, какие части индексировать и какие ссылки следует соблюдать, а какие следует игнорировать. Самыми значительными пауками являются те, которые принадлежат крупным поисковым системам, таким как Google, Bing и Yahoo, и те, которые предназначены для интеллектуального анализа данных и исследований, но есть также некоторые злонамеренные пауки, написанные для того, чтобы находить и собирать данные для продажи пользователю для рекламы. компании или для поиска уязвимостей в веб-безопасности.