Общая информация о поисковых системах


1.1 История развития поисковых систем
В начале развития Интернета, число его пользователей было невелико, а объем доступной информации относительно небольшим. В большинстве случаев доступ к Интернет имели сотрудники различных университетов и лабораторий, а в целом Сеть использовалась в научных целях. В это время задача поиска информации в сети Интернет была далеко не столько актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание каталогов сайтов, в которых ссылки на ресурсы группировались согласно тематике. Первым таким проектом стал сайт Yahoo, открывшийся в апреле 1994 года. После того, как число сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска информации по каталогу. Это, конечно же, не было поисковой системой в полном смысле, так как область поиска была ограничена только ресурсами, присутствующими в каталоге, а не всеми ресурсами сети Интернет.

Каталоги ссылок широко использовались ранее, но практически утратили свою популярность в настоящее время. Причина этого очень проста — даже современные каталоги, содержащие огромное количество ресурсов, представляют информацию лишь об очень малой части сети Интернет. Самый большой каталог сети DMOZ (или Open Directory Project) содержит информацию о 5 миллионах ресурсов, в то время как база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler появившийся в 1994 году.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали Google в рамках исследовательского проекта в Стэнфордском университете. В настоящий момент Google самая популярная поисковая система в мире.

23 сентября 1997 года была официально анонсирована поисковая система Yandex, самая популярная в русскоязычной части Интернет.

В настоящее время существует 3 основных международных поисковых системы — Google, Yahoo и MSN Search, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих можно насчитать очень много) использует в том или ином виде результаты 3 перечисленных. Например, поиск AOL (search.aol.com) и Mail.ru используют базу Google, а AltaVista, Lycos и AllTheWeb — базу Yahoo.

В России основной поисковой системой является Яндекс, за ним идут Rambler, Google.ru, Aport, Mail.ru и KM.ru.

Общие принципы работы поисковых систем
Поисковая система состоит из следующих основных компонентов:

Spider (паук) - браузероподобная программа, которая скачивает веб-страницы.

Crawler (краулер, «путешествующий» паук) — программа, которая автоматически проходит по всем ссылкам, найденным на странице.

Indexer (индексатор) - программа, которая анализирует веб-страницы, скаченные пауками.

Database (база данных) — хранилище скачанных и обработанных страниц.

Search engine results engine (система выдачи результатов) — извлекает результаты поиска из базы данных.

Web server (веб-сервер) — веб-сервер, который осуществляет взаимодействие между пользователем и остальными компонентами поисковой системы.

Детальная реализация поисковых механизмов может отличаться друг от друга (например, связка Spider+Crawler+Indexer может быть выполнена в виде единой программы, которая скачивает известные веб-страницы, анализирует их и ищет по ссылкам новые ресурсы), однако всем поисковым системам присущи описанные общие черты.

Spider. Паук - это программа, которая скачивает веб-страницы тем же способом, что и браузер пользователя. Отличие состоит в том, что браузер отображает информацию, содержащуюся на странице (текстовую, графическую и т.д.), паук же не имеет никаких визуальных компонент и работает напрямую с html-текстом страницы (вы можете сделать «просмотр html-кода» в вашем браузере, чтобы увидеть «сырой» html-текст).

Crawler. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Краулер, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer. Индексатор разбирает страницу на составные части и анализирует их. Выделяются и анализируются различные элементы страницы, такие как текст, заголовки, структурные и стилевые особенности, специальные служебные html-теги и т.д.

Database. База данных - это хранилище всех данных, которые поисковая система скачивает и анализирует. Иногда базу данных называют индексом поисковой системы.

Search Engine Results Engine. Система выдачи результатов занимается ранжированием страниц. Она решает, какие страницы удовлетворяют запросу пользователя, и в каком порядке они должны быть отсортированы. Это происходит согласно алгоритмам ранжирования поисковой системы. Эта информация является наиболее ценной и интересной для нас — именно с этим компонентом поисковой системы взаимодействует оптимизатор, пытаясь улучшить позиции сайта в выдаче, поэтому в дальнейшем мы подробно рассмотрим все факторы, влияющие на ранжирование результатов.


Web server. Как правило, на сервере присутствует html-страница с полем ввода, в котором пользователь может задать интересующий его поисковый термин. Веб-сервер также отвечает за выдачу результатов пользователю в виде html-страницы.


 

Инфо

text08 text07 text06 text09 text05 text04 text03 text02 text01 text14 text11 text12 text13 text10
27 СПОСОБОВ ПРОДВИЖЕНИЯ
Допустим, у вас есть сайт, но посетителей на нем меньше, чем вам бы хотелось. Что же можно сделать для активизации трафика? Почему бы не потратить несколько минут на рассмотрение возможных способов его повышения. Перед вами контрольный список из 27 пунктов, которые вам необходимо учесть. Многие из них вы возможно уже реализовали...
Подробнее
ЗАЧЕМ НУЖЕН САЙТ?
Еще недавно большинство фирм, имеющих свой сайт, толком не представляли цели создания и использования своего собственного сайта. Между тем, ВАШ САЙТ — это прежде всего визитная карточка Вашего бизнеса в интернете. Он представляет Вашу компанию миллионам потенциальных клиентов. Причем Ваш корпоративный сайт работает...
Подробнее
ПРАВИЛА ХОРОШЕГО САЙТА
1. Содержание
Сайт должен содержать информацию. Именно из-за неё пользователи стремятся в Интернет. Чем больше конкретной информации, тем легче собрать большую аудиторию посетителей сайта. Пример такого подхода — это информационные ресурсы, содержащие большое количество материалов определённой...
Подробнее
СИСТЕМА УПРАВЛЕНИЯ САЙТОМ
Система управления контентом (от англ. Content Management System, CMS), в обиходе называемая также админкой — это программное обеспечение, позволяющее публиковать и изменять информацию на сайте самостоятельно, без привлечения разработчиков сайта. При этом подразумевается, что от пользователей такой системы не требуется...
Подробнее
ЧТО ТАКОЕ ДОМЕН, ДОМЕННОЕ ИМЯ
Домен — это область пространства иерархических имен сети Internet, которая обслуживается набором серверов доменных имен (DNS) и централизованно администрируется. Доменное имя — это адрес сетевого соединения, который идентифицирует владельца адреса.
Что такое домен первого, второго и прочих уровней...
Подробнее
МЕСТО ДЛЯ ВАШЕГО САЙТА
Перед каждым, кто задумывался о создании сайта, всегда возникает вопрос о его размещении в Интернет. На сайтах компаний, предлагающих место под сайт, вы встретите услуги, которые называются виртуальный сервер, выделенный сервер, парковка... Именно в том, какие сервисы и возможности предоставляют хостинговые компании мы и...
Подробнее
ЭТАПЫ СОЗДАНИЯ САЙТА
При создании сайта необходимо пройти через несколько этапов — от рождения идеи до ее воплощения. Чтобы создать действительно интересный и полезный сайт, необходимо хорошо понимать механизмы его создания.
1. Анализ и проектирование.
Анализ сильных и слабых сторон конкурентов, информационное...
Подробнее
КАКУЮ ВЫГОДУ НЕСЕТ СОЗДАНИЕ САЙТА
В настоящее время использование сети Интернет в коммерческих целях получило очень широкое распространение. Через сеть торгуют товарами, предлагают различные услуги, играют в казино и на тотализаторах. Интернет охватил весь земной шар и практически в любом, даже самом удаленном уголке нашей планеты есть компьютер, подключенный к этой сети...
Подробнее
ПРОДВИЖЕНИЕ САЙТА
Изготовление сайтов в русскоязычном секторе Интернета за последние 5 лет приобрело масштабный характер. Создать собственное представительство в Сети сегодня может позволить себе любая компания.
Более того, практически любой человек может создать свою персональную страничку в сети Интернет...
Подробнее
О ПОИСКОВЫХ СИСТЕМАХ
В начале развития Интернета, число его пользователей было невелико, а объем доступной информации относительно небольшим. В большинстве случаев доступ к Интернет имели сотрудники различных университетов и лабораторий, а в целом Сеть использовалась в научных целях. В это время задача поиска информации в сети Интернет была далеко не...
Подробнее
ОПТИМИЗАЦИЯ САЙТА
Чтобы раскрутить свой сайт, его сначала нужно оптимизировать — сделать привлекательным для поисковиков и пользователей. Если Вы будете придерживаться некоторых правил оптимизации, то это поможет Вашему сайту стать популярным и посещаемым.
Сразу определитесь, зачем и для чего Вам нужен сайт...
Подробнее
ЧЕРНЫЕ И БЕЛЫЕ МЕТОДЫ ПРОДВИЖЕНИЯ
Методы продвижения сайта можно разделить на две категории: черные и белые. Оба метода могут помочь занять высокое положение в поисковиках. Однако, если Вы пользуетесь черной оптимизацией, есть вероятность попадания в бан поисковиков, и недавние события показывают, что сайты, использующие этот метод, рано или поздно пострадают....
Подробнее
БЕЗОПАСНОСТЬ
Информационная безопасность — это обширная тема, по глубине сравнимая разве что с глубиной мирового океана. Однако, в этой статье мы в эти пучины погружаться не станем, потому что все мыслимые способы защиты серверов и сайтов разбиваются об одну простую вещь — человеческий фактор. Нельзя ничего придумать против того, что человек сам...
Подробнее
КОМУ ДОВЕРИТЬ СОЗДАНИЕ САЙТА
Ну что ж, попробуем пролить немного света на это темное дело. Для начала надо разобраться с терминами. Начнем с того, что определимся с терминами. Посмотрим в Википедии, что такое фрилансер и что такое веб-студия. Фрилaнсер (англ. freelancer — свободный копьеносец, наёмник; в переносном значении — вольный художник) — человек, выполняющий работу без...
Подробнее

Работы

Сайт компании «Крона» Сайт компании «Самараавтобур» Сайт компании «Лигатехстрой» Еще один сайт логистической компании Сайт логистической компании Сайт для вебинара Одностраничный сайт для такси Сайт торговой компании Сайт багетной мастерской «Артефакт» Сайт компании «СтройСервис» Сайт ПО «ВЦЧМ» Сайт стоматологической клиники Сайт компании «Водосвет» Сайт компании «ISB» Сайт компании «ЭнергоГид»

Контакты

О себеТел.: +7 917 101-12-77
Email: info@m112.ru
ICQ: 121313
Skype: Позвонить
spacer
Вы здесь:   Главная arrow Инфо arrowО поисковых системахarrowКарта сайтаarrowМобильная версия
Rambler's Top100 CY-PR
Корректный HTML и CSS Разработка и создание сайтов в Самаре