Моделирование Web-графа.

  • Добавили03.07.2006
  • Размер445,11 Kб
  • Скачали758

В настоящий момент наибольшим числом проиндексированных сайтов может похвастаться компания Google - Непроиндексированными же остаются многочисленные форумы, блоги, файлы неподдерживаемых форматов, динамически создаваемые и просто труднодоступные для пауков страницы. Эту часть сети принято называть невидимой Invisible Web. По различным оценкам, она превосходит видимую часть от 10 до 500 раз.

Многие ИПС, заинтересованные в более качественном ранжировании результатов поиска, предоставляют данные, собранные пауками, для изучения. Но размеры этих данных делают эксперименты над ними чрезвычайно трудоемкими, что затрудняет создание эффективных алгоритмов. Работа с полноценным web-графом может вестись только на высокопроизводительных серверах.

Для примера, приведем сведения о экспериментальных данных, использованных при создании алгоритма BlockRank 2. Работа алгоритма на web-графе, созданном в рамках проекта Stanford WebBase в январе 2001г размером в 290 млн. вершин и чуть более миллиарда дуг, на AMD Athlon 1533MHz с дисковым массивом RAID-5 и3.

5Гб оперативной памяти, требовала около 100 итераций по 7 минут каждая. Представление web-графа на внешних носителях потребовало 6Гб памяти, и это очень небольшой web-граф. На практике используют мини web-графы, сгенерированные на основе некоторой модели.

Основная задача моделирования web-графа охватить все его особенности, в связи с этим, создание новой модели обычно являлось ответом на обнаружение неизвестных свойств web-графа. Рассмотрим основные, известные на данный момент, свойства web-графа и модели, их отражающие Этапы изучения web-графа и его моделирование. Первой моделью web-графа являлась модель Erdцs-Renyi 3.

Конечные вершины для исходящих дуг в этой модели выбираются случайным образом из всех вершин графа. В частности, для моделирования web-графа применялась модель с среднем числом исходящих .

Скачать
Диплом Логистика 11.06.2010

Моделирование коммерческой деятельности предприятия

В современных условиях дальнейшее развитие и совершенствование экономики, немыслимо без хорошо налаженного транспортного обеспечения. От его четкости и надежности во многом зависят трудовой ритм предприятий промышленности, строительства и сельского хозяйства, настроение людей, их работоспособность.

Реферат Математика 14.01.2003

Регрессионный анализ в моделировании систем. Исследование посещаемости WEB сайта

Hyper13 Includepicture Ctextworkrshtextr-G.BMP Lower Hyper14Hyper15 Кафедра математической статистики и эконометрики Дополнительная работа По курсу Математическая статистика По теме Регрессионный анализ моделировании систем Исследование посещаемости WEB сайта Группа ДИ 202 Студент Шеломанов Р.

Диплом Педагогика 28.01.2009

Информатика и информационные технологии в образовании

1 Теоретические и практические аспекты. 1.2 Использование информационно-коммуникационных технологий в учебно-воспитательном процессе (начальная школа). 1.3 Целесообразность компьютеризации детских образовательных учреждений. 1.4 Воспитание информационной

Диплом Журналистика, издательское дело и СМИ 22.12.2008

Современные информационные технологии в журналистики

Актуальность темы исследования. Во второй половине ХХ столетия произошла подлинная революция в сфере информационных технологий. Появившиеся сеть интернет, сотовая связь, протоколы мгновенной передачи текста, звука и видеоизображения на расстоянии вывели

5ballov.qip.ru рекомендует:

  • Выбор ВУЗа

    С приходом лета начался период, когда выпускники школ выбирают куда пойдут учиться дальше. Конечно, это совсем не легкий выбор, но помочь в выборе может рейтинг вузов на нашем сайте. Также в этом разделе представлена вся нужная для абитуриентов информация.

  • Как сдать ЕГЭ

    Прежде, чем идти в выбранный вуз с документами, нужно сначала получить аттестат, который выдается после сдачи экзаменов. А подготовиться к ним можно в нашем разделе ЕГЭ. Там также представлены варианты за прошлые года.

  • Подготовка к ГИА

    Для девятиклассников не менее важно окончание учебного года. Их также ждет государственная итоговая аттестация. Подготовиться к ней можно на нашем сайте в разделе ГИА. Главное помнить: самоподготовка - это путь к успешной сдаче.

Облако тегов