Глава 5
Страница 33 из 159
Настройки чтения
18px
1.8
1

Глава 5

Страница 33

— Поиском чего?

Игнасио посмотрел на меня с лёгким недоумением.

— Страниц.

— А.

Я подтянул свободный стул и сел рядом.

— Матео почему-то решил, что ты пишешь поисковик.

— Пишу.

Вот и поговорили.

— Игнасио, — начал я ещё осторожнее. — Мы договаривались собрать каталог сети.

— Да.

— Семь дней назад.

— Да.

— Поисковик я тебе писать не поручал.

— Нет.

Он соглашался настолько спокойно и последовательно, что я на несколько секунд потерял нить собственного допроса.

— Тогда почему ты его пишешь?

Лунтик посмотрел сначала на один монитор, потом на второй, словно правильный ответ действительно находился где-то между ними.

— А зачем ещё вам каталог? Вы сами сказали, что потом будете искать готовое ядро поиска на свободном рынке и загружать туда собранные страницы. Формулировка была расплывчатой. Я посмотрел существующие решения, ничего подходящего не нашёл. Идея показалась интересной.

Я открыл рот, но ничего не сказал.

Справедливо.

— Хорошо. На какой ты стадии?

Вот теперь Игнасио действительно оживился. Он развернул ко мне второй монитор и придвинул клавиатуру.

— Сам паук уже почти не требует моего внимания. Есть очередь адресов, проверка повторов, ограничения для мусорных узлов, журнал ошибок и повторные попытки для недоступных страниц. Из двадцати трёх миллионов примерно восемь миллионов я уже прогнал через обработчик.

— Что значит «обработчик»?

— Вынимаю из страницы всё полезное. Заголовок, основной текст, ссылки и подписи к ним. Разметку выбрасываю. Потом текст разбивается на слова, слова нормализуются и записываются отдельно.

Он открыл ещё одно окно. Передо мной возникли длинные столбцы цифр, адресов и отдельных слов.

— Это обратный индекс.

Я посмотрел на экран, потом на Лунтика.

— Мы опять дошли до слов, значение которых я должен угадывать по выражению твоего лица.

Игнасио нахмурился, явно пытаясь понять, что именно здесь было непонятно.

— Если просто хранить двадцать миллионов страниц, то при каждом запросе придётся заново искать по двадцати миллионам страниц. Это бессмысленно. Поэтому делаем наоборот. Вот слово «автомобиль».

Он быстро что-то набрал.

На экране появился огромный список номеров.

— Это документы, в которых оно встречается. Рядом хранится положение слова, количество повторений, наличие в названии страницы, заголовке и тексте ссылок. Пользователь вводит запрос, а система не читает весь интернет заново. Она сразу достаёт готовые списки и работает только с ними.

— Уже ищет?

— Пока по восьми миллионам обработанных страниц.

Я посмотрел на него.

— То есть я могу написать что-нибудь прямо сейчас?

назадназад
1 ... 31 32 33 34 35 ... 159
впередвперед