— Поиском чего?
Игнасио посмотрел на меня с лёгким недоумением.
— Страниц.
— А.
Я подтянул свободный стул и сел рядом.
— Матео почему-то решил, что ты пишешь поисковик.
— Пишу.
Вот и поговорили.
— Игнасио, — начал я ещё осторожнее. — Мы договаривались собрать каталог сети.
— Да.
— Семь дней назад.
— Да.
— Поисковик я тебе писать не поручал.
— Нет.
Он соглашался настолько спокойно и последовательно, что я на несколько секунд потерял нить собственного допроса.
— Тогда почему ты его пишешь?
Лунтик посмотрел сначала на один монитор, потом на второй, словно правильный ответ действительно находился где-то между ними.
— А зачем ещё вам каталог? Вы сами сказали, что потом будете искать готовое ядро поиска на свободном рынке и загружать туда собранные страницы. Формулировка была расплывчатой. Я посмотрел существующие решения, ничего подходящего не нашёл. Идея показалась интересной.
Я открыл рот, но ничего не сказал.
Справедливо.
— Хорошо. На какой ты стадии?
Вот теперь Игнасио действительно оживился. Он развернул ко мне второй монитор и придвинул клавиатуру.
— Сам паук уже почти не требует моего внимания. Есть очередь адресов, проверка повторов, ограничения для мусорных узлов, журнал ошибок и повторные попытки для недоступных страниц. Из двадцати трёх миллионов примерно восемь миллионов я уже прогнал через обработчик.
— Что значит «обработчик»?
— Вынимаю из страницы всё полезное. Заголовок, основной текст, ссылки и подписи к ним. Разметку выбрасываю. Потом текст разбивается на слова, слова нормализуются и записываются отдельно.
Он открыл ещё одно окно. Передо мной возникли длинные столбцы цифр, адресов и отдельных слов.
— Это обратный индекс.
Я посмотрел на экран, потом на Лунтика.
— Мы опять дошли до слов, значение которых я должен угадывать по выражению твоего лица.
Игнасио нахмурился, явно пытаясь понять, что именно здесь было непонятно.
— Если просто хранить двадцать миллионов страниц, то при каждом запросе придётся заново искать по двадцати миллионам страниц. Это бессмысленно. Поэтому делаем наоборот. Вот слово «автомобиль».
Он быстро что-то набрал.
На экране появился огромный список номеров.
— Это документы, в которых оно встречается. Рядом хранится положение слова, количество повторений, наличие в названии страницы, заголовке и тексте ссылок. Пользователь вводит запрос, а система не читает весь интернет заново. Она сразу достаёт готовые списки и работает только с ними.
— Уже ищет?
— Пока по восьми миллионам обработанных страниц.
Я посмотрел на него.
— То есть я могу написать что-нибудь прямо сейчас?