— Ну так чего приехали-то? Неужели помогать собрались? — съехидничал Артём, засунув руки в карманы.
— Нет, конечно. Наша задача — зафиксировать поломку и время, затраченное на ремонт и простой серверов, а также, если сгорели наши серверы, провести их учёт. — И демонстративно щёлкнул ручкой. Второй достал смартфон и открыл соцсети, как бы показывая, что работать не собирается.
— Ну и хуй с вами, сами справимся, — сплюнул на траву Саша. — Макс, Артём — давайте работать, вы всё знаете.
Кивнув, мы приступили к работе. Сначала обесточили серверы, затем вернули питание от городской сети и запустили кондиционеры, которые тут же заработали и начали активно выгонять жару из здания. Минут двадцать-тридцать, пока серверная остывала, мы проверяли оборудование. Я проверил ИБП — они были разряжены в ноль. Как только от города вернули питание, те начали по очереди пищать и заряжаться. Артём проверил генератор, поругался на то, что антифриз убежал из-за температуры, и сходил к автомобилю за канистрой. Спустя полтора часа здание остыло, а ИБП зарядились на 24% — можно было поэтапно запускать серверы. Все сразу нельзя, к сожалению. Вооружившись рациями — Артём и Саша были в серверной, я дёргал автоматы, пуская ток, и был готов вырубить обратно, если что-то пойдёт не так. К счастью, ни одна стойка не сгорела, и все серверы получили питание, а потом уже мы втроём начали их потихоньку полноценно запускать. Ядро сети — аж в три часа ночи. Но даже так каждый сервер грузится по 5–10 минут, плюс дисковые полки — им нужно раскрутить шпиндели жёстких дисков, а это занимает долгое время. Постепенно начала восстанавливаться связь, запускаться серверы виртуализации, и стала ясна самая настоящая задница — уже через час, в четыре часа ночи, между прочим.
Из-за аварийного отключения часть информации — к счастью, не слишком много, но прилично — могла быть повреждена: файловые системы могут иметь ошибки. Прямо сейчас мы начали получать логи, и тут как повезёт: где-то всё поднимется само, а где-то базы данных — биллинг, сайты клиентов — «развалились», из-за чего сервер проверяет целостность данных. Это может занять от 15 минут до нескольких часов в зависимости от объёма дисков. Прервать нельзя. Никак. В целом дальше шли лишь рабочие разговоры — «База биллинга легла, fsck запустился, будем куковать тут до утра», как сказал Саша, что в принципе и так было изначально ясно. Спать хотелось адски.
В пять утра у пользователей начал появляться интернет, а ближе к шести часам мы занимались устранением глюков, заменили пару всё же сгоревших дисков и писали один коллективный матерный отчёт начальству, а также, естественно, вызов полиции по факту взлома. Только я с Артёмом собирались дописать свою часть, как Саша нас оповестил: