В первой половине XIX века здание принадлежало богатой греческой семье Калержи (Колержи). В 1839 году Иван Калержи подарил дом своей юной жене Марии, племяннице вице-канцлера Нессельроде. Она прожила здесь совсем недолго, а затем перебралась в Париж. В память виртуозной пианистки М. Ф. Калержи Ф. Лист написал «Элегию». Верхний этаж в 1819–1822 гг. занимал военный губернатор Петербурга граф М. А. Милорадович. Весной 1820 г. он вызвал к себе А. С. Пушкина в связи с распространением в обществе его вольнолюбивых и фривольных стихов.
Анна оказалась проницательна — приглашение от Елены Васильевны Толстой я получила утром. Поскольку я попросила известить меня сразу же, то утром, когда мы с Мишей еще спали, в дверь раздался тихий стук.
Стараясь не потревожить сон мужа, я аккуратно вылезла из-под одеяла и неслышно подбежала к двери. За дверью стояла очень взволнованная Анна. Я приложила палец к губам, дав понять, что Михаил еще спит. Поблагодарив Анну шепотом, я тут же вскрыла письмо.
'Ваше сиятельство, прослышала я, что случайно интересы наши сходятся. Покорнейше прошу принять моё приглашение на чай сегодня. Если вам будет угодно, можем и за обедом обсудить дела наши. Буду счастлива принять вас у себя.
Ответ, если угодно вам будет хоть с посыльным дать можно, хоть когда решите.
Елена Васильевна Толстая, ваша покорная слуга'
Я снова приоткрыла дверь. Анна стояла за ней, ждала ответа.
— Еще здесь посыльный? — спросила я.
— Здесь, здесь, дожидается, —зашептала Анна.
— Скажи, что через несколько минут ответ будет.
— Да никуда он не денется, ваше сиятельство. Я уж тут подожду, пишите.
Я прошла к небольшому письменному столику и набросала несколько строк, в которых выражала признательность за проявленный интерес, и давала согласие на встречу.
Бросив взгляд на мужа, я испытала острое чувство вины — он уезжал уже сегодня, а я неизвестно сколько буду заниматься делами.
Отдав запечатанный конверт, я снова нырнула в постель. В этот раз Миша проснулся, чему я была очень рада. Обняв его и прижавшись, я прошептала куда-то в область шеи:
— Доброе утро, радость моя.
— Доброе утро, графинюшка. Ты чего так рано поднялась? Не спится?
— Миша, я же приглашение получила от Толстой! Ответ писала тихонько, тебя разбудить боялась.
— Ну раз ты всё равно меня разбудила, да еще и сбежишь от меня днем, давай валяться сколько возможно, только спать мы уже не будем…
Я ничего не имела против. Это в самом деле было самое настоящее доброе утро. Конечно, Мишин отъезд омрачал его. Однако я старалась сейчас об этом не думать.