Семья Голицыных сняла зимнюю дачу по Савеловской дороге, а в 1930-м перебралась в Дмитров. Вот Владимир Михайлович и Елена Петровна Голицыны в Дмитрове.
Жизнь была не очень легкой, Владимиру, как "лишенцу", перестали давать заказы во "Всемирном следопыте", да и журнал вскоре закрылся.
Начались проблемы со здоровьем, сильно болело колено, которое он когда-то ударил, и художнику стало очень проблемно ездить в Москву, искать заказы.
Тогда он нашел выход - занялся настольными играми, которых сделал больше двух десятков. Самой известной из них стали «Пираты», которую высоко оценил Горький и которая переиздается до сих пор.
Сын Илларион вспоминал: «…что было самое интересное из нашего детства, самое заманчивое для наших дмитровских друзей, самое захватывающее и увлекательное – это отцовские игры … Это были настоящие морские сражения, где ты был капитаном корабля, от твоей воли, храбрости и смекалки зависел исход поединка. Жестокие ураганы сменялись полными штилями … Корабли тонули, победители торжествовали победы, а наши детские головы легко усваивали будоражащие мозг названия мысов, островов, проливов и ветров…».
Рисунок В.М. Голицына. Вид на нашу квартиру из д. Самохваловой. 12 марта 1938 г.
Роковым для Голицына стал четвертый арест 22 октября 1941 года - соседка написала донос, что бывший князь не эвакуировался, котому что ждал немцев.
Пять лет «за контрреволюционную деятельность» по 58 статье Уголовного кодекса РСФСР ему предстояло отбывать в исправительно-трудовой колонии № 5 города Свияжска, неподалеку от Казани.
Из лагеря он писал: «Милая моя женушка! Получил от тебя 2-е письмо (1-е пропало, где ты обо всех пишешь). Рад, что вы стоите на ногах без меня. Ларю (Илларион - ВН) молодец – с натуры больше пиши. Хорошо бы его с Павлом Дмитриевичем свести (Кориным - ВН) – он его поучит. Я сейчас лежу в больнице. Что у меня – неизвестно. /Вымараны цензурой несколько строчек/. Но тут есть один врач, который обещает меня починить. Врач очень энергичный. Потом я бос. У меня украли сапоги и галоши. Поскорее пришлите мне ботинки. Зима меня страшит. Я сейчас все мерзну. Хожу в фуфайке и полушубке. Начальник обещает перевести в лучшие условия. Но все-таки холод это ужас. За 5 дней, что я лежу, живот вроде прошел. Ноги были, как бревна – даже смешно смотреть … Сейчас нормальные. Напиши подробно, как осенью немец подходил к вам. Бомбил ли Дмитров? Кто у вас теперь соседи? … Денег рублей 100 присылайте, если можете, в месяц. Можно молока купить 10–15 руб. за л., обед, пайку, овощи… Целую мою душку и всех».