Судьба его при сталинщине сложилась трагически. Он трижды сидел в лагерях и смерть Сталина встретил за колючей проволокой. В 1953 году, после смерти вождя, заключенные ждали амнистии, ждали изменений и вохровцы. В лагере, где отбывал наказание Смеляков, режим чуть-чуть смягчился, и поэта отпустили навестить своих товарищей по несчастью Валерия Фрида и Юлия Дунского — будущих известных кинодраматургов, которые уже отбыли срок и жили на поселении в нескольких километрах от зоны.

Но к утренней поверке Смеляков должен был стоять в строю зэков. Отсутствие его в этот момент считалось бы побегом, и срок отсидки автоматически увеличился бы. Обрадованные свиданием и надеждами на улучшение участи бывшие лагерники и их гость хорошо провели время. Выпито было, вероятно, немало. Все трое проспали час подъема, и более молодые Фрид и Дунский помогали Ярославу Васильевичу добраться до лагеря, тащили его, ослабевшего, чтобы он поспел в срок к утренней поверке. Эту правдивую и одновременно невероятную историю я слышал от непосредственных участников.