У 1862 році він одружився з 18-річною Софією Берс. Вони прожили разом 48 років.
Помер він у будинку начальника станції на 83-му році життя. Лева Миколайовича Толстого поховали в його маєтку Ясна Поляна в лісі на краю яру.
23 вересня 1862 року в Москві, у кремлівській придворній церкві Різдва Богородиці вінчалися відставний поручик граф Лев Миколайович Толстой та Софія Андріївна Берс, середня дочка придворного московського лікаря, вісімнадцяти років від народження.
У 1862 році Софія Берс вийшла заміж за Льва Миколайовича Толстого і стала господаркою будинку в Ясній Поляні. За роки шлюбу вона народила 13 дітей, п'ятеро з яких, на жаль, померли рано.