Первой супругой актёра стала его коллега Людмила Татарова. У пары родились сыновья-близнецы Владимир и Юрий. После появления детей отношения в семье испортились. По признанию Матросова во время очередного скандала он поднял на экс-возлюбленную руку. Она не стала этого терпеть и ушла от него.
После расставания женщина стала участвовать во всевозможных телешоу и рассказывать об издевательствах, которые терпела от Матросова и о побоях. Наблюдая за матерью и слушая её рассказы, Юрий и Владимир впитали ненависть к отцу с раннего детства. Сейчас, будучи взрослыми, общаться с ним они не желают.
«Они с молоком матери впитали ненависть ко мне. Думаю, наша встреча когда-нибудь произойдет, но какой она будет — намеренной или случайной — не знаю», - высказался Матросов.
По словам актёра, рассказы Татаровой об ужасах их совместной жизни сильно преувеличены.
«На каких только телеканалах ни была Люда, где только не поливала меня грязью. Совести нет!», - рассудил Денис Матросов.