他的母親原是一名莊園的僱傭。
1926年8月13日,卡斯特羅出生於古巴東方省比蘭鎮的一個種植主家庭。他的父親安赫爾.卡斯特羅是一名西班牙軍人,是當地有名的種植園主。而卡斯特羅的母親,原本是莊園裏的廚師,卡斯特羅出生的時候安赫爾的第一任老婆還在世,卡斯特羅是屬於身份比較尷尬的“私生子”。