蔡康永的家族在解放前的上海曾是顯赫一時的輪船主。1949年,家族擁有的一艘客輪滿載乘客從上海駛往台灣,不料中途沉沒,僅30人生還。此後的理賠和扣壓所有船,讓蔡氏家族一蹶不振。後來家人去了台灣。
家裏還保存着一些船上專有的器具,其中還有蔣介石的皮椅子。蔡康永説,老來得子的父親把自己當作一隻寵物,他也毫不避諱地透露,自己成長歷程一路靠父親的關係,去美國讀電影科也是爸爸找知名導演寫的推薦信。