吳彥祖的父親吳振是電氣工程師,從事設計核電站工作,而他的母親是大學心理學教授,他還有兩個姐姐分別年長吳彥祖10歲、12歲。從父母職業來看,在上世紀可謂是精英家庭了,畢竟少年時期的吳彥祖經常和父親一起出去打高爾夫,便可知家庭不一般。