方世玉,生在乾隆年間的廣東省,他的母親也是武藝高強的俠女,可謂生長在武術世家。從小方世玉就受到母親的鍛鍊,在他很小的時候就用藥酒給他泡身子,鍛鍊他的筋骨,使他體格健壯。
在他長大點後,五六歲就開始習武,少年時的方世玉已經能熟練打出少林拳法,附近鄉里無人能敵。