楊文廣共有4個兒子,對此歷史上也沒有太多的記載,4個兒子中只有小兒子楊懷玉還算比較有名氣,另三個甚至連名字都沒記錄。
楊懷玉在著名楊家將中他屬於第9代的人物,據説因容貌出色被人們稱呼他為玉面虎。歷史上有關楊懷玉只記載了他徵西時候所發生的故事。當時楊文廣被敵人困死在慶州地區,想要到通江找到軍隊救援,然而卻在海上遇到了敵人所佈置的陣,後來中了毒砂,楊懷玉於是就用假名裝作投親偷回瞭解藥,在這個過程中還弄假成真的娶了妻子孟九環。