班固後來因母喪而辭去官職,永元初年,大將軍竇憲出征匈奴,用班固為中護軍,參加議論軍事。北單于聽説漢朝軍隊出征,派遣使臣在居延塞等候款待,想去朝見漢朝天子。竇憲派遣班固率領數百騎兵出居延塞迎接北單于。正趕上南匈奴攻破北庭,班固抵達私渠海,聞聽匈奴內部發生騷亂,便返回了。等到竇憲破敗時,班固受連坐而被免官。
班固不教育他的兒子們,他的子孫們多不遵守法度,讓官吏很苦惱。當初,洛陽令種兢曾在街上行進,班固家的奴僕冒犯種兢的車馬,吏卒呵斥了奴僕,奴僕醉酒謾罵,種兢大怒,但因畏懼竇憲而不敢發作,心中記下仇恨。等到竇氏家族及門下賓客都被逮捕拷問之時,洛陽令種兢趁此機會逮捕關押了班固,致使班固最終死在獄中。