四王府原是明代皇室嬰幼兒夭折埋葬之處。不是指王爺。劉若愚《酌中志》雲:“西山陵墳,景皇陵、皇太子墳、王墳、公主墳,各有掌府官一員,僉書十餘員。以供灑掃、看守香火,凡有祭祀,即本處掌府官行禮”。此地被稱之死王府。後改名四王府。