中山鐵橋的前身是明洪武5年(1372年),宋國公馮勝在蘭州城西七裏處建的浮橋至明洪武9年(1376年),衞國公鄧愈移浮橋至西10裏處,稱“鎮遠橋”明洪武18年(1385年),蘭州衞指揮楊廉將浮橋移至今日位置,至今遺存重10噸,長5.8米的鑄鐵橋柱“將軍柱”三根。
 清光緒33年(1907年),清政府在蘭州道彭英甲建議和甘肅總督升允的贊助下,動用國庫白銀30.669萬兩,由德商泰來洋行喀佑斯承建,美國人滿寶本、德國人德羅作技術指導,建起了長233.33米,寬7米的黃河第一座鐵橋,初名“蘭州黃河鐵橋”,1942年改為“中山橋”。1954年,人民政府整修加固了鐵橋,又增加了五座弧型鋼架拱樑,使鐵橋顯得堅固耐用,氣勢雄渾。