1886年,曾国藩的儿子曾纪泽提议沿大运河修建一条由北京至镇江的铁路,以缓解运河水运的压力,这是津浦铁路的雏形第一次出现在人们的设想中。那时候修铁路根本不被清政府当作一回事,曾纪泽的设想落空。
1898年,容闳提出相同建议,并且计划更为具体,已提出由他自己组织公司,借外债修建由天津至镇江的铁路,当时称为津镇铁路。此次获得清政府批准,容闳开始与英德两国的银行谈判借款修路事宜并草签了合同。后因义和团运动兴起,并且德国也不允许铁路经过属于其势力范围的山东,此事告一段落。
1899年,清政府委派许景澄为津镇铁路督办大臣,与德英展开借款谈判。正式合同还没签,许景澄反而于次年在对八国联军作战问题上因为与慈禧太后意见不合而被杀。
1903年,借款谈判继续展开,时任直隶总督的袁世凯被清政府改派为督办津镇铁路大臣,因对方索价太高,清政府难以接受,谈判久无结果。
1907年,清政府命张之洞会同袁世凯,办理津镇铁路借款一事。直接出面与外商谈判的,是外务部右侍郎梁敦彦。
1908年,梁敦彦与德方英方代表订立了《津浦铁路借款合同》,此时情况有了新的变化,沪宁铁路即将竣工,为与之连接,清政府将津镇铁路的南端西移至浦口。选线也相应变化,过徐州后,不再朝向东南方向,而是折向西南,经安徽蚌埠抵浦口,路名也改为津浦。