1956年1月，中南地质局通知江西等省成立省地质局筹备处，8月7日，江西省人委批准正式成立江西省地质局筹备处。1957年1月1日，地质部向江西省人民委员会转发了国务院正式批准成立地质部江西办事处的通知。

1958年4月29日，江西省人民委员会作出了成立江西省地质局的决定，地质局于5月1日正式成立，同年7月1日起，原属冶金部的江西有色勘探公司、燃料工业部中南地质勘探局的128队连同省煤管局的地质队伍与原江西省地质局合并，组成新的江西省地质局。

1963年9月23日，根据地质部关于改变省（自治区）地质局名称决定的通知，江西省地质局更名为地质部江西省地质局。部、省双重领导，以部为主。

1967年，“文化大革命”趋于高潮，局领导成员被批斗，各处（室）工作近于瘫痪。军代表进驻地质局机关，接管日常工作。1968年3月成立了局临时领导小组，行使管理职责。

1969年11月6日，江西省革委会以（69）赣革发116号文宣布江西省冶金厅、煤管局、地质局合并，成立江西省重工业局。1972年8月，江西省革委会决定撤销重工业局，分别成立省煤炭厅和省冶金地质局。同年10月28日，又决定将省冶金地质局分设为省冶金局和省地质局，受国家计委地质局和江西省双重领导，以省领导为主。

1979年3月30日，江西省革委会同意省地质局实行国家地质总局和省革委双重领导，以国家地质总局（同年8月重新改为地质部）领导为主的管理体制。1983年4月4日，据地质矿产部地办187号文，江西省地质局更名为江西省地质矿产局，仍实行地矿部和省政府双重领导，以地矿部为主的领导体制。

1999年7月10日，国土资源部与江西省人民政府在南昌就原地矿部江西地勘局属地化管理事宜签署会商纪要，划归江西省人民政府管理。2000年6月13日，根据省政府赣发[2000]15号文，省地矿厅与省地矿局实行政事分开，厅局分设。2001年6月9日，省人民政府以赣府厅发[2001]46号文件明确了局主要职责、内设机构和人员编制 。