屯门地势险要，意思即是设有屯田防卫之兵的海门，亦称团门，又称段门。境内主山为屯门山，又名青山，古名杯渡山，英人称之为堡垒山，东面为屯门湾，今称青山湾，古名屯门澳;湾以东为九迳山，以南为大屿山。屯门湾三面环山，是天然的避风港。在轮船未发明之前，无论对内的沿海交通，或对外的远洋航行，都以帆船为主，行驶常受季候风所支配，屯门的地理位置，紧扼广东珠江口外交通要冲，凡是波斯、阿拉伯、印度、中南半岛及南洋群岛等地人士，经由海路到中国贸易的，多会乘夏季西南风发之便，向东北航行，抵达中国海后，先集合于屯门，然后才驶入广州等地。 自中国出海的中国商船，或回航的蕃舶，也多会待冬季东北风发之便，经屯门出海，南驶中南半岛及南洋群岛，再到印度及波斯湾等地。屯门的对外交通，可追溯到刘宋时代，其地为前赴交州的出海港口;东晋末年以至刘宋时代有名叫杯渡禅师的高僧，历游国内外以后，曾南来香港屯门地区卓锡，在屯门候舶出海，以后即未见再回中土。

李唐时，湾泊屯门的商舶众多，而且被视为险要所在，故设置屯门镇;以守捉使领兵驻守，巩卫屯门邻近一带海域。唐玄宗天宝三年(公元744年)，浙江永嘉及明台等州的海贼吴令光作乱，被南海太守刘巨鳞以屯门镇兵，会同河南尹裴敦复合兵荡平。当时，屯门的地位已日渐重要，行经的旅客亦日渐增加，著名诗人韩愈所写《赠别元十八协律诗》之六以及刘禹锡写的《踏潮歌》对屯门形势亦多所描述。可见屯门的交通景况已广为人知。

五代时，南汉刘氏敕封杯渡山为瑞应山，并在山的北麓建军寨，设靖海都巡、同知屯门镇事，招集流亡，聚敛蕃舶器货。可见其对屯门的特别重视。

北宋初年，在屯门地区仍设屯门砦;元代屯门一地只设屯门巡检司，设巡检一员，兵150名，衙署在屯门寨。