尖叶木樨榄起源于南亚古地中海区域，为古地中海植物区系的残存种类。分布于印度、中国、克什米尔、巴基斯坦，阿富汗。在我国主要分布云南、四川、西藏，分布纬度为北纬24°27'~31°1'，海拔600~2300m。分布范围广，海拔高差大。在云南一般分布海拔较低，多在600~1600m之间，年平均温度18~23℃，年降雨量700~1000mm；在四川分布海拔较高，多在1600~2300m之间，年平均气温12~17℃，年降雨量800~1000mm，在西藏主要分布在东南部，分布海拔1800m左右。整个分布区的年日照时数为1600~2500小时。

尖叶木樨榄分布地区的土壤多为酸|生和微酸性的山地红壤，pH5.5~6.8，也有7.2的褐色土。其质地多为结构较紧实的黏土和粉黏土，也有结构较为疏松的壤土，在一些地区，土壤中石砾含量很高。总的来说，土壤类型多样。

尖叶木樨榄分布的主要特点是多限于河谷地区。在云南海拔1000m以上地区，常成小片生长于村落附近或岩石裸露的石灰岩山地。