相传牛郎孙守义同哥哥分家后，带着相依为命的老牛四处漂泊，居无定所，几经周折终于在大贤山一处风景如画的地方安了家，周围就是几株高大的绿树，该树绿叶呈披针形，端长锐尖，边缘有齿，每到夜晚就围绕在牛郎住所的周围，抵挡防备着野兽的攻击。初夏时节，开着洁白的小花，排解着牛郎郁闷的心情。年复一年，最终牛郎织女相爱后，有了稳定的住所，遂不再此居住。一年后，牛郎织女不忘庇护他的地方，再一次来到了这里，惊奇的发现绿树上居然结了红红的果实，牛郎感到是他与织女的爱情感动了上苍，绿树结出了爱情果。后人为感谢这种为祖先牛郎提供保护的古树，将它命名为卫茅树，并将种子流传到各地，去保护那些善良的人们。
