传说中，白马山上曾经有七株茶树，但从未有人能采摘。这七株茶树原是七仙女所变，而七仙女在海上护航时，遇到了一位英俊高大的男人，他被贬下凡间，与七姐妹结伴私游到越国城内。

龙马天驷得知后，守护在茶树旁，以防茶树被凡夫俗子所染指。后来常有人看见一匹白马在山上驰聘，便将此山称作为白马山。