据传，昌吉灵香寺的背后有一个感人至深的故事。相传明朝万历年间，一位名叫陈福的书生，因为选举不顺，跋涉到昌吉灵香寺，寻求神灵保佑。在得到超度后，他发了誓：如果能够如愿以偿，就在这里建造寺庙，感谢菩萨神灵。

如愿以偿的陈福不仅建造了寺庙，还捐献了大量资金，让灵香寺逐渐成为信仰圣地，被誉为“昌吉第一寺”。