源于三国时期的徐庶，他是汉末三国时期豫州刺史的儿子，也是诸葛亮的好友。

据《三国演义》记载，徐庶在三国时期曾为蜀汉出谋划策，为蜀汉的建立立下了汗马功劳。然而，他最终选择了隐居，成为了历史上著名的隐士。

在徐庶隐居的地方，有一个名为“徐山”的地方，据传说是徐庶隐居的地方。徐山位于今天的安徽省安庆市潜山市，因此安庆徐姓也与徐山有着密切的关系。

在明清时期，安庆徐姓逐渐发展壮大，成为当地的名门望族之一。