民间有着几个版本的传说。传说观音菩萨从西天佛祖处回普陀山时，途经江夏，不小心将手中的玉镜失落人间。观音带着金童玉女下凡查看时，佛祖所赐的袈裟滑落在地。观音伸手去拾，谁知袈裟不见了，但刚刚化为湖泊的玉镜东边，多出一座长满树木的小山。原来袈裟化成山了。玉镜和袈裟都是佛祖所赐的宝物，看来它们不愿分开，同时变成凡间的山水，永远相伴。人们便将这座山称作“落袈山”。

另一种传说，说的是楚庄王平定斗越椒叛乱后，将军队大营移至此山安营扎寨，对参与平叛的将士论功行赏，为安定民心，又赦免那些跟随斗越椒参与叛乱的从将和士兵。全军上下对庄王的宽厚仁德感恩不尽，无不对庄王歌功颂德，人们便将这座楚王设营的小山，称为“落驾山”。

第三种传说最具人间烟火。传说唐朝初年，大将尉迟恭出任鄂国公，住在今天的武昌城。其好友罗成邀请尉迟恭于东湖边的这座小山相见晤谈，罗成姓罗，因而得名“罗家山”。