应该由建设局物业管理部门负责。

虽然该小区没有物业，但危围墙在那里不是一天两天了，建设局相关部门应该对这一隐患早有察觉，既然没有物业管理，那就干脆由管理部门主导维修或拆除，以杜绝事故发生。