体形小,体重12~30克不等,体长60-90mm,尾长等于或短于体长,后足长小于17mm,耳短,前折达不到眼部。乳头5对,胸部3对,鼠蹊部2对。和其它体形差不多大的鼠种(如黑线姬鼠、小林姬鼠)主要区别特征是:小家鼠上颌门齿内侧,从侧面看有一明显的缺损。
毛色变化很大,背毛由灰褐色至黑灰色,腹毛由纯白到灰黄。前后足的背面为暗褐色或灰白色。尾毛上面的颜色较下面深。