体形小，体重12~30克不等，体长60-90mm，尾长等于或短于体长，后足长小于17mm，耳短，前折达不到眼部。乳头5对，胸部3对，鼠蹊部2对。和其它体形差不多大的鼠种（如黑线姬鼠、小林姬鼠）主要区别特征是：小家鼠上颌门齿内侧，从侧面看有一明显的缺损。

毛色变化很大，背毛由灰褐色至黑灰色，腹毛由纯白到灰黄。前后足的背面为暗褐色或灰白色。尾毛上面的颜色较下面深。