작은물쥐의 머리부터 몸까지 길이는 117~132mm이고, 꼬리 길이는 138~163mm이다. 귀 길이는 18~23mm이고 짙은 갈색을 띠고 검은색 털이 약간 있다. 발 길이는 31~36mm이다. 몸무게는 최대 52g이다. 털은 굵고 부드러우며 등 쪽은 짙은 적갈색이고, 옆구리는 누르스름하고 배 쪽은 회색빛이 감도는 흰색이다. 털이 없는 피부 줄무늬가 어깨 중앙부터 이마 쪽으로 이어진다. 60mm의 긴 수염을 갖고 있으며, 눈 주위가 둥글게 짙은 색을 띤다. 꼬리는 거의 털이 없고 끝이 희다.
