Rostbukig taggstjärt är en rätt ljus, 16,5 cm lång taggstjärt med svart stjärt. Den är grå på huvud och nacke med mörkare örontäckare men ljust på tygel och strupe. Runt ögat syns en bruten vit ögonring. Ovansidan är olivgrå med brett rostkantade sotfärgade vingpennor. Vingtäckarna är roströda, liksom övergumpen. Stjärten är svart med tydligt rostrött på yttre stjärtpennorna. På undersidan syns rost- eller kanelbrunt bröst, fylligare ner mot buken. Näbben är mörk, liksom ögat och benen. Sången består av två identiska morrande ljud som upprepas varje eller varannan sekund.
