Rostsidig dvärgtyrann är en liten (11 cm) tyrann med långa vingar och stjärt och kontrasterande strupe och bröst. Ovansidan är dämpat brun med ett otydligt ljusbeige streck ovan tygeln och ett kort ögonbrynsstreck. Stjärten är mer sotfärgad, liksom vingarna, med två beigefärgade vingband. Strupen är ljus, bröst och flanker varmt olivbeigefärgade och resten av undersidan gulaktig. Den slanka näbben är grå med skär undre näbbhalva. Lätet är ett snabbt och musikaliskt "tchip chip chip-tchrrrrrui".
Fågeln förekommer från södra Surinam och östra Brasilien till nordöstra Bolivia och nordöstra Paraguay. IUCN kategoriserar arten som nära hotad.
