Rostblomstickare är en liten och aktiv sångarliknande tätting med den för släktet typiska uppböjda och krokförsedda näbben, lite som en burköppnare. Hanen är karakteristisk med skiffergrå ovansida och varmt rostbeige undersida utan kontrasterande teckningar på vingarna. Honan är genomgående färglöst brunaktig. Otydlig streckning på bröstet skiljer den från andra blomstickare.
Rostblomstickare delas in i sex underarter med följande utbredning:
Rostblomstickaren hittas i rätt öppna buskiga områden, skogslandskap och trädgårdar på mellan 1500 och 3000 meters höjd, ej inne i skog. Likt andra blomstickare livnär den sig på nektar som den tar genom att punktera blommor med den speciellt utformade näbben.