Fågeln är som namnet avslöjar en liten skarv med en kroppslängd på 51 centimeter. Jämfört med indisk skarv (Phalacrocorax fuscicollis), som den delar utbredningsområdet med, är småskarven mindre, har kortare näbb, mer rektangulärt huvud och kortare hals. Den saknar också den gula strupsäcken.
Adult fågel i häckningsdräkt är helsvart med några få vita plymer på pannan och sidan av huvudet. Utanför häckningstid är den brunare, saknar plymerna och har en vitaktig haka. Ungfågeln har likaså vitaktig haka, och hals och bröst är något blekare än ovansidan.
Dvärgskarven är lite större och kraftigare, med tydligare vita plymer i häckningsdräkt. Utanför häckningstid är den lite brunare på kroppen, mer vitfläckig på undersidan samt har en mjukare övergång från vit haka till brun hals.
Fågeln förekommer på lågland från Indien till Sydostasien och norra Java. Den betraktas som monotypisk, det vill säga att den inte delas in i några underarter. Tidigare har den tidvis behandlats som underart till dvärgskarv.
Småskarven föredrar sötvatten där den vanligtvis uppträder i flock. Den häckar i kolonier, varierande tider på året i olika delar av utbredningsområdet.
Artens populationstrend är oklar, men utbredningsområdet är relativt stort liksom världspopulationen. Internationella naturvårdsunionen IUCN anser inte att den är hotad och placerar den därför i kategorin livskraftig.