Den japanska skarven har en slät, kolsvart fjäderdräkt med en metallisk smaragdglans. Den har en lång, krokig näbb designad för att greppa hala fiskar och kraftfulla simfötter för dykning. Till skillnad från ankor absorberar dess fjädrar vatten för att minska flytkraften, vilket gör att den kan jaga djupt under vattnet. Man ser den ofta sitta med vingarna spridda vida för att torka.