Чарльз Виргман прибыл в Японию в 1861 году как корреспондент газеты «The Illustrated London News», он жил в Иокогаме с 1861 года до самой смерти. The Japan Punch издавался ежемесячно с 1862 по 1887 год в юмористическо-сатирической форме и содержал иллюстрации Чарльза Виргмана.
Виргман, вместе с британским фотографом Феликсом Беато, организовал фирму «Beato & Wirgman, Artists and Photographers», существовавшую с 1864 по 1867 годы. С 1866 года с Феликса Беато очень часто рисовали карикатуры в журнале The Japan Punch, основанном Виргманом.[3] Иллюстрации Чарльза Виргмана для газеты The Illustrated London News часто основывались на фотографиях Феликса Беато, сделанных по пути.[4]
Виргман учил западному стилю рисования японских художников, в том числе художника укиё-эКобаяси Корэтику.
В 1860-е годы он сопровождал британского дипломатического представителя Эрнеста Сатоу в поездках по Японии, как описано в работе Сатоу «Diplomat in Japan».
Могила Виргмана находится в иностранном кладбище в Иокогаме, в районе Яматэ где в конце XIX века находилось «иностранное поселение».
The Genius of Mr. Punch: Life in Yokohama’s Foreign Settlement: Charles Wirgman and the Japan Punch, 1862—1887, compiled and annotated by Jozef Rogala, Translations by Hitomi Yamashita, Yurindo Co. Ltd, Yokohama 2004. ISBN 4-89660-187-4
