Er studierte in Frankfurt zunächst Schulmusik und Religionspädagogik, dann Kirchenmusik, u.a. Orgel bei H.-J. Bartsch, Cembalo bei Chr. Pfeiffer und schloss 1983 mit dem A-Examen ab. Es folgte ein zweijähriges Studium als Stipendiat des DAAD in der Orgel-Solo-Klasse von Marie-Claire Alain, in Paris. 1985 erhielt er hier einen ersten Preis mit Auszeichnung, 1986 den Prix d´Excellence. Verschiedene Meisterkurse bzw. Privatstunden bei namhaften Lehrern wie Luigi Ferdinando Tagliavini, Huguette Dreyfus (Cembalo) und Daniel Roth (Improvisation) rundeten die Ausbildung ab, die er 1986 mit dem Konzertdiplom abschloss. Von 1987 bis 2001 war er hauptamtlicher A-Kirchenmusiker in Lorch a. Rhein und veranstaltete über die Region hinaus bekannte Konzertreihen.

Derzeit ist er an der Kirchenmusik- A-Stelle des Bistums Limburg in Frankfurt/Niederrad tätig und leitet auf Bistumsebene seit 2007 die „Fachkommission Organistenausbildung“ und ist Prüfungsvorsitzender für die Diözese. Seit 1989 ist er außerdem Dozent für Orgelspiel (er leitet die Orgelklasse), Improvisation und angewandte Musiktheorie sowie Methodik an Dr. Hoch´s Konservatorium – Musikakademie Frankfurt. Von 2001 bis 2006 war er Lehrbeauftragter für künstlerisches Orgelspiel an der Staatl. Hochschule für Musik und Darstellende Kunst, ebenso in Frankfurt.

Seine Konzerttätigkeit im In- und  Ausland (Europa, Asien, Amerika) hat Johannes von Erdmann ebensoviel Anerkennung verschafft wie Rundfunk- bzw. Fernsehproduktionen und CD-Einspielungen. Ein besonderer Schwerpunkt seiner künstlerischen Arbeit gilt dem Orgelwerk Marcel Duprés. Er ist mit zahlreichen Kursen zu speziellen Themen der Orgelliteratur und der Improvisation, u.a. an der State University New York, hervorgetreten.

Der Rheingau-Taunus-Kreis verlieh ihm den Kulturpreis 1998.