Der Friedhof entstand schon um 1234 als Begräbnisplatz für Leprakranke. Um 1250 baute man eine Kapelle. Die heutige Johanniskirche wurde 1377 geweiht. Die Kapelle hat ihr Aussehen seither kaum verändert. 1446 erfolgten einige Umbauten, um die Leprakranken von den Gottesdienstbesuchern zu trennen.
Die Kirche selbst war lange Begräbnisort für das Nürnberger Patriziat. Alle hochgestellten Patrizier wollten in der Kirche beerdigt werden. Bald war sie mit Särgen überfüllt. Nach 1800 wurden die Grabmale aus der Kirche entfernt. Die Johanniskirche hat wertvolle Altäre.
Da es um 1500 nicht mehr möglich war, in den Friedhöfen von St. Sebald, St. Lorenz und dem Heilig Geist Spital aus hygienischen Gründen Beerdigungen vorzunehmen, erließ Kaiser Maximilian ein Mandat, das in Pestzeiten alle Beerdigungen außerhalb der Stadt zu erfolgen haben.
Ab 1540 erfolgten alle Bestattungen auf St. Johannis und dem Rochusfriedhof.