Peter Visser werd geboren op 2 april 1939 te Heerenveen, provincie Friesland en groeide op in een onderwijzersmilieu met weinig muzikale achtergrond. Tot zijn veertiende jaar woonde hij in een dorpje in Friesland (Oranjewoud) en dankte aan deze jeugd zijn natuurliefde. In 1953 verhuisde hij met zijn ouders naar Den Haag, waar hij het Gymnasium bezocht, daarnaast ijverig componeerde, tevens verhalen en gedichten  schreef en actief lid was van de Nederlandse Jeugdbond voor Natuurstudie (NJN). Zijn belangstelling voor literatuur, schilderkunst, natuurgeluiden en volksmuziek, in die tijd ontwikkeld, klinkt in veel latere werken door

Na zijn eindexamen in 1958 studeerde Peter Visser aan het Koninklijk Conservatorium voor Muziek te Den Haag piano, muziektheorie, altviool en compositie, het laatste vak bij de avantgardist Kees van Baaren, die hem in de richting van twaalftoonsmuziek en serialiteit trachtte te leiden. Na ruim een jaar bleek dit niet de richting van Peter Visser te zijn. Hij verliet tijdelijk het compositie-pad en concentreerde zich op de muziektheorie (examen 1961 met Nicolaï-prijs) en piano solo (eindexamen 1965 met onderscheiding) en behaalde tevens het diploma als begeleider in 1967.

Door zijn vermogen tot en zijn liefde voor het improviseren werd hij al in 1961 aangesteld als begeleider van de Dansvakopleiding van het Conservatorium, een funktie die hij ook twee jaar (1969-'70) vervulde bij het Nederlands Danstheater. Daarnaast is hij sinds 1966 als muziekcriticus verbonden aan de Haagse Courant met een tussenperiode van 1980 tot 1983 bij de cultuurgerichte Haagse krant Het Vaderland. Hij bleef daarbij gedichten en verhalen schrijven. Hij publiceerde in de periode 1983/89 regelmatig artikelen in het muziekvakblad Mens en Melodie en ook in het blad van de Frank Martin Stichting, waarvan hij vijf jaar bestuurslid was. Vanaf 1986 was Peter Visser aan het Koninklijk Conservatorium te Den Haag werkzaam als correpetitor en pianoleraar. Hij organiseerde tevens de voorspeelavonden van de Jong Talent-opleiding aldaar, gaf  kamermuzieklessen en was veelvuldig werkzaam als concoursbegeleider. In 2001 ging hij met pensioen. Sindsdien speelt hij als altist in diverse orkesten en als pianist in diverse kamermuziekensembles, schrijft artikelen en componeert nog regelmatig. Zijn werk wordt momenteel in ons land regelmatig gespeeld maar ook in het buitenland uitgevoerd.