Desmond wurde 1924 als Paul Emil Breitenfeld in San Francisco, Kalifornien, als Sohn von Shirley (geb. King) und Emil Aron Breitenfeld geboren. Sein Großvater Sigmund Breitenfeld wurde laut einem Nachruf 1857 in Österreich geboren. Der Arzt Sigmund Breitenfeld emigrierte Ende des 19. Jahrhunderts mit seiner Frau Hermine (geb ihre vier Kinder (einschließlich Desmonds Vater Emil) ohne Religion. Im Interview mit dem Desmond-Biographen Doug Ramsey sagte Desmonds Cousin ersten Grades Rick Breitenfeld, dass niemand in der Familie Breitenfeld Beweise für jüdische Abstammung oder jüdische religiöse Observanz finden konnte, aber Paul Desmond und Mitglieder der Familie seines Vaters „spekulierten häufig darüber, ob Sigmund oder nicht“ Hermine Breitenfeld hatte jüdische Hintergründe".Lewy , der Mädchenname von Pauls Großmutter väterlicherseits Hermine, ist eher jüdischer Herkunft, aber es sind keine Beweise für ihre Genealogie aufgetaucht." Fred Barton , Songwriter/Arrangeur und Desmonds Cousin, fand jedoch umfangreiche genealogische Beweise dafür, dass sowohl die Breitenfeld und die Löwy-Familien waren böhmische Juden.Die Familie Breitenfeld in Böhmen und Wien stellte Musiker jeder Generation während des 19. und 20. Jahrhunderts und bis heute dar. Desmonds Mutter, geborene Shirley King, war katholisch und irischer Abstammung.

Desmonds Vater Emil Breitenfeld war Pianist, Organist, Arrangeur und Komponist. Breitenfeld begleitete Stummfilme in Kinos und produzierte musikalische Arrangements für Printpublikationen und für Live-Theaterproduktionen. Während des Ersten Weltkriegs , während Breitenfeld beim 17. New York Regiment in Plattsburgh, New York , trainierte , komponierte er The Last Long Mile , eines der bekanntesten Soldatenlieder dieses Krieges.

Desmonds Mutter Shirley war während seiner gesamten Kindheit emotional instabil und scheint an Zwangsstörungen und anderen psychischen Erkrankungen gelitten zu haben . Ab 1933 lebte Desmond wegen der psychischen Probleme seiner Mutter fast fünf Jahre bei Verwandten in New Rochelle, New York .

Desmond begann im Alter von zwölf Jahren Klarinette zu lernen, die er während seiner Zeit an der San Francisco Polytechnic High School fortsetzte . Während der High School wollte er Geige lernen, aber sein Vater riet ihm davon ab, Geigenspieler seien "ein Dutzend Groschen ... mit der Geige verhungerst du". Desmond entwickelte auch während der High School ein Talent zum Schreiben und wurde Mitherausgeber seiner High-School-Zeitung. In dieser Funktion interviewte er den Komiker Bob Hope für seine Schülerzeitung während eines von Hopes Besuchen in San Francisco. Als Neuling am San Francisco State College begann Desmond Altsaxophon zu spielen . In seinem ersten Jahr am College wurde Desmond zur US-Armee eingezogenund trat der Army Band bei, während er in San Francisco stationiert war. Er verbrachte drei Jahre beim Militär, aber seine Einheit wurde nicht zum Kampf berufen.

Im Jahr 1946 änderte Desmond nach seiner Entlassung aus dem Militär seinen Nachnamen von Breitenfeld in Desmond. Er erzählte im Laufe der Jahre viele Geschichten darüber, wie er den Namen Desmond wählte, aber sein Biograf Doug Ramsey bietet einen Bericht von Desmonds Freund Hal Strack an, dass die beiden 1942 den Sänger der Gene Krupa- Band Johnny Desmond hörten , und Desmond sagte Strack „das ist So ein toller Name. Er ist so glatt und doch ungewöhnlich ... Wenn ich mich jemals entschließen sollte, einen anderen Namen zu brauchen, wird es Desmond sein." Desmond war von 1947 bis 1949 mit Duane Reeves Lamon verheiratet. Nach seiner Scheidung blieb er für den Rest seines Lebens Single.