Schwartz syntyi New Jerseyn Weehawkenlaisilleissa itävalta vanhemmille. Hän valmistui New York City's High School of Performing Artsista sekä Juilliard Schoolista ja aloitti musikaalisen uransa trumpetistina; hän oli vuoteen 1973 saakka New Yorkin filharmonikkojen ykköstrumpetisti.
Schwartz tunnetaan varsinkin hänen tulkinnoistaan yhdysvaltalaisen musiikin alalla. Hän on levyttänyt muiden muassa Alan Hovhanessin sekä David Diamondinin tuotantoa ja Liverpool-aikanaan Gustav Mahler sinfoniat ja Richard Straussin sävelrunoelmat. Hän oli vuosina 1982–2001 New Yorkin Mostly Mozart -juhlien musiikillinen johtaja ja sai vuonna 1989 Ditsonin kapellimestaripalkinnon.
