Yrjö Jylhä syntyi yksitoistalapsisen perheen kahdeksantena lapsena. Hänen isänsä oli kauppias Kaarle Juho Jylhä ja äitinsä Ida Maria (o.s. Kovettu, k. 1917). Tukholman olympialaisten aikaan 9-vuotias Jylhä innostui urheilusta ja harrasti nyrkkeilyä, juoksua, kuulantyöntöä, kiekkoa ja keihästä. Jylhä saavutti lyseoaikanaan 1920-luvulla Tampereen koulujen välisen keihäänheittomestaruuden. Koululaisena Jylhä oli vilkas mutta herkkä, ja hän toimi aktiivisesti koululaisseuran puheenjohtajana. Jylhä pääsi ylioppilaaksi 1922 Tampereen klassillisesta lyseosta, ja asevelvollisuutensa hän suoritti Porin rykmentissä. Hän opiskeli ensin Turussa mutta siirtyi vuoden kuluttua Helsingin yliopistoon.
Jylhä aloitti kirjallisen uransa seitsemännellä luokalla kirjoittamalla Nuoreen Voimaan runoja nimimerkillä Y. Myöhemmin 1920-luvulla hän kirjoitti Tulenkantajien ryhmässä, ja hänen ensimmäiset runonsa ilmestyivät Tulenkantajien yhteiskokoelmissa. Jylhän ensimmäinen itsenäinen runoteos Ruoskanjäljet ilmestyi 1926, ja kaikkiaan hän julkaisi kuusi runokokoelmaa. Jylhän lyriikalle ovat tyypillisiä rytmin ja loppusointujen taitava käyttö sekä etenkin varhaisissa kokoelmissa aiheiden jylhyys, synkkyys ja elämänpessimismi.
Jylhä palveli talvisodassa komppanianpäällikkönä. Välirauhan aikana hän julkaisi tunnetuimman runokokoelmansa Kiirastuli (1941).
Runoilijanuransa ohella Jylhä työskenteli suomentajana. Hän on kääntänyt suomeksi maailmankirjallisuuden klassikoita, kuten William Shakespearen tärkeimmät näytelmät, John Miltonin runoeepoksen Kadotettu paratiisi, Ranskan kansalliseepoksen Rolandin laulun, La Fontaine eläintarinoita sekä valikoimia maailmanrunoutta. Myös esimerkiksi Viktor Rydbergin rakastettu jouluruno 'Kotitonttu' on Jylhän suomentama.