Martinin ristimänimi oli James H. Martin ja hän syntyi Sneedvillessä, Tennesseessä. Vuodesta 1949 lähtien Martin toimi laulajana Bluegrass Boys -yhtyeessä. Vuonna 1955 hän perusti oman yhtyeensä, The Sunny Mountain Boysin. Vuonna 1971in Martin esiintyi Nitty Gritty Dirt Band albumilla Will the Circle be Unbroken. Martin kuoli virtsarakon syöpään toukokuussa 2005.