McCrae fue el segundo de nueve hermanos, nació en West Palm Beach, Florida. Formó su primer grupo, the Jivin’ Jets, antes de alistarse en el ejército en 1963. Cuatro años más tarde, tras finalizar su servicio militar, quiso formar una nueva banda junto a su esposa Gwen, pero finalmente decidieron trabajar juntos como dúo, grabando con el sello discográfico de Henry Stone. A Gwen entonces le ofrecieron un contrato discográfico como solista y McCrae comenzó a ejercer como su mánager. También comenzaron a actuar regularmente en clubes de Palm Beach.
A punto estuvo de regresar a la universidad para estudiar derecho cuando recibió la invitación de Richard Finch y Harry Wayne Casey de KC and the Sunshine Band, que necesitaban a alguien que pudiera llegar a notas altas para cantar un tema que la banda había grabado previamente. La idea original era que su esposa, Gwen, lo cantara pero a esta no pudo llegar a tiempo a la sesión y fue McCrae quien acabó cantando el tema en solitario, adaptando la canción a su voz aguda. “Rock Your Baby”, se convirtió en uno de los primeros éxitos de la música disco, llegando a vender más de once millones de copias en todo el mundo y encabezando las listas de éxitos de Estados Unidos y Europa. La revista Rolling Stone la eligió como la mejor canción del año 1974. McCrae fue también nominado a un Premio Grammy en la categoría de “Mejor interpretación masculina de R&B” el año siguiente.
Publicó dos sencillos más, “I Can’t Leave You Alone” e “It’s Been So Long” que alcanzaron el “top 10” de las listas de éxitos británicas. En 1975 publicó el álbum George McCrae y en 1976, Diamond Touch. Continuó además ejerciendo de mánager para su esposa hasta su divorcio en 1976. En 1978 publicó We Did It! pero a medida que la década avanzaba, la popularidad de McCrae fue paulatinamente decayendo. A finales de los 70 abandonó temporalmente la música y se mudó Canadá.

