A banda surgiu da união de integrantes da Blues Band, uma banda de blues, com integrantes da Alta Tensão, banda de heavy metal, tendo em sua formação original: João Bosco (baterista), Marcos Yallouz (baixista), Alex Batata (vocalista e gaitista) e Fábio Brum (guitarrista).
Em janeiro de 1997, Fábio Brum muda-se para os Estados Unidos, e entra em seu lugar o guitarrista Fábio "Corvo" Terra. Seis meses depois, em junho de 1997, Alex Batata é assassinado enquanto protegia uma amiga de uma ex-namorada.
Entram, então na banda, Rodrigo Tozzette na voz e guitarra e Gilson "Dedos de Borracha" Junior nos teclados, mudando a formação de quarteto para quinteto, começando a demonstrar uma nova veia Southern Rock, evidenciada pela entrada do piano mais boogie e da inclusão da Slide guitar. Nesse período de readaptação, O Bando do Velho Jack começa a incluir várias incursões instrumentais caracterizando-se como uma banda de "Jam".
Também produzem releituras para músicas regionais do Mato Grosso do Sul, transformando-as em rocks, como é o caso do clássico pantaneiro "Trem do Pantanal" (de Paulo Simões e Geraldo Roca) que na versão original foi nacionalmente conhecida na voz de Almir Sater, outra influência, no ritmo de guarânia.
Em 2000 Gilson Junior é substituído por Alex "Fralda" Cavalheri, que já entra gravando o segundo CD e desde então vem tomando conta dos habituais pianos, mas também incluindo Moogs, sintetizadores e outras sonoridades peculiares ao som da banda, como a a música "Nuvens" do segundo CD.
Em 2007 O Bando do Velho Jack lança o CD Bicho do Mato. Mais tarde, a banda mergulha em problemas internos que culminam na saída de João Bosco, entrando em seu lugar Adriel Santos, baterista da banda Soul Music Adeia Black e que já havia tocado com a Fat Family. Com essa nova formação, a banda entra em estúdio em 2012 para gravar o CD com o nome ainda provisório Música Ultra Passada!, além do DVD 15 Anos de Rock e Teimosia.