Az együttest 1968-ban alapította Ian Anderson fuvolás. Különlegességük, hogy az énekes Ian Anderson fuvolázik is, ezzel létrehozva egy az átlagtól eltérő hangzást.
A nevüket onnan kapták, hogy állandóan új nevet választottak maguknak, mert soha nem hívták őket vissza a klubok, miután felléptek, és egy új névvel megint bepróbálkozhattak. A Jethro Tull nevet az egyik történelemmániás zenész javasolta. Jethro Tull egy 18. századi mezőgazdász volt, ő találta fel a sorvetőgépet. Végül megtartották a nevet, mert a londoni Marquee Club vezetője, John Gee visszahívta őket játszani.
Az első kislemezükre véletlenül Jethro Toe-t írtak, és nem is lett túlságosan sikeres. Ezután megjelent az első nagylemezük, az 1968-as This Was. A lemez inkább bluesos vonalat követett, a rock még csak elvétve volt található rajta. Az albumon Anderson csak énekel, ritkán csillogtatja meg fuvolatudását.
1969- ben kiadták a Stand Up albumot, amin már sokkal többet lehet hallani Anderson fuvoláját. Az album listavezető lett.
1971-től progresszív rockot játszanak, de a fuvola a mai napig minden számban szerepel.