Urodził się wprawdzie w Panamie, ale już we wczesnym dzieciństwie jego rodzina przeniosła się do Nowego Jorku. Tam Billy Cobham rozpoczął naukę w High School of Music and Art, którą ukończył w 1962. Początek lat 70. to zainteresowanie się Billy Cobhama muzyką fusion i współpraca z takimi muzykami jak: zespół Brecker Brothers, gitarzysta John Abercrombie i z Milesem Davisem. Wziął m.in. udział w nagraniu płyt Live-Evil i A Tribute to Jack Johnson. Billy Cobham zrewolucjonizował sposób gry na perkusji i hi-hacie. Nawiązanie współpracy z gitarzystą Johnem McLaughlinem zaowocowało powstaniem zespołu The Mahavishnu Orchestra. W 1973 Cobham nagrał swój pierwszy album solowy, zatytułowany Spectrum. Za to z zespołem, nagrał on dwa pierwsze albumy studyjne. The Mahavishnu Orchestra stał się symbolem muzyki fusion.