5 Nisan 1945 tarihinde İstanbul'un Bakırköy ilçesinde dünyaya geldi. Babası Azerbaycan asıllı Mehmet Karaca ve annesi Ermeni asıllı Toto KARACA (İrma Felegyan) olan Cem Karaca, ortaöğrenimini Robert Lisesi'nde tamamladı. Müzikle ilk tanışması annesinin teyzesi Rosa Felegyan'ın Cem Karaca'ya piyano notaları ve piyano nağmeleri öğretmesiyle oldu. Kolej yıllarındayken dünyadaki popülaritesini arttıran rock müziğine ilgi duydu. Kız arkadaşlarını etkilemek için ve arkadaşlarının istekleri doğrultusunda dönemin rock yıldızlarının şarkılarını söyledi. Cem Karaca'nın ses yeteneğini ise annesi Toto Karaca keşfetti. Beyoğlu Spor Kulübü'nde arkadaşları ile sahne alan Cem Karaca, daha sonra grup kurmaya karar verdi. Gruba o dönemin ünlü sanatçılarından İlham GENCER destek oldu. Usta sanatçının ilk grubu 1963'te Dinamikler oldu. Grup olarak Elvis Presley gibi ünlü rock and roll sanatçılarının klasiklerini yorumluyorlardı. 1963'ün sonunda grup dağıldı. Kısa bir süre 'Cem Karaca ve Bekledikleriniz' adlı bir grupta çaldı. Bu gruptan kısa bir süre sonra ise Gökçen Kaynatan'ın orkestrasında çaldı. Türkiye'nin iki ucu olan Edirne ve Ardahan'dan esinlenerek 'Edirdahan' adında müzik grubu kurdu. Grupla kaydettiği ilk ve son teklisi Safinaz'ı yayınladı. Bu plak Türkiye'de daha önce hiç görülmemiş olan 18 dakikalık bir rock operaydı. 1979'da grup dağıldı, Cem Karaca da uzun yıllar sonra ilk kez yanında bir grup olmadan solo olarak çalışmaya başladı. Bu dönemde ayrıca Almanya'ya taşındı. 12 Eylül Asker Darbesi sonrası Sıkıyönetim Mahkemesi tarafından Melike DEMİRAĞ, Selda BAĞCAN, Şanar Yurdatapan ve Sema Poyraz ile birlikte Cem Karaca da yurda çağrıldı. 13 Mart 1981'e kadar süre tanındı. Bonn'da yaşayan Cem Karaca, yurda dönmek için ek süre istedi. 15 Temmuz 1982'ye kadar Cem Karaca'nın süresi uzatıldı ancak Karaca, Türkiye'ye dönmeyeceğini belirtti ve süresi dolduktan sonra ise 6 Ocak 1983'te Yılmaz Güney ile aynı gün Türk vatandaşlığından çıkarıldı. Cem Karaca, bir yandan da müzik hayatına devam etti. Almanya'daki müzisyen arkadaşı Fehiman Uğurdemir ile birlikte 1982'de Bekle Beni albümünü yayınladı. 1985'te Karaca, arkadaşı Mehmet Barı aracılığıyla Başbakan Turgut ÖZAL ile görüşerek, ülkeye geri dönme isteğini bildirdi ve Münih'e gelen Özal ile konuştu. Özal'ın olumlu yanıt vermesi ile hukuki işlemler başlatıldı. Yıl sonunda vatandaşlıktan çıkarılmasına sebep olan davadan beraat etti. 1987'de de hakkında verilen gıyabi tutuklama kararı kaldırıldı. 29 Haziran 1987'de Cem Karaca, Türkiye'ye döndü. Murat Töz, Barış Göker ve Cengiz Tuncer ile Cem Karaca Trio olarak sahne almaya başladı. Mayıs 2001'de ise Barış MANÇO'nun ölümü ile vokalistsiz kalan Kurtalan Ekspres ile beraber çalmaya başladı. Harbiye Açıkhava Tiyatrosu Konserleri'nde sahne aldılar. 2002'de Yol Arkadaşları adlı grubu kurup yine onlarla sahne aldı. 8 Şubat 2004 sabahında, solunum ve kalp yetmezliğine bağlı olarak ağır kalp krizi geçirdi. Uygulanan tüm müdahalelere rağmen kaldırıldığı Bakırköy Acıbadem Hastanesi'nde 58 yaşında hayata gözlerini yumdu.