Josip Marija Carević rođen je u Metkoviću 16. veljače 1883. godine u obitelji s više djece. Rano je ostao bez oca, pa se očekivalo da će izabrati zvanje kojim će moći preuzeti ulogu hranitelja obitelji. Kada je pokazao želju za svećeništvom, majka je to prihvatila. Školovao se u klasičnoj gimnaziji u Splitu, potom je studirao na Papinskom sveučilištu Gregoriana u Rimu, gdje je doktorirao filozofiju i teologiju. Za svećenika je zaređen 28. listopada 1908. godine.
Pastoralno djelovanje započeo je u Splitu, gdje je bio kateheta, profesor i duhovnik, a od 1924. godine kanonik Stolnog kaptola. Snažno je iskazivao socijalnu svijest, te su ga prozvali ocem siromaha.
Dubrovačkim biskupom imenovan je 13. travnja 1929. godine. Za biskupa je posvećen 4. kolovoza u Zagrebu, a u posjed biskupije ušao je na Malu Gospu iste godine. Za vrijeme svoje biskupske službe biskup Carević stalno je nastojao biti što bliže onima najmanjima na čija je pleća padao najveći teret ekonomske krize u tom nestabilnom vremenu. Pomagao je zalažući se za zbrinjavanje najsiromašnijih i za dobru duhovnu klimu. Organizirao je podizanje križa na Srđu.
Zatražio je razrješenje od službe te je umirovljen 1940. godine. Nastanio se u Zagrebu i stavio na raspolaganje zagrebačkom nadbiskupu Alojziju Stepincu. Obavljao je razne službe na udaljenim župama, a u drugoj polovici rata boravio je u Vižovlju u Hrvatskom zagorju duhovno pomažući puk na tromeđi župa Veliko Trgovišće, Klanjec i Luka.
Najvjerojatnije je na Veliki petak 1945. godine okrutno mučen i umoren. Do danas se ne zna gdje su pokopani njegovi posmrtni ostaci.
