Otac mu je bio Elek (Aleksije) Vrhovac, graničarski kapitan, a majka mu je bila Antonija Znikija. Studirao je teologiju u hrvatskom kolegiju u Beču. Profesor dogmatike na Zagrebačkoj akademiji i vicerektor sjemeništa u Zagrebu, potom - istodobno s ukidanjem sjemeništa u Zagrebu (i istodobno s ukidanjem svih drugih studija teologije uz biskupije i nadbiskupije) - postavlja ga car Josip II.1786. godine za rektora Središnjeg teološkog učilišta u Pešti, jedne od najvažnijih institucija koje su trebale osigurati uspjeh jozefinističkih reformi; na toj dužnosti dočekuje imenovanje za biskupa u Zagrebu 1787. godine. U povijesti zagrebačke biskupije zabilježen je kao najmlađi ordinarij (ustoličen je u dobi od 35 godina), s najdužim "mandatom" (40 godina).
Jedan je od idejnih začetnika hrvatskog narodnog preporoda, 1794. godine u Zagrebu osniva tiskaru, koja uglavnom tiska naslove na hrvatskom jeziku. Bio je mecena mnogim umjetnicima, uvijek uz naglasak da se promovira "ilirska" kultura. Vrhovčeva prosvjetiteljska usmjerenost najjače je izražena u njegovu neumornom zalaganju na prikupljanju nacionalnog duhovnog blaga i širenju knjige u hrvatskom narodu. On sam nabavlja sve što bi moglo pridonjeti duhovnom probitku naroda i razvoju znanosti u Hrvata. 1808. predlaže Hrvatskom saboru da se njegova knjižnica otvori javnosti.
1827. godine osniva Društvo skladnoglasja za Hrvatsku, koje od 1925. djeluje pod imenom Hrvatski glazbeni zavod. Vrhovac je prokušao sastaviti Bibliju na narodnom jeziku, odnosno prevesti Sveto pismo na kajkavsko narječje hrvatskog jezika. U planu su djelovali zagrebački svećenici, kao Stjepan Korolija, Ivan Krstitelj Birling, Tomaš Mikloušić, Ivan Nepomuk Labaš, Ivan Rupert Gusić i Antun Vranić. Neke knjige Starog i Novog zavjeta su uspjeli prevesti, ali kako je Vrhovac umro, program se prekinuo. Zatim je Ignac Kristijanović probao produžiti prevođenje kajkavske Biblije. Međutim je u to vrijeme već bila sazrela opcija, da se hrvatski književni jezik nastavi razvijati na osnovama štokavskog govora.