Nato a Radovljica – Radmannsdorf (Slovenia) il 28 novembre 1797, dopo gli studi a Lubiana si laureò al prestigioso «Augustineum» di Vienna; dal 1829 insegnante di teologia a Lubiana, dal 1836 svolse incarichi di fiducia nell’amministrazione statale a Trieste ed a Vienna, per cui fu nominato dall’imperatore Abate mitrato di Petur (Ungheria). Eletto arcivescovo di Gorizia, fu consacrato a Lubiana, e prese possesso della diocesi il 24 giugno 1855.
I suoi 28 anni di episcopato – il più lungo della storia diocesana – costituiscono un periodo cruciale per la maturazione e l’esplosione in diocesi dei grandi dinamismi religiosi, culturali e sociali del tempo: i nazionalismi, l’ultramontanismo romano, la tensione liberalismo-cattolicesimo in Austria, la «questione sociale». Di notevole cultura e di grande esperienza di governo, Gollmayr seppe promuovere sia il potenziamento delle strutture diocesane per i nuovi compiti (il Seminario minore, nel 1858; la sistemazione e l’ampliamento del complesso arcivescovile e del suo «ronco», nonché l’organizzazione della residenza di campagna a Spessa di Capriva, donata dal Conte Camillo Thurn; il riordino della Curia con annessa tipografia e litografia; l’erezione di 20 nuove stazioni curate), sia nuove forme di presenza culturale e sociale dei cattolici (istituti educativi e scolastici, la pubblicazione del «Folium» diocesano dal 1875, le prime forme di organizzazione politica delle due nazionalità, spesso ancora unitarie). Spicca, durante il suo episcopato, la fioritura di notevoli personalità del clero nell’ambito del Seminario centrale (S. Kociančič, J. Hrast, D. Alpi, L. Zorn, G. Valussi) o avviate agli studi, in particolare all’Augustineurn» (F. B. Sedej, A. Gregorčič, G. Flapp).
Partecipò al Concilio Vaticano I, seguendo quella corrente dell’episcopato austriaco che sostenne la «inopportunità» della definizione dell’infallibilità pontificia, che poi accettò e promulgò in diocesi.
Già logorato dagli anni, mori a Gorizia il 13 marzo 1883.
