Galerie byla založena v roce 1956 a veřejnosti zpřístupněna v květnu 1958. Hlavním sídlem je měšťanský dům v Michalské ulici, situovaný na parcelu dvou až tří menších gotických domů, spojených renesanční přestavbou, patrně z roku 1569. Po ní následovala přestavba barokní s ponecháním některých renesančních prvků. Galerii dále patří objekty v Michalské ulici č. 30 a 31 a objekty č. 24 a 25 na Mírovém náměstí. Všechny její domy jsou součástí městské památkové rezervace. V roce 1992 byl otevřen bývalý jezuitský kostel Zvěstování Panny Marie, kde každoročně probíhají výstavy a další kulturní akce. Dne 28. 9. 1995 galerie otevřela Diecézní muzeum v Litoměřicích.

Stálá expozice galerie zahrnuje sbírky gotického umění 13. až 16. století (Pieta z doby kolem 1390, díla Mistra litoměřického oltáře, Mistra I. W. ad.).

V Diecézním muzeu v Litoměřicích mohou návštěvníci zhlédnout čtyři románské sochy evangelistů z kostela v Žitenicích z let 1180-1190, Madonu v Uzavřené zahradě od Mistra Tiburtinské Sibylly, obraz sv. Antonína poustevníka od L. Cranacha st., dále pak díla K. Škréty, A. Kerna, J. Steena, J. Willemsze de Wet, díla flámského malíře 17. století a další.