Galerie Benedikta Rejta vznikla roku 1965 osamostatněním oddělení umění Okresního muzea. Činnost zahájila v historickém domě v Pivovarské ulici. Do roku 1991 galerie vystavovala v pronajatých prostorách, tzv. Malé síni na náměstí. V letech 1967–1989 probíhala rekonstrukce budovy městského pivovaru pro potřeby galerie. V roce 1993 vypracoval arch. E. Přikryl projekt na přestavbu objektu a podle něj byla stavební rekonstrukce v roce 1996 ukončena. Od roku 1967 galerie spravuje také Pamětní síň Emila Filly na zámku v Peruci.

Konstruktivistické tendence českého výtvarného umění reprezentují díla J. Koláře, M. Grygara, Č. Kafky a dalších, zahraniční umění této orientace představují práce V. Vasarelyho, K. H. Adlera, V. Kolejčuka aj. Lounskou konstruktivistickou tvorbu zastupují K. Linhart, V. Mirvald, Z. Sýkora a další. Ve sbírkách se též nacházejí autorské soubory a pozůstalosti některých význačných uměleckých osobností 20. století, kolekce předválečného výtvarného a užitého umění a pozůstalost Emila Filly.