A kápolnát és a mellette levő elszegényedett nemeseket befogadó ispotályt báró Zichy Ádám 1741-es végrendeletének köszönhetően építették. A szegényház később nyomda, majd könyvkereskedés lett. Az egyhajós Szent József-kápolna volt a város első polgári kápolnája.
A gyámház lakásait öt szegény foglalhatta el és részesülhetett egyúttal az alapítvány juttatásaiban. 1904-ben Spitzer Géza vásárolta meg az épületet és a város legnagyobb nyomdájává és könyvkereskedésévé alakította. Az épület földszintjén a mai napig működik egy könyvesbolt.
A kis egyhajós kápolnahelyiség gazdagon díszített oszlopai, a főoltár és a festmények hűen tükrözik a későbarokk időszakot. Az oldalsó bejárat felett egy dombormű található kereszttel és az 1808-as évből származó felirattal.
