Miletics Borbála gazdag komáromi polgárasszony 1709-ben kelt végrendeletében két bolthelyiséget és házát a szegényekre hagyta, megalapítva a szegényházat, amelynek a szomszédságában 1750-ben kápolnát építettek, amely nem sokkal ezután az 1763-as földrengésben megsérült, 1768-ban pedig leégett. A szegényházat, amely 12 szegénysorsú embert fogadott be, jelentős összeggel támogatta Bärnkopf Ignác esztergomi kanonok is. A szegényházban élők évente kétszer, Húsvétkor, valamint Szent Anna napján kéregethettek a városban.
A szegényház és a kápolna az 1848-as tűzvészben leégett. A kápolnát helyreállítása után (mivel a korábban általuk használt Szt. János-templom nem épült újjá) a város német lakosai használták. Két kis harangját az első világháború idején beolvasztották, később, 1922-ben öntöttek újat Dosztál Jakab műhelyében. A szegényház (az infláció miatt az 1920-as évektől adományokból működve) egészen 1945-ig fennállt.
