Na hlavnom námestí mesta Komárno bola postavená budova rodiny Zichyovcov. Po stáročia hrala dôležitú úlohu v dejinách mesta. Bolo využívané ako divadlo, obytný dom, synagóga, pošta, pivnica a na rôzne iné účely.
Dňa 28. júna 1763 obrovské zemetrasenie otriaslo Komárnom. V dôsledku zemetrasenia zomrelo 63 ľudí, bolo 102 zranených ľudí, 7 kostolov a 279 budov sa zrútilo. Časť budov sa zrútila, mestské budovy sa vážnejšie poškodili, a iba 9% budov zostalo neporušených. Zichyho palác bol tiež vážne poškodený zemetrasením. Podľa prameňov bola dnešná budova prestavaná v roku 1775 grófom Ferencom Zichym v klasicistickom štýle.
Budova bola postavená na veľmi dobrej lokalite a bola vždy v centre diania.
Budova slúžila divadlu až do roku 1827, potom slúžil ako židovský chrám, ktorý bol prestavaný na nemecký dom, po vybudovaní Nádvoria Európy.
V paláci je dnes stála historická výstava, ktorá prezentuje návštevníkom bezmála storočné obdobie novších dejín Komárna, neobyčajne bohaté na prevratné hospodárske, spoločenské a politické zmeny. Exponáty prvých dvoch siení dokumentujú históriu mesta v období od porážky maďarskej buržoáznej revolúcie do rozpadu Rakúsko-Uhorska (1849-1918). Po vzniku Československa, od januára 1919 sa časť Komárna na ľavom brehu Dunaja stáva pohraničným mestom novej republiky. S politickým, hospodárskym a bohatým spoločenskými kultúrnym životom Komárna v rokoch prvej Československej republiky oboznamujú návštevníkov predmety a dokumenty v nasledujúcich dvoch miestnostiach. V piatej sa môže návštevník oboznámiť so životom a vývojom mesta v období po viedenskej arbitráži (november 1938 - marec 1945), keď Komárno bolo pripojené k Maďarsku. Tu sú umiestnené aj predmety a dokumenty, ktoré sa viažu k udalostiam druhej svetovej vojny. Záver expozície tvoria tri interiéry, prezentujúce úroveň bývania v Komárne v medzivojnovom období. Expozícia je vytvorená celkove z približne 1300 originálnych predmetov a 229 fotodokumentov.
Nachádza sa tu pamätná izba rodákov z Komárna, Móra Jókaiho a Franza Lehára.
