Pôvodné Židovské múzeum vo Viedni bolo založené v roku 1896 a bol prvý múzeum svojho druhu na svete. Múzeum existuje s podporou "Spoločnosti pre zber a uchovanie umeleckých a historických pamiatok židovstva." Zameral sa na históriu a kultúre Židov v rakúsko-uhorskej monarchii. Jeho zbierka predmetov a výrobkov z Palestíny tiež odráža politickú diskusiu o sionizmu. Múzeum bolo uzavreté hneď po obsadení Rakúska nacistami. V poslednom roku svojej existencie, mal 6474 rôznych položiek. V roku 1939 boli prevedené do etnologické múzeum a ďalších inštitúcií.

Väčšina položiek bol sa vrátil k židovskej komunite na začiatku roka 1950, ale niektoré sa podarilo vrátiť len v roku 1990 roku. Mnoho exponátov boli stratené. Keď sa New Jewish múzeum má inventár, bolo zistené, že polovica z pôvodných bodov zmizla. Ale zvyšok vecí, sú veľmi vzácne exponáty, ktoré predstavujú ako predmety každodenného života, a jedinečných materiálov.

31. Decembra 1964 malé Židovské múzeum bolo otvorené v novo postavenej budove na Tempelgasse, ale získala takmer žiadnu pozornosť verejnosti. Po 3 rokoch je múzeum zatvorené.

Prvá výstava nového Židovského múzea vo Viedni otvorila 7. marca 1990 v provizórnych priestoroch v kanceláriách židovskej komunity. Významná časť výstavy bola tvorená z kolekcie Max Berger. V roku 1992 sa múzeum sťahoval do jeho aktuálneho domova v paláci Eskeles Doroteegasse. Múzeum bolo otvorené o rok neskôr, v roku 1993. Knižnica bola otvorená pre verejnosť od roku 1994.

Od jesene roku 2011 sa múzeum otvorilo svoje brány po kompletnej rekonštrukcii, rovnako ako samotné budovy, a aktualizovať stálej expozície. Renovovaný Židovské múzeum privíta návštevníkov na nový systém osvetlenia, ktorý bol vyrobený v súlade s originálom. Stála expozícia v múzeu sú umiestnené v troch zónach.