Izvorni Židovski muzej u Beču je osnovan 1896. godine i bio je prvi muzej takve vrste u svijetu. Muzej je postojala uz podršku "Društvo za prikupljanje i očuvanje umjetničkih i povijesnih spomenika židovstva." On je fokusiran na povijest i kulturu Židova u Austro-Ugarske Monarhije. Njegova zbirka predmeta i proizvoda iz Palestine također odražava političku raspravu o cionizmu. Muzej je zatvoren odmah nakon okupacije Austrije strane nacista. U posljednjoj godini svog postojanja, on je imao 6474 različitih artikala. Godine 1939. oni su prebačeni u Muzeju za etnologiju i drugih institucija.

Većina predmeta su se vratili u židovskoj zajednici u ranim 1950-ih, ali neke je uspio vratiti samo u 1990. godini. Mnogi od izložaka su izgubili. Kada novi židovski muzej ima popis, utvrđeno je da polovica izvornih predmeta nestao. Ali ostatak stvari su vrlo rijetki eksponati koji predstavljaju kao objekte svakodnevnog života i jedinstvenih materijala.

31. prosinac 1964 mala židovska Muzej je otvoren u novosagrađenoj zgradi na Tempelgasse, ali je dobio gotovo nikakvu pozornost javnosti. Nakon 3 godine muzej je zatvoren.

Prva izložba novog Jewish Museum Beč otvoren 7. ožujka 1990. u privremenim prostorijama u uredima židovske zajednice. Značajan dio izložbe čine zbirke Max Berger. Godine 1992. muzej preselio u svom sadašnjem domu u palači Eskeles Doroteegasse. Muzej godinu dana kasnije je otvoren, 1993. godine. Knjižnica je otvorena za javnost od 1994.

Od jeseni 2011. godine, muzej je otvorio svoja vrata, nakon potpune obnove, kao i same zgrade i ažuriranje stalna izložba. Renovirana Židovski muzej pozdravlja posjetitelje novog sustava rasvjete, koji je izrađen u skladu s izvornikom. Stalni postav u muzeju se nalazi u tri zone.