Музей был учрежден 1 января 1934 года в качестве подразделения Всесоюзной Академии архитектуры. В его создании приняли участие крупнейшие учёные, реставраторы, практикующие зодчие. Музейный коллектив решал разнообразные задачи. Наряду с формированием коллекций велась активная научная и издательская деятельность, осуществлялся учёт памятников архитектуры, сотрудники регулярно выезжали в экспедиции.

В 1935 году музею были переданы территория и постройки Донского монастыря в Москве. Основная экспозиция разместилась в Большом соборе. Внутри монастырских стен под открытым небом установили художественные фрагменты разрушенных памятников, спасенные сотрудниками музея и ставшие частью коллекции. Музейное собрание включало материалы по отечественной архитектуре от средних веков до советской современности и по истории европейского, византийского, ближневосточного зодчества. Важнейшим объектом показа стал сам комплекс сооружений Донского монастыря и некрополь XVIII-XIX веков.

Второй архитектурный музей в Москве появился на волне национально-патриотического подъёма после Победы в Великой Отечественной войне. Накопление и сохранение сведений о памятниках русской архитектуры, многие из которых пострадали или были полностью утрачены, обрело новый смысл и исключительное значение в период послевоенного возрождения страны.

12 октября 1945 года заместитель председателя Совета Народных Комиссаров Союза ССР Вячеслав Молотов подписал Указ о создании в Москве Республиканского музея русской архитектуры. Для этих целей выделили городскую усадьбу Талызиных на Воздвиженке (ул. Коминтерна). Новый музей был создан по инициативе выдающегося архитектора Алексея Щусева, ставшего его первым директором. В отличие от Музея Академии архитектуры, ориентированного в первую очередь на специалистов, новое учреждение было обращено к самым широким кругам населения. По словам основателя, новый Музей должен был «выполнять те же функции в отношении архитектуры, что Третьяковская галерея в области изобразительного искусства».

Музей русской архитектуры, возглавляемый Алексеем Щусевым стал оплотом борьбы за сохранение наследия и крупным научным центром по изучению архитектуры и градостроительства. Важным направлением деятельности музея стали научные экспедиции в Великий Новгород, Псков, Поволжье, в ходе которых сотрудники проводили обследования и реставрацию памятников архитектуры, собирали материалы для пополнения музейного собрания. Щусев и его коллеги-архитекторы дарили музею свои проекты, модели, фотографии, благодаря чему активно формировалась коллекция, посвящённая советской архитектуре. Под руководством директора музея велась научная реставрация усадьбы Талызиных. В 1948 году открылась первая архитектурная выставка в трёх восстановленных залах парадной анфилады, а к 1957 году была подготовлена полноценная постоянная экспозиция. Как и в случае с Донским монастырём, одним из главных объектов показа являлось музейное здание – замечательный памятник русского классицизма XVIII века. 25 мая 1949 года, на следующий день после смерти Алексея Щусева, было принято решение о присвоении музею имени его основателя.

К началу 1960-х годов направления и методы деятельности двух музеев сблизились настолько, что стала очевидной целесообразность их объединения. 1 января 1964 года на базе двух учреждений был создан Государственный научно-исследовательский музей архитектуры имени А.В. Щусева. Его территории получили тематическую специализацию: в Донском монастыре была представлена история архитектуры России XI-XVIII веков, а в помещениях усадьбы Талызиных разместилась экспозиция, посвящённая советской архитектуре.

Новый музей приобрёл высокий авторитет в научном и профессиональном сообществе, вёл активную выставочную и издательскую деятельность, участвовал в международных проектах, принимал зарубежные выставки, знакомившие посетителей с мировой архитектурной практикой. Для широкой публики работал лекторий по истории русского зодчества, а для специалистов – архитектурная библиотека и фотокаталог. При комплектовании коллекций особое внимание уделялось отражению в музейном собрании актуальных архитектурных и градостроительных тенденций.

Объединение вывело музейную деятельность на новый качественный уровень: по-прежнему оставаясь в центре внимания профессионалов – архитекторов, реставраторов, искусствоведов, музей приобрел универсальный характер, стал более открытым и созвучным времени, интересным и доступным для разных категорий посетителей.

Радикальные изменения в жизни страны отразились и на Музее архитектуры. В 1991 году решением московских городских властей Донской монастырь был возвращён Русской Православной Церкви. Уникальные коллекции были экстренно, без соблюдения музейных норм упаковки и транспортировки, перемещены на Воздвиженку, в здание, нуждающееся в капитальном ремонте, и слишком маленькое для их размещения.  Ремонтно-восстановительные работы в усадьбе Талызиных после масштабной реставрации 1940 – 1960-х годов не проводились. Вследствие прокладки Филёвской линии метро и новых коммуникаций под музейным комплексом, строение XVIII века оказалось в аварийном состоянии. Из-за дефицита пространства постоянная музейная экспозиция была закрыта, а богатейший музейный фонд оказался на многие годы фактически изъят из культурного оборота. Первый в мировой истории Музей архитектуры оказался на грани исчезновения, сохранить музейное собрание удалось благодаря энтузиазму и самоотверженной работе коллектива.

В настоящее время собрание Музея архитектуры включает более 820000 предметов: это подлинная архитектурная графика, обмерные чертежи, богатая коллекция фотоматериалов, фрагменты разрушенных зданий, коллекция мебели и декоративно-прикладного искусства, образцы тканей, модели и макеты, личные архивы архитекторов и многое другое.

Перед Музеем архитектуры сегодня стоят сложнейшие задачи, от успешного решения которых зависит, без преувеличения, его дальнейшее существование: реставрация музейного комплекса усадьбы Талызиных на Воздвиженке – объекта культурного наследия федерального значения, строительство современного фондохранилища и подготовка постоянной экспозиции, полноценно представляющей историю мировой архитектуры и уникальное музейное собрание. 

Сегодня музей постоянно демонстрирует свою богатую коллекцию путём организации временных выставок в трёх пространствах: Анфиладе главного дома усадьбы Талызиных, обновлённом Флигеле «Руина» и трапезной палате Аптекарского двора XVII века.

Филиал Музея архитектуры – Государственный музей Константина и Виктора Мельниковых – занимается сохранением и изучением наследия архитектора-авангардиста Константина Мельникова и его сына, художника Виктора Мельникова. Главным объектом показа филиала является Дом-мастерская Константина Мельникова – всемирно известный памятник архитектуры авангарда, возведенный в 1927-1929 годах.

Музей архитектуры ведёт активную просветительскую деятельность: проводит экскурсии по временным выставкам и постоянным экспозициям, пешие прогулки по Москве и автобусные путешествия. В Музее работает научно-популярный лекторий, а также «МУАРстерские» – подразделение музея, созданное для детей и взрослых, желающих попробовать себя в творческой деятельности.

Музей активно развивает инклюзивные программы. С экспозициями и временными выставками могут ознакомиться слабовидящие и незрячие посетители, регулярно проводятся экскурсии и лекции на русском жестовом языке.