Московские архивы имеют многовековую историю. Так, в XVI в. именно в Москве возник первый отечественный исторический архив, известный как Царский архив, где наряду с документами текущего делопроизводства хранились старинные грамоты и акты великих и удельных князей, международные договоры.

С середины XVI в. собственные архивы появились при органах центрального государственного управления приказах: Посольском, Разрядном, Поместном и др.

В соответствии с Генеральным регламентом 1720 г. в Москве создали Московский архив Коллегии иностранных дел (1724), ставший первым историческим архивом Российской империи (с 1832 г. - Московский главный архив Министерства иностранных дел).

В 1782 г., одновременно с учреждением Московской губернии, для хранения документов упразднённых ведомств был образован Московский государственный архив старых дел (МГосАСД), разместившийся в нижнем этаже Потешного кремлёвского дворца. МГосАСД стал первым архивом Москвы, хранившим документы не общероссийских, а собственно московских губернских и городских учреждений.

В 1782 г., одновременно с учреждением Московской губернии, для хранения документов упразднённых ведомств был образован Московский государственный архив старых дел (МГосАСД), разместившийся в нижнем этаже Потешного кремлёвского дворца. МГосАСД стал первым архивом Москвы, хранившим документы не общероссийских, а собственно московских губернских и городских учреждений.

После официального открытия 13 марта 1783 г. в МГосАСД начали принимать дела Берг-конторы, Каменного приказа, Ямской конторы и десятков других допетровских и петровских учреждений, в своё время действовавших в Москве. Спустя четыре года для архива оборудовали помещение во вновь построенном здании Правительствующего Сената (Доме присутственных мест) в Кремле, о чём в августе 1787 г. архитектор М.Ф. Казаков рапортовал новому московскому главнокомандующему генерал-аншефу П.Д. Еропкину.

Накануне Отечественной войны 1812 г. в МГосАСД насчитывалось уже порядка 6 млн дел 40 упразднённых московских ведомств. Первоначально находившийся в фактическом подчинении главы московской администрации и 5-го (московского) департамента Сената, в начале XIX в. МГосАСД был передан в ведение Министерства юстиции.

В течение нескольких десятилетий параллельно с архивом губернского правления и Московским государственным архивом старых дел в столице функционировал и Московский губернский архив старых дел (МГубАСД) - прямой предшественник нынешнего Центрального государственного архива города Москвы. Условной датой образования МГубАСД принято считать 25 февраля 1797 г., когда он был впервые упомянут в официальном документе - Указе Правительствующего Сената. В качестве других дат образования МГубАСД некоторые дореволюционные архивисты называли 1823 г. и 1836 г. В ХIХ - начале ХХ в. архив подчинялся губернскому правлению, а документы хранились в башнях Московского Кремля и Китай­города.

Коренная реорганизация Московского губернского архива старых дел связана с принятием Декрета СНК РСФСР от 1 июня 1918 г. «О реорганизации и централизации архивного дела в РСФСР». С августа 1918 г. Московский губернский архив старых дел стал 1-м Московским отделением VI секции Единого государственного архивного фонда под наименованием «Архив старых дел».

31 марта 1919 г. Декретом СНК РСФСР «О губернских архивных фондах» было утверждено Положение, в соответствии с которым все архивы и делопроизводства каждой губернии объединялись в единый губернский архивный фонд.

В соответствии с Временным положением о губернских (областных) архивных бюро, утверждённым ВЦИК P20 ноября 1922 г., управление на местах стали осуществлять архивные бюро: в Москве - Московское губернское архивное бюро (с 1929 г. - Московское областное архивное бюро, с 1932 г. ЂЂЂ Московское областное архивное управление).

В 1938 г. было принято решение о подчинении архивных учреждений Народному комиссариату внутренних дел СССР, оформленное Постановлением Президиума Верховного Совета СССР от 16 апреля 1938 г. В соответствии с ним в феврале 1939 г. Московское областное архивное управление передали в Управление НКВД по Московской области и преобразовав в Архивный отдел УНКВД (с 1941 г. - Управление государственных архивов УНКВД по Московской области, с 1944 г. - Архивное управление УНКВД по Московской области, с 1946 г. - Архивное управление УМВД г. Москвы и Московской области).

В начале 1960-х гг. архивные учреждения были выведены из подчинения МВД. В феврале 1962 г. на базе Архивного управления УМВД г. Москвы и Московской области создано Архивное управление Мособлисполкома. Тогда же начала формироваться система городской архивной службы Москвы. 1 ноября 1962 г. Исполком Моссовета постановил организовать Архивный отдел в составе Мосгорисполкома Pи Центральный государственный архивPг. Москвы, утвердив положения о новых структурах.

В 1976 г. Архивный отдел Мосгорисполкома был преобразован в Архивное управление Мосгорисполкома, а Центральный архив г. Москвы разделён на три архива: Центральный государственный исторический архив г. Москвы, Центральный государственный архив Октябрьской революции и социалистического строительства г. Москвы и Центральный государственный архив кинофотофонодокументов г. Москвы.

Новый этап в развитии архивного дела связан с созданием в 1988 г. Московского городского объединения архивов (объединение «Мосгорархив»). В 1991 г. в его структуре был создан Центральный государственный архив общественных движений Москвы (ЦГАОДМ, с 1993 г. - ЦАОДМ) на базе партийного архива Института истории партии МК и МГК КПСС. С 1993 г. началось формирование Центрального архива научно-технической документации Москвы, Центрального архива документальных коллекций Москвы (с 2003 г. - Центральный московский архив-музей личных собраний), ряда специализированных центров - Центра комплектования архивного фонда и работы с ведомственными архивами, Информационного центра, Центра научного использования и публикации архивного фонда и др.

Основа современной структуры московской архивной службы заложена постановлением Правительства Москвы от 21 января 2003 г. «О структуре органов исполнительной власти города Москвы», согласно которому объединение «Мосгорархив» переименовано в Главное архивное управление города Москвы (Главархив Москвы), являющееся органом исполнительной власти города Москвы.

В соответствии с распоряжением Правительства Москвы от 19 декабря 2012 г. за N 798-РП «О создании государственных бюджетных учреждений города Москвы в сфере архивного дела» в апреле 2013 г. было создано Государственное бюджетное учреждение города Москвы «Центральный государственный архив города Москвы» (ГБУ «ЦГА Москвы»). Архив образован в результате преобразования ряда городских архивов и специализированных центров, являвшихся структурными подразделениями Главархива Москвы.