Zametki arhiva segajo v leto 1859, ko je v Ljubljani na pobudo Historičnega društva za Kranjsko prišlo do vzpostavitve Deželnega arhiva. Arhivsko gradivo so do tedaj že zbirale in popisovale različne ustanove, društva in posamezniki, svoj prostor pa so v arhiv oddane arhivalije dobile z dograditvijo stavbe Deželnega, današnjega Narodnega muzeja v letu 1887. Arhiv je deloval v sklopu Kranjskega deželnega muzeja. Med svetovnima vojnama, leta 1926, je bil ustanovljen Državni arhiv, ki pa je še vedno deloval kot organizacijska enota muzeja.

31. oktobra 1945 je Narodna vlada Slovenije ustanovila Osrednji državni arhiv Slovenije kot samostojno institucijo, ki se je v letu 1953 preimenovala v Državni arhiv Slovenije, leta 1966 v Arhiv Slovenije, leta 1979 v Arhiv Socialistične republike Slovenije, leta 1991 pa v Arhiv Republike Slovenije. Po političnih spremembah leta 1990 so bili ukinjeni t. i. specialni arhivi. Arhivu je bil leta 1990 priključen najprej Zgodovinski arhiv Centralnega komiteja Zveze komunistov Slovenije, leta 1992 Arhiv Inštituta za zgodovino delavskega gibanja oziroma Arhiv Inštituta za novejšo zgodovino in v letu 1998 še del Arhiva Ministrstva za notranje zadeve z gradivom Službe državne varnosti.