L’Architectural Détective Agency a été fondée en 1974 par les historiens de l’architecture Terunobu Fujimori et Takeyoshi Hori, à l’époque où ils étaient étudiants diplômés à Tokyo, au Japon. Ayant entrepris des recherches sur le terrain pour documenter les structures en train de disparaître ou exclues du de l’histoire officielle de l’architecture japonaise, ils se sont promenés, tels des détectives, carnets de croquis et appareils photos au poing, illustrant une foule de bâtiments protomodernes de la ville abandonnés ou passés inaperçus.

Lorsque les édifices risquaient d’être démolis, les détectives se sont mobilisés pour produire des séries complètes de documentation photographique et de dessins, interviewant souvent les architectes encore en vie et réunissant autant de références et de documents d’archives que possible. Travaillant avec les étudiants du Muramatsu Lab de l’Université de Tokyo, les détectives ont involontairement produit le premier inventaire, et le plus complet, d’édifices modernes construits au Japon depuis l’ère Meiji. Intitulé The Complete Inventory of Japanese Modern Buildings, cet ouvrage a été publié en 1983.

En 1986, Fujimori et l’artiste Genpei Akasegawa créent la ROJO Society (société d’observation et d’étude de la chaussée), ce qui élargit les activités des détectives pour inclure, en plus des édifices, tous les aspects de la rue, de la signalisation jusqu’aux égouts.