В настоящее время в отделе работает шесть человек: г. н. с. К. В. Иванов (заведующий отделом), г. н. с. Вл. П. Визгин, в. н. с. Г. Е. Куртик, с. н. с. К. А. Томилин, н. с. А. В. Кузьмин и м. н. с. Б. О. Лихачев.
Историческим предшественником Отдела был Сектор истории физико-математических наук, в котором со времени основания ИИЕТ АН СССР работали такие выдающиеся историки физики, механики и математики, как В. П. Зубов, Б. Г. Кузнецов, А. П. Юшкевич, Л. С. Полак, О. А. Лежнева. С сектором сотрудничали и работали в нем крупный физик Д. Д. Иваненко и философ Э. Кольман. В 1968 г. Сектор разделился на три сектора: истории математики (под руководством А. П. Юшкевича), истории механики (во главе с А. Т. Григорьяном) и истории физики (во главе с Я. Г. Дорфманом). В 1979 г. историки физики и механики объединились в Сектор истории физики и механики. В 1960–1970-е гг. в Секторе работали такие известные историки физико-математических наук, как И. Б. Погребысский, Я. Г. Дорфман, Б. А. Розенфельд, А. Н. Вяльцев, Ф. А. Медведев.
Позже в Институте возникла отдельная структура изучения истории физико-математических наук, а именно сектора истории математики и истории физики, механики и астрономии, которые вошли в Отдел истории естествознания. В 1997 г. Отдел истории физико-математических наук стал самостоятельной единицей в составе Института. Его возглавил Г. М. Идлис. Отдел состоял из Сектора истории математики (во главе с С. С. Демидовым, до него сектор возглавлял А. П. Юшкевич), Сектора истории физики и механики (во главе с Вл. П. Визгиным, ранее сектором руководил А. Т. Григорьян и затем Г. М. Идлис) и Проблемная группа по истории астрономии (руководитель – А. А. Гурштейн, затем – Г. М. Идлис). В 2010 г. Отдел возглавил С. С. Демидов, а группу истории астрономии (в составе Отдела) – Г. Е. Куртик.
До 2019 г. Отдел состоял из трех подразделений: Сектора истории математики (руководитель д. ф.-м. н. С. С. Демидов), Сектора истории физики и механики (руководитель д. ф.-м. н. Вл. П. Визгин) и Проблемной группы истории астрономии (руководитель к. ф.-м. н. Г. Е. Куртик). Заведующим Отделом являлся С. С. Демидов.
В 2021 г. сектора истории математики, истории физики и механики, равно как проблемная группа по истории астрономии были упразднены как отдельные подразделения в составе Отдела, и Отдел предстал в его настоящем виде.
Отдел видит свою задачу в организации, координации и поддержке исследований в области истории физико-математических наук в системе Российской Академии наук и в стране в целом. В отделе действуют два регулярных семинара: Общемосковский семинар по истории физики и механики (руководитель д. ф.-м. н. Вл. П. Визгин) и Общемосковский объединенный семинар по истории астрономии (руководитель к. ф.-м. н. Г. Е. Куртик). Кроме того, в Отделе на регулярной основе издаются два ежегодника: «Исследования по истории физики и механики» и «Историко-астрономические исследования».