В РККА Иван Устинов служил с ноября 1939 года, органах государственной безопасности — с 10 июня 1941 года. С началом войны назначен оперуполномоченным 3-го отдела 6-й кавдивизии (Белосток), однако попал в окружение и не смог прибыть к месту службы. По прибытии в белорусский Могилёв был направлен в распоряжение резерва оперативного состава, затем — оперуполномоченным. В 1942 году — старший оперуполномоченный 2-го отделения ОО НКВД — ОКРО СМЕРШ («СМЕРШ, сокращение от «Смерть шпионам!» — название ряда независимых друг от друга контрразведывательных организаций в СССР во время Великой Отечественной войны) по 16-й армии. С апреля 1944 года — начальник ОКР СМЕРШ 83-го армейского полевого эвакопункта, с января 1945 года — начальник ОКР СМЕРШ 3-го отдельного учебного танкового полка, 3-й Белорусский фронт.

С ноября 1945 года — заместитель начальника ОКР СМЕРШ — ОКР МГБ по 36-му гвардейскому стрелковому корпусу, Прибалтийского военного округа.

По окончании войны занимал должности: заместителя начальника 3-го отдела УКР МГБ по Группе советских оккупационных войск в Германии (апрель 1951 — ноябрь 1952); секретаря парткома УКР МГБ по Группе советских оккупационных войск в Германии (ноябрь 1952 — март 1953); секретаря парткома УОО МВД по Группе советских оккупационных войск в Германии (март 1953 — март 1954); секретаря парткома УОО КГБ по Группе советских войск в Германии (март — декабрь 1954); начальника 3-го отдела УОО КГБ по ГСВГ (декабрь 1954 — январь 1957); заместителя начальника ОО КГБ по 69-й воздушной армии (январь 1957 — август 1958); начальника ОО КГБ по 6-й танковой армии (август 1958 — июль 1963).
С июля 1963 по 1966 год — заместитель начальника УОО КГБ по Дальневосточному военному округу. С августа 1966 по февраль 1968 года — начальник УОО КГБ по Дальневосточному военному округу.
С 1968 по 1973 год проходил службу в центральном аппарате КГБ СССР. С февраля 1968 по 4 сентября 1970 года — заместитель начальника 3-го Управления КГБ при СМ СССР. 20 декабря 1966 года присвоено воинское звание генерал-майор.

С 4 сентября 1970 по ноябрь 1973 года — начальник 3-го Управления КГБ при СМ СССР. 15 июня 1971 года присвоено воинское звание генерал-лейтенант. Увольнение с должности начальника Управления было обусловлено сложными отношениями с заместителем Председателя КГБ СССР генерал-полковником Георгием Цинёвым, курировавшим военную контрразведку.

С ноября 1973 по июль 1981 года — начальник Управления особых отделов КГБ СССР по Группе советских войск в Германии.
В 1981 году выведен в действующий резерв КГБ. С июля 1981 по сентябрь 1991 года — советник председателя Госплана СССР по безопасности.

В отставке с 1991 года.