Родился в Москве в семье рабочего. Трудовую деятельность начал с 12-летнего возраста в механических мастерских железной дороги. В начале 20-х годов - на комсомольской работе, затем служил на флоте. В 1924 г. вступил в ряды Коммунистической партии. После окончания Московского станкоинструментального института в 1935 г. работал на заводе Красный пролетарий , где прошел путь от мастера до директора. В 1938 г. избран председателем Мособлисполкома. С ноября 1938 г. после ареста И.И. Сидорова - председатель Исполкома Моссовета.

Как талантливый инженер и опытный производственник, глубоко вникал в деятельность городской промышленности. Много усилий приложил для укрепления связи между научными и производственными коллективами, более оперативного внедрения достижений науки в производство. Под руководством А.И. Ефремова началось строительство третьей очереди московского метро, в основном была завершена реконструкция центра столицы.

В 1939 г. переведен на должность первого заместителя наркома тяжелого машиностроения СССР. Впоследствии - нарком тяжелого машиностроения, станкостроения, заместитель председателя Совета Министров СССР. Избирался членом Президиума Верховного Совета РСФСР, в 1939-1951 гг. - член ЦК ВКП(б). Награжден двумя орденами Ленина и медалями.

Похоронен на Красной площади у Кремлевской стены.