Из дворян Нижегородской губернии. Отличное несение службы явилось основанием для производства в генерал-майоры с назначением в свиту императора Александра II. В 1873 г. А.А. Козлов занял пост помощника санкт-петербургского градоначальника.

В 1878 г. назначен на должность московского обер-полицеймейстера, но через три года вернулся в Петербург в качестве главы полицейского ведомства; в 1882 г. возвратился в Москву для исполнения прежних обязанностей. В 1887 г. был уволен согласно прошению и назначен почетным опекуном Московского присутствия Опекунского совета.

В 1905 г. вернулся к государственной деятельности. В должности московского генерал-губернатора он пробыл всего три месяца. Шла русско-японская война, и прежде всего необходимо было решать проблему размещения раненых и больных воинов, пребывавших с Дальнего Востока.

Несмотря на то, что Москва находилась в положении усиленной охраны, в городе проводились и мероприятия никак не связанные с переживаемым тревожным временем . Например, устраивались летние детские цветочные праздники в Зоологическом саду, произошло освящение дома бесплатных квартир, сооруженного на средства Московского земельного банка для семей воинов, пострадавших в войне с Японией, и др.

По состоянию здоровья оставил свой пост и уехал для лечения за границу. После Октябрьской революции в эмиграции. Скончался на 88-м году жизни в Дрездене (Германия)