Действительную службу начал в 1750 г. прапорщиком Семеновского полка. Участник Семилетней войны. За отличие в Гросс-Егерсдорфском сражении в 1758 г. получил звание полковника, в 1759 г. - бригадира за блокаду Кюстрина и битву при Цорндорфе. В период русско-турецкой войны 1768-1774 гг. участвовал в боях при Ларге и Кагуле (1770).

4 сентября 1781 г. открылась новая страница в биографии Я.А. Брюса, связанная теперь уже с его административной деятельностью. Последовавшая почти одновременно кончина главнокомандующих обеих столиц обусловила одну особенность должностного статуса Я.А. Брюса, в компетенцию которого входило управление и С.-Петербургом, и Москвой.

Большое внимание он уделял городскому благоустройству. В этот период в Москве завершилось строительство Всехсвятского моста, близился к окончанию ремонт Большого Каменного, необходимые работы проводились на территории Земляного вала. Для оказания помощи нуждающимся в заботе и милосердии был открыт Екатерининский богадельный дом на Яузе.

15 января 1786 г. состоялось первое заседание Общей и Шестигласной думы - выборного органа управления, провозглашенного Грамотой на права и выгоды городам Российской империи (1785).

По повелению императрицы, Я.А. Брюс обратил свой взор на просвещение. С приглашением ученых духовных и светлых особ было проведено освидетельствование всех школ и пансионов в Москве. Ничего предосудительного замечено не было, но все же вызывало тревогу небрежное преподавание закона божия в отдельных учебных заведениях.

Как и его предшественники, Я.А. Брюс возглавлял Комиссию московских водяных работ, занимавшуюся с 1779 г. устройством Мытищинского водопровода. 8 апреля 1785 г. он представил всеподданнейший доклад с ценами прежде проектированным и начатым работам , а 27 января 1786 г. - план их проведения.

Расставшись с Москвой, Я.А. Брюс сохранил за собой должность главнокомандующего С.-Петербургской губернией. В 1788 г. его административные полномочия распространились еще и на Выборгскую губернию.