3 февраля 1764 года Екатерина, убедившись в исключительной честности князя Вяземского, назначила его генерал-прокурором. Она лично написала ему "Секретное послание", в котором четко определила его обязанности.
А.А. Вяземский, надо полагать, строго придерживался данного ему наставления и пользовался полным доверием императрицы, что позволило ему не только удерживать высокий прокурорский пост в течение почти 29 лет, но и значительно расширить свои полномочия. Если в начале карьеры он наблюдал за сенатом, а также за продажей соли и вина в империи, то с 1780-х годов уже прочно удерживал в своих руках не только юстицию, но также финансы и внутренние дела. Именно он впервые в России ввел строгую отчетность в финансовых делах и стал учитывать доходы и расходы за год.
Вяземский длительно руководил подчиненными ему прокурорами. При нем были введены в действие Учреждения для управления губерниями(1775 год), которые подробно регламентировали права и обязанности местной прокуратуры.
За "прилежания, усердия и ревность к пользе службы" он был удостоен множеством наград, в том числе орденом Св. Андрея Первозванного, Св. Александра Невского, Св. Анны, Св. Владимира I степени, Белого орла, имел воинский чин генерал-поручика и гражданский действительного тайного советника.
В сентябре 1792 года А.А. Вяземской по болезни вышей в отставку. Д.Н. Бантыш-Каменский, известный историк, писал о нем: "Князь Вяземский отличался верностью своей престолу, бескорыстием, был чрезвычайно трудолюбив, умел избирать достойных помощников; враг роскоши, но скуп и завистлив, как отзывался о нем современник ".
