А.И. Глебов находился на военной службе до 1749 года, после чего перешел на "статскую" в чине коллежского асессора. Он сумел завоевать доверие важного елизаветинского сановника графа П.И. Шувалова, взявшего его под свое покровительство. Благодаря ему, Глебов в 1754 году занял неплохую должность - обер - секретаря сената, а через два года стал обер - прокурором. В ноябре 1758 года он был удостоен ордена Св. Анны, а 16 августа 1760 года назначен генерал - кригскомиссаром.
25 декабря 1761 года только что вступивший на престол Петр ІІІ назначил А.И. Глебова генерал - прокурором сената. Будучи очень дружен с императором, Глебов быстро занял прочное место среди приближенных к государю вельмож. Петр ІІІ поручал ему готовить целый ряд важных узаконений. Глебов являлся так же одним из авторов известных манифестов: от 18 января 1762 года о даровании вольности и свободы всему российскому дворянству и от 21 февраля 1762 года об уничтожении Тайной канцелярии.
В феврале 1762 года А.И. Глебов был нагшражден орденом Св. Александра Невского, став первым александровским кавалером в царствование Петра ІІІ.
Опытный царедворец, хитрый и изворотливый (современники называли его "человек с головой"), к тому же корыстолюбивый, генерал - прокурор А.И. Глебов верно оценил обстановку во время дворцового переворота 1762 года и, несмотря на привязанность к Петру ІІІ, сразу же поддержал Екатерину ІІ. Императрица, хорошо знавшая о дурных наклонностях А.И. Глебова, продолжала все же держать его на высшем прокурорском посту. Более того, она поручила ему вместе с графом Н.И. Паниным руководство только что созданой Тайной экспедицией, занимавшейся всеми политическими делами.
Однако вскоре положение Глебова при дворе заметно пошатнулось, чему в немалой степени способствовали его сомнительные комерческие сделки, особенно связанные с винным откупом в Иркутске. 3 февраля 1764 года императрица сместила его с поста генерал - прокурора.
Тем не менее Екатерина ІІ не склонна была отказываться от толкового сотрудника. Поэтому А.И. Глебов сохранил за собой должность генерал - кригскомиссара, а с 1773 года был даже пожалован в генерал -аншефы. В 1775 году он получил новое назначение - стал смоленским и белгородским генерал - губернатором. Но уже в следующем году ревизия вскрыла серьезные злоупотребления и хищения в Главном кригскомиссариате. По поручению Екатерины ІІ была образована спецмальная следственная комиссия. В июне 1776 года А.И. Глебов был вызван из наместничесива в столицу, отстранен от всех должностей и отдан под суд. Глебова признали виновным "в небрежении должности" и исключили из службы. На имения его наложили арест.
Первая жена Александра Ивановича, Екатерина Алексеевна (урожденная Зыбина), умерла в 1746 году; вторая - графиня Мария Симоновна (урожденная Гендрикова), сканчалась в марте 1756 года, через полтора месяца после свадьбы. Незадолго до своей отставки А.И. Глебов женился в третий раз, на своей экономке Дарье Николаевне Франц.
Скончался А.И. Глебов в июне 1790 года и погребен а своем подмосковном имении Виноградово.
