С июня 1834 г. по декабрь 1837 г. тверской губернатор в чине действительного статского советника, граф. Представитель одного из прославленных родов.
За отличие при взятии турецких крепостей Толстой был награждён орденами Св. Анны 3-й степени с бантом и 2-й степени, а также золотой шпагой с надписью "За храбрость".
В годы губернаторства Алексея Петровича в Твери в феврале 1836 г. был учреждён губернский статистический комитет.
После губернаторства в Твери А.П.Толстой был назначен одесским военным губернатором, а в 1856-1862 гг. - обер-прокурором Синода.
Среди знакомых и друзей Толстого были Н.М. Карамзин, А.С. Пушкин, Н.В. Гоголь.