Родился 12 ноября 1875 года в деревне Кекино Рыльского уезда в семье потомственного дворянина Губернского Секретаря Петра Платоновича Старостина и его супруги Софии Сергеевны. Семья имела поместье в деревне Кекино и дом в городе Рыльске. В 1880-х годах отец мальчика состоял там гласным местной городской Думы от землевладельцев, с 1885-го года состоял членом Рыльской земской управы, а также был заведующий Военно-конским участком в Кульбакинском уезде. С 1 по 5 класс Анатолий обучался в Рыльской прогимназии, а затем был отдан в глуховскую мужскую гимназию, где и окончил полный восьмиклассный курс. 13 июня 1895 года Анатолий получил Аттестат зрелости №400 в котором не было ни одной тройки.

30 июня 1895 года Старостин подал прошение о зачислении в число студентов Императорской Военно-Медицинской Академии в Санкт Петербурге. В случае отказа в приеме в Академию юноша рассчитывал поступить в Киевский Университет Св. Владимира, но 1 сентября 1895 года был без экзаменов принят на 1-й курс Императорской Военно-Медицинской Академии. В 1896-м году Анатолий Петрович был переведен на 2-й курс Академии, в 1897-м — на 3-й, в 1898-м — на 4-й и в 1899-м — на 5-й курс. За удовлетворительным прохождением полного курса медицинских наук, удостоверенным отзывами преподавателей соответственных предметов, получил право подвергнуться испытаниям на звание лекаря.

Поскольку с 1 сентября 1897 года Старостин состоял стипендиатом морского ведомства, то после получения звания лекаря он должен был за полученную стипендию поступить на обязательную медицинскую службу в морское или военное ведомство по назначению начальства. В 1905 году Анатолий Петрович служил младшим врачом в 43-м Охотском полку. Посещал Рыльск вплоть до революции.

Дальнейшая судьба его не известна.