Начал заниматься самбо в 1952 году у заслуженного тренера СССР И. В. Васильева, по собственным словам по примеру старших товарищей, чтобы почувствовать себя уверенно в послевоенном Ленинграде.
Будучи перворазрядником, с 1956 года участвует в международных встречах по дзюдо: в 1956 и 1957 годах в Москве и Будапеште с венгерскими борцами, затем с дзюдоистами из ГДР.
В 1958 году первый раз выиграл чемпионат СССР по самбо и стал мастером спорта. Первый чемпионат Европы по дзюдо в 1962 году пропустил ввиду болезни, но на следующем стал чемпионом Европы в личном первенстве, и подтвердил это звание на следующий год.
Выступая на Летних Олимпийских играх 1964 года в Токио боролся в категории до 68 килограммов. В его категории боролись 24 спортсмена. Соревнования велись по круговой системе в группах и затем по олимпийской системе. Борцы были разделены на восемь групп по три человека в каждой. Победитель группы выходил в четвертьфинал, после чего соревнования велись с выбыванием после поражения.
В предварительных схватках Арон Боголюбов выиграл у Эйама Харсарунгсри (Таиланд) и Бин Нгуен Вана (Вьетнам). Вьетнамского борца Арон Боголюбов победил чисто на десятой секунде встречи, исполнив идеальный бросок (ханэ макикоми). В четвертьфинале победил Чунг Сам Парка (Южная Корея) и в полуфинале вышел на Эрика Хенни (Швейцария), которому проиграл с минимальным счётом и получил бронзовую медаль олимпийских игр, а также занял третье место на чемпионате мира по дзюдо, поскольку соревнования были совмещены.
В 1965 году стал чемпионом Европы по дзюдо в командном зачёте и в 1966 году, выиграв на чемпионате Европы третье место, завершил карьеру спортсмена и начал тренерскую карьеру. Был старшим тренером ЦС «Динамо», тренером сборной Ленинграда (в то время в ней тренировался В. В. Путин), тренером сборной СССР по дзюдо.
Также выступал на чемпионатах СССР по самбо, всего за карьеру выиграв 3 чемпионата и дважды став бронзовым призёром.
С 1995 года живёт в Гамбурге, тренировал команду дзюдоистов ТН Eilbeck. Проводит мастер-классы как в Германии, так и за рубежом, в том числе и в России и США, консультировал сборную России по дзюдо. Почётный президент Ассоциации ветеранов дзюдо Санкт-Петербурга. По некоторым сведениям, именно Арон Гершевич когда-то привел В. В. Путина, будущего мастера спорта и в дальнейшем президента России, в спортзал «Динамо» заниматься борьбой.
Арон Боголюбов является племянником поэта Иосифа Уткина.