Арменак Ялтырян родился с селе Крым области Войска Донского (ныне Мясниковский район Ростовской области). В этом селе, как и ещё нескольких соседних сёлах компактно проживают армяне, переселённые в 1780 году на эти земли с Крымского полуострова.
Арменак Ялтырян начал заниматься борьбой в 1934 году в Ростовский техникуме физической культуры под руководством Александра Пустынникова. В 1938-1940 годах он трижды становился чемпионом СССР по греко-римской борьбе.
С 1941 года воевал на фронтах Великой отечественной войны, в частности участвовал в обороне Киева. После окончания войны именно в этом городе возобновил занятия борьбой, успешно выступая в чемпионатах СССР как по греко-римской, так и по вольной борьбе. В 1946-1948 годах он ещё трижды выигрывал чемпионат СССР по греко-римской борьбе, а в 1945-1952 годах восемь раз становился чемпионом СССР по вольной борьбе.
До начала 50-х годов XX века по политическим причинам советские спортсмены не имели возможность принимать участие в международных соревнованиях. Для советских борцов единственным исключением стал чемпионат Европы 1947 года по греко-римской борьбе, где Арменак Ялтырян завоевал серебряную медаль в весовой категории до 67 кг. Он также принял участие в дебютных для советских спортсменов Олимпийских играх 1952 года в соревнованиях по вольной борьбе, заняв четвёртое место.
После этого принял решение завершить свою спортивную карьеру и перейти на тренерскую работу. В дальнейшем много лет входил в состав тренерского штаба сборной СССР по вольной борьбе, воспитал целую плеяду выдающихся советских борцов вольного стиля. Среди них олимпийский чемпион Борис Гуревич, чемпионы мира Юрий Гусов, Владимир Гулюткин, Владимир Синявский, чемпион СССР и олимпиец Иван Выхристюк, а также 3-кратный чемпион СССР Гарсеван Небиеридзе.
- В селе Чалтырь проводится ежегодный областной турнир по греко-римской борьбе среди юношей памяти Арменака Ялтыряна.
- В 2014 году в селе Крым состоялся Турнир по греко-римской борьбе среди юношей, посвященный 100-летию со дня рождения А. В. Ялтыряна.
- С 2016 года в Киеве проводится Всеукраинский турнир по вольной борьбе среди юношей памяти Арама Ялтыряна.
Умер18 декабря 1999 года.