Родился в 1941 в Вашингтоне (по другим данным в Арлингтоне). Выходец из еврейской семьи.
В возрасте 12 лет, по рекомендации врача (Джим Брегман страдал хроническим бронхитом) начал занятия дзюдо и настолько заинтересовался этим видом спорта, что после окончания старшей школы (Wakefield High School в Арлингтоне), в 1960 году он отправился учиться в колледж в Японию. Учился на экономическом факультете в Sophia University в Токио, и продолжал тренировки, сначала в Кодокане, а затем в университетах Васэда и Мэйдзи.
По воспоминаниям соседа по комнате: «Джим Брегман всегда был крепким соперником с колоссальной жаждой успеха…Ничто не могло его остановить: ни отсутствие денег, ни предубеждение к иностранцам, ни даже его травма позвоночника, которая часто давала о себе знать сильной болью».
В 1964 году вернулся в США, где завоевал титул чемпиона страны. Выступал на Летних Олимпийских играх 1964 года в Токио, боролся в категории до 80 килограммов. В его категории боролись 25 спортсменов. Соревнования велись по круговой системе в группах и затем по олимпийской системе. Борцы были разделены на восемь групп по три человека в каждой (в одной четыре). Победитель группы выходил в четвертьфинал, после чего соревнования велись с выбыванием после поражения. Брегман проиграл в полуфинале Вольфгангу Хофманну болевым приёмом и стал бронзовым призёром игр.
В 1965 году стал победителем Панамериканского чемпионата по дзюдо (где был признан лучшим дзюдоистом турнира) и стал бронзовым призёром чемпионата мира. Также он завоевал золотую медаль Маккабиады 1965 года.
В 1966 году серьёзно повредил колено и оставил карьеру.
По окончании спортивной карьеры начал работать в ВМС США финансовым менеджером, и одновременно начал получать MBA в Американском университете. Позднее стал спортивным функционером, в 1969 году вошёл в состав Совета директоров Ассоциации дзюдо США, в 1972 году стал её президентом и до недавнего времени им являлся, сделав очень много для развития дзюдо в США.
