Свонсон родился и вырос в Палм-Спрингс (Калифорния). На момент рождения Кевина в семье уже было четверо детей. Отец Свонсона умер спустя три месяца после его появления на свет, в связи с чем мать впала в глубокую депрессию, отправив Кевина со своими братьями и сестрами к дальним родственникам. Он воспитывался в религиозной семье и большую часть своего детства провел в церкви. Свонсон также практически не ходил в школу и в основном обучался на дому. Однако, к 14 годам, его приемные родители развелись и он вернулся к своей матери. Он стал посещать Cathedral City High School, вместе с будущим боксером Тимоти Брэдли. В те же годы он присоединился к одной из уличных банд, в результате чего, Свонсон уже в возрасте семнадцати был осужден за воровство и отправлен в исправительную колонию. Выйдя через два года из тюрьмы, он нанялся детским социальным работником, а также стал заниматься бразильским джиу-джитсу. Вскоре он был приглашен тренироваться вместе с Джо Стивенсоном, после чего Свонсон принял решение начать карьеру бойца смешанных единоборств.