Робърт Ален Цимерман (еврейско име: Зуше бен Аврахам) е роден на 24 май 1941 в Дулут, Минесота и израства там и в Хибинг, Минесота. Изледванията на биографите на Дилън показват, че неговите баба и дядо, Зигман и Ана Цимерман имигрират от Одеса, Украйна за САЩ след антисимистките погроми през 1905г. Дилън от своя стана пише (в биографията си от 2004г. - "Хроники"), че моминското име на бабата на баща му било Кургуз и че семейството и е от Инстамбул, макар че тя пораства в Кажигман, източна Турция. Също така според Дилън, дядото на баща му е от Трабзон, турското крайбрежие на Черно море. Бабата и дядото на майка му, Бенджамин и Либра Еделстейн са латвийски евреи, които пристигат в Америка през 1902г.

    Родителите му, Абрам Цимерман и Беатрис Стоун били част от малко, но сплотено еврейско общество. Цимерман живее в Дулут докато навършва седем. Когато баща му бива покосен от паралич, семейството се премества в близкия Хибинг, където Цимерман прекарва остатъка от детството си.
    Робърт прекарва голяма част от младините си слушайки радио - първо блус и кънтри предавания, а по-късно ранния рок-енд-рол. Формира няколко групи в колежа. Първата, The Shadow Blasters, просъществува кратко, но следващата, The Golden Chords се задържа повече, изпълнявайки кавъри на полулярни песни. Изпълнението им на песента "Rock and Roll Is Here to Stay" на Danny and the Juniors по време шоуто на талантите на училището му е прекалено силно и директорът изключва микрофоните. През 1959 г. в годишния дневник на училището Робърт Цимерман посочва като своя амбиция "Да се присъединя към Литъл Ричард". Същата година, използвайки името Elston Gunnn излиза два пъти на сцената с Боби Вий, свирейки на пиано и пляскайки с ръце.