可以回來。最少可以等到大赦。例如唐代詩仙李白，和明代大學(xué)者王陽明。
唐代詩仙李白曾參加了永王李璘的幕府。但永王與肅宗發(fā)生了爭奪帝位的斗爭，兵敗之后，李白受牽累，流放夜郎（今貴州境內(nèi)），途中遇赦。

明武宗正德元年（1506年）冬，宦官劉瑾擅政，并逮捕南京給事中御史戴銑等二十余人。王守仁上疏論救，而觸怒劉瑾，被杖四十，謫貶至貴州龍場（貴陽西北七十里，修文縣治）當(dāng)龍場驛棧驛丞。同時，他的父親王華也被趕出北京，調(diào)任南京吏部尚書。路途中，王守仁被劉瑾派人追殺，偽造跳水自盡躲過一劫。逃過追殺的王守仁暗中到南京面見父親王華，王華對他說：“既然朝廷委命于你，就有責(zé)任在身，你還是上任去吧?！彪S后他踏上路途，來到貴州龍場，“萬山叢薄，苗、僚雜居”，龍場在當(dāng)時還是未開化的地區(qū)。王守仁沒有氣餒，根據(jù)風(fēng)俗開化教導(dǎo)當(dāng)?shù)厝耍艿矫癖姁鄞?。在這個時期，他對《大學(xué)》的中心思想有了新的領(lǐng)悟。王守仁認(rèn)識到“圣人之道，吾性自足，向之求理于事物者誤也”。他在這段時期寫了“教條示龍場諸生”，史稱龍場悟道。正德五年（1510年）初，王守仁謫戍期滿，復(fù)官廬陵縣（今江西吉安）知縣。八月，劉瑾被楊一清聯(lián)合宦官張永設(shè)計除去。王守仁隨即被召入京，擔(dān)任吏部驗封清吏司主事。而后王陽明在兵部尚書王瓊的推薦下，王守仁被擢為都察院左僉都御史，巡撫南（安）、贛（州）、汀（州）、漳（州）等地，先后平定江西和寧王叛亂。