关于双方在离婚时的彩礼退还问题，是有法律依据的。根据《婚姻法解释》第10条第3款规定，判决返还彩礼应当以给付人因给付彩礼造成生活困难为前提。生活困难，指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平，这种困难是一种绝对困难。男方向女方给付彩礼是很多地方的习俗。男方以结婚为目的向女方支付彩礼，如果双方未能登记结婚，女方应该退还。此规定是公序良俗原则在缔结婚姻过程中的体现。确实生活困难应当考虑以下因素：

(1)给付人为缔结婚姻，全家共同举债，致使家庭背负债务较多;

(2)家庭成员没有固定收入;

(3)家庭成员中重大疾病;

(4)其他突发事件致使家庭生活困难;

按照举证责任分配原则，给付人对自己生活困难的事由负有举证责任。

返还额度的认定：

(1)双方未办理结婚登记手续的，一般应当全额返还;

(2)双方办理结婚登记手续但未共同生活的，一般应当全额返还;

(3)根据给付人的困难程度，酌定返还额度;

(4)根据结婚时间长短确定返还额度。结婚时间应以实际共同生活时间为标准。实际共同生活一年内提出离婚的，彩礼可在半数以上酌定返还额度;实际共同生活两年内提出离婚的，可在半数以上酌定返还额度;超过两年的一般不予返还。

(5)根据导致感情破裂的过错责任确定返还额度。由于给付人的过错导致夫妻感情破裂的，一般不予返还。确系因为给付彩礼造成绝对生活困难的，可酌情在半数以下酌定数额;因接受人的过错导致夫妻感情破裂的，可相应酌定增加返还的数额。

均对于彩礼问题，我们一般是根据夫妻双方是否进行结婚或者是同居生活来说，确定是否进行返还。如果双方没有进行结婚或者是婚后因为一些原因没有进行同居而导致离婚的话，女方需要归还给男方彩礼的，尤其是当给彩礼造成了男方家庭的经济困难事，是必须得返还的。