爱上一个彼此都有家庭的人，心里梦里全是他，放不下忘不了，也无法相守一生该怎么办

我是一个迷失的女人，是个罪人，会被所有人骂，爱上了一个有家庭的人，突破了道德底线，两人纠缠不清，情人坚决让我离婚，要与他在一起，可是老公还是很爱我，明知道我出轨了还一次次的原谅我，求我看在儿子的份上断了。我也一次次的下定决心做个了断。可是就像着了魔似的，他一联系我我就激动难眠，我带他见过我家人，我妈妈还摘了新化的柑子给他带回去。我们就这样见不得光的处了3年，他家长辈去世了，他让我以朋友的身份去祭拜我去了，见到了他的妻子，一个很庸俗的胖女人，因为第二个孩子孩子哺乳期他不能离婚。他想让我帮生个儿子，我也幻想着以后的生活，甚至糊涂得分到一套60平米的单位房都不让老公知道，我约好他，让他成为这房子的男主人。后来被他老婆发现了，她请人在QQ里还原了我们的聊天记录，连做爱拍的裸照一并寄给了我老公。第一次看到老公哭了，我很难过。也真想回头，就是经不住诱惑，我跟情人跑去了浙江，一起朝夕相处。什么都不去想，可是发现他还是跟他老婆天天通话，根本不是他说的那样。后来我们吵架了，他说会离婚，叫我先离。于是我们又各自回了家，当在车站看到老公来接车，我感动了，矛盾了。回到家，老公又去朋友家喝酒，然后打牌，又没有回家。我心里很苦闷，只想求老公别再赌了，别再喝了酒了，就因为贪杯工作丢了，就因为喝酒我们连性生活都没有。因为赌钱家里的开支全落在我身上，表弟结婚我没办法还是跟情人拿的钱，包括手机都是情人给的。我该怎么办该不该离婚？