这样的婚姻我应该放弃吗？

我和他认识四年，在四年当中也遇到很多波折，他比我大十岁，也因为年龄的差距家里人很反对我们在一起，我为了追求自己的爱情始终没听过家人的劝告，于是家人拿我没办法的情况下终于同意我们在一起，也因为种种原因，他对我家人很大意见，我和他也因为家里的事吵过不少架，也正因为他比我大十岁的原因吧，我们经常沟通都有问题，他是我的初恋，我把一切都给了他，终于在2007年12月我怀孕了，当时我不敢告诉家里人，我们还没有结婚，家里人本来就不喜欢他又都比较保守，于是经过几个月的争杂后我告诉了家里人，家人除了气愤同时也很为我担心，他一直是我家人不喜欢的对象，这下有的小孩更让我家人无奈，于是让我们在年后结婚，结婚后生活过得很平淡，很多时候我都是回娘家住，有时我觉得结婚和没有结婚没区别，他和他家人分开住，有时不让我去他家住，特别他出差了不让我打电话，更让我觉得奇怪，我们两都结婚了，连他家我都不是想进去住就去住的，这算是结婚了吗？他的解释是因为我去住的话会让他睡不觉，他希望我回娘家住对我和BB都好，我虽然在不愿意的情况下也同意了他的做法。在的怀孕期间，因为他的变化，我也变得很留意，很敏感，他很喜欢上网，有时可以上一晚上都可以不睡觉，我对他所做所为变得不耐烦，我讨厌他过这种不正常的生活。虽然我不喜欢，但我始终没说他一句，因为我知道他不喜欢我这样管他，而且他对他的手机很敏感，他的举动让我很怀疑，他害我看到手机里的短信吧。也为因他的举动和变化包括对我的态度让我很怀疑他在外面是不是有其她的女人，我发现他在电脑里有两个QQ号，他平时跟我说不上网，QQ号密码不记得了，于是我就每天看看他有没有在线，我发现他和别人共用这两个QQ，但我还是没有问他和谁共用QQ，连做为老婆的我都不肯共享，这一刻我对感情失望了，我对感情这么执着，这么专一，对他这么信任，四年来都没有怀疑过他任何事情。我心情变得很低落，我在想我无法接受他在外面有其他女人，以他平时跟我相处真的不知道，也察觉不到他在外面有女人。也许是我以前一直没有留意的原因，在我怀孕七个月时，我实在是忍不住，于是我在网上找到的QQ聊天记录，我偷看了他跟那个共用QQ的那个女人的聊天记录，我和想的一样，他跟那个女人在一起，而且他还很想要她，很想她，还经常见面，每天起床他想的是另一个女人，他的手机还经常换卡看到这聊天记录我快蹦溃，为什么他有其他女人了还要跟我在一起，还要跟我结婚，我一次次的问自己，发现他跟别的女人一起时，这一刻我真的不知道怎么办才好，离开他，还是留下来，BB还未出生，我不知道他家人知道不知道他在外面有女人。我好矛盾，好矛盾，我应该放弃吗？