他以前出轨好多次我以为很好拿下，他在拖地我过去拍了一下她的屁股跟她说了想法。他当场拒绝！人往后面退，他说再这样要告诉他老公和我老婆。说自己女儿多为我这个家着想之类的话。说我就此罢手她当什么都没发生过。感觉他打心里就看不起我。我该怎么办