Two wrongs don't make a right.
Минус на минус – не всегда плюс.
Что написано пером — не вырубить топором.
Со своим самоваром в гости не ходят.