Two wrongs don't make a right.

• Минус на минус – не всегда плюс.
• Что написано пером — не вырубить топором.
• Со своим самоваром в гости не ходят.