on purpose 「故意に、わざと」purposeは何かを達成しようとする目的とか意図を表します。onは「~に基づいて」という「根拠・理由」を示すonでしょう。「意図に基づいて」ということから「故意に」となります。I believe he has made a mistake on purpose. (私は彼が故意に間違いをしたと信じている)(慶応)反意表現にby accident / by chanceなどがあります。byは「力」の前置詞なので「偶然の力によって」と考えればいいかもしれません。by accidentは「わざとではなく」「うっかり」といった感じ。あらかじめ何かしようとする意図がない場合。運命の仕業としか考えられないような場合に使われるようです。I’m sorry. I broke it by accident. (ごめん。わざと壊したんじゃないんだ)It was purely by accident that the boys found the wall paintings in the cave. (少年たちがその洞窟の壁画を発見したのは全くの偶然であった)(サンライズエスト和英)これに対してby chanceは原因や根拠が特定できない場合。Something that happens by chance was not planned by anyone.とCollinsにありますが、ちょっと物足りない気がします。偶然良いことに出会ったようなときに使われますから、ポジティブなニュアンスがあるのが by chance と捉えてよさそうです。一方ネガティブな場合はaccidentallyを使えばよさそうです。By chance I met an old friend on the street. (街で思いがけず旧友に会った) 会いたくなかった友だちならばaccidentallyでしょう。I accidentally met a jerk on my way home. (帰りがけにいやな奴にあったよ)