直接には手がかりの無い主張でも、否定を仮定すると具体的な式が手に入ることがあります。それを利用する証明の方法を定めます。
定義 1 (背理法). 証明したい主張を否定して仮定し、その仮定と既知の事実とから矛盾を導くことによって、もとの主張が正しいと結論する証明の方法を背理法という。
否定を仮定すると矛盾が出るのだから否定は誤りであり、したがってもとの主張が正しい、という筋道です。
1 手順は決まっている
主張を証明するとき、次の順に進めます。
- の否定を仮定します。「もしでないとすると」と書き出し、が具体的に何を主張しているのかを、式や条件の形で書き下します。
- その仮定と、すでに示されている事実とから推論を進めます。
- 矛盾に到達します。矛盾とは、ある命題についてとの両方が導かれること、またはのように偽であることが分かっている命題が導かれることです。
- 矛盾がどの仮定から出たのかを明示します。証明の中で用いた仮定は、もとの主張の前提と、手順1で置いたの二つです。前提は正しいものとして与えられているので、誤っているのはのほうです。
- が誤りであると結論し、が正しいとします。
手順1と手順4を省略しないことが重要です。手順1で否定を正確に書き下すことができなければ、その後の推論は別の主張についての議論になってしまいます。手順4を書かなければ、読み手は、導かれた矛盾がどの仮定を否定する根拠になるのかを判断することができません。
2 例：は無理数である
定理 2.1 (の無理性).は無理数である。
直接示そうとすると、無理数であることは「有理数として表すことができない」という否定的な主張なので、手がかりを取り出すことが困難です。否定を仮定すると、逆に手がかりが増えます。
証明 (背理法による). 否定は「は有理数である」です。これを仮定すると、は整数の比として表すことができ、約分し切った形をとって（、は整数、、とは互いに素）と書くことができます。両辺を2乗して分母を払うと
を得ます。左辺は偶数なのでは偶数であり、「が偶数ならばは偶数である」（「逆・裏・対偶」で対偶によって示しました）からは偶数です。そこでと書くと、すなわちとなり、同じ理由でも偶数です。とがともに偶数であることは、とが互いに素であるという仮定と矛盾します。
この矛盾は、もとの前提ではなく、手順1で置いた仮定「は有理数である」から出ています。したがってこの仮定は誤りであり、は無理数です。▨
否定を仮定したことによって「と書くことができる」という具体的な式が手に入り、以降は整数の計算として進めることができました。背理法は、直接には手がかりのない主張について、計算することができる形の仮定を作り出す方法です。
3 対偶による証明との違い
「」を示すのに、対偶を示すのが対偶による証明です。背理法では、との両方を仮定して矛盾を導きます。
二つの方法は近い関係にありますが、何を仮定として置くかが異なります。対偶による証明では、仮定はの一つだけであり、そこからを導くという到達点がはじめから決まっています。背理法では、仮定はとの二つあり、どこで矛盾が出るかは決まっていません。使うことができる仮定が多いぶん、到達点が定まっていないという違いです。
到達点が決まっているほうが議論を組み立てやすいので、の形の主張については、まず対偶による証明を検討します。が無理数であることのように、そもそもの形をしていない主張では、背理法を用います。
閑話休題：無理数がもたらした最初の衝撃が無理数であるというこの背理法の証明は、数学史上もっとも古い衝撃の一つでした。古代ギリシャのピタゴラス学派は、万物は整数の比によって表すことができると考えていましたが、正方形の対角線と一辺の比（）がどのような整数比によっても表すことができないことが、この証明によって明らかになります。伝説では、この事実を学派の外へ漏らしたヒッパソスが、海に投げ込まれて命を落としたと伝えられています。
背理法は、とのどちらか一方は必ず正しいという排中律と深く結び付いています。存在を示す証明には、条件を満たす実物を一つ作って見せるものと、存在だけを保証するものがあります。たとえば、無理数、でが有理数になる組が存在します。を考え、が有理数であればとすれば済みます。無理数であれば、とすると
で有理数です。どちらの場合にも組は存在するのに、どちらが本当であるかは言い当てていません。排中律を認めない立場は、こうした「作らずに、あるとだけ言う」証明を疑い、実際に構成することを求めます。この線引きは、数学の土台を問う場面で再び現れます。