「平均律クラヴィーア曲集 第1巻」の自筆譜はベルリン国立図書館に大切に保管されていますが、紙やインクの腐食のため存続の危機に瀕していました。ゲッティンゲンのバッハ研究所から小林義武が自筆譜の調査に出向いた時、穴だらけの資料を渡され開いてみると記入箇所がさらにこぼれ落ちそうになったため、即座に返却し修復の措置を取るように図書館側に伝えたことが何度かあったそうです。修復方法は紙面の表面と裏面をはがし、その間に新しい紙を1枚挿入して再び張り合わせるという方法です。この方法によって「平均律クラヴィーア曲集 第1巻」の自筆譜は紙が厚くなり強化修復されました。

「平均律クラヴィーア曲集第2巻」の自筆譜は祖国を離れロンドン大英博物館所有となっており、保存の状態はかなり良好ですが、不完全な形で残されています。このロンドン自筆譜は24曲中、3曲のプレリュードとフーガ(嬰ハ短調、ニ長調、ヘ短調)が欠けており表紙も消失しています。
従って正確に言うと「平均律クラヴィーア曲集第2巻」という表題はバッハがつけたものではないことになります。現存する筆写譜の中にバッハの弟子で娘婿でもあるアルトニコルの手によるものがあります。これは研究者たちがバッハの意図も反映しており最終稿に相応しいと見なしているものですが、その表紙に「平均律クラヴィーア曲集第2巻、すべての全音と半音を用いたプレリュードとフーガ集。ポーランド国王兼ザクセン選帝侯宮廷作曲家、楽長、ライプツィヒ合唱音楽隊監督ヨハン・セバスティアン・バッハがこれを作曲す」とあります。これによって私たちは「平均律クラヴィーア曲集第2巻」と呼ぶことになったのです。第2巻はバッハの肩書きや「全音と半音」という表現が第1巻のそれとは異なっています。

第2巻は第1巻のように完全な形の自筆浄書譜が残っていません。欠けた3曲は信頼のおける弟子たちが書き写した「もう一つの失われた自筆譜」によって完成しています。弟子のアルトニコルやキルンバルガーの筆写本にはバッハが更に改訂の手を加えているので信頼できる資料と言えるのです。第2巻の自筆譜は次の3つのグループを成しています。第1のグループは調号が4つまでで比較的簡単な調が12曲入ったもの、第2のグループは調号の多い難しい調が7曲入ったもの、第3のグループはハ長調と変イ長調の2曲、そして最後に欠けている3曲です。