柏木は中納言に昇進していた。女三の宮の異腹の姉にあたる女二の宮と結婚していたが、相変わらず女三の宮への執着が断ち切れず、女二の宮は人柄もよく、容姿も普通の人に比べると、はるかにいいのに、更衣（こうい） 腹ということで、世間と同じようにどこか軽く見て、落葉にたとえた歌を詠んだりする。以後女二の宮を落葉の宮と呼称する。柏木はこの宮を、人から怪しまれない程度に北の方らしく扱って、この方を得てかえって、女三の宮への思いが増している。
源氏が二条に院に行ったきりなので、六条の院は人が手薄で絶好の機会だと思い、小侍従を呼び出しては、手引きをするようにせがんでいた。小侍従ははじめは、大それた高望みで不届きな邪恋だと言って、ずけずけ反対し相手にしなかったが、柏木の命がけの熱心さに根負けして、もともと思慮の浅い女なので、そのうち手引きしようと約束してしまった。
ようやくある日、小侍従から便りが来て、柏木は喜んで六条の院へ出かけて行った。
賀茂の御禊の前夜で、にょうぼうたちは見物の支度にかまけて、女三の宮のあたりには人がいなかった。その隙を見て、小侍従は柏木を宮の御帳台の側まで導いてしまった。
女三の宮はぐっすり眠っていたが、ふと気がつくと、傍らに男がいるので、てっきり源氏が返って来たのだと思い込んでいた。それがとんでもない別の男だと分かり、気も動転したが、どうするすべもなかった。
柏木は目の当たりに見る、恐ろしさにわなわな震えている女三の宮の上品で可憐な姿に、理性も消し飛んでしまい、ついに女三の宮を犯してしまった。そうなると、柏木の恋はますます限りなく燃え上がり、歯止めがきかなくなってしまう。その夜わずかな眠りの中で、あの小猫が出てくる夢を見る。獣の夢を見ると妊娠すると言われていたので、柏木は心の中でもしやと思う。
女三の宮はあまりにも思いがけない事態に茫然自失して、ただ源氏に知られることを恐れ、泣くばかりであった。
その後、柏木は長い恋の思いをとげたものの、かえって自分のしだかしたことのぞっとするような恐ろしさに脅えて、ノイローゼになり父の邸から一歩も出られなくなってしまう。これがばれて源氏に睨まれたら、生きてゆかれないと思う。女二の宮の所に行っても、同じ姉妹なのにどうして自分は落葉のようなこの人と結婚したのだろうと、失礼なことを考える。女三の宮も、あれ以来、恐ろしさに顔もあげられない気持で、病人のようになっている。
源氏は女三の宮が病気と聞いて捨ててもおけず、久々に六条の院に帰る。その夜、紫の上が息を引き取ったという急使が駆けつけ、源氏は気も動転して二条の院へとってかえす。
しかしもしかしたら、物（もの） の怪（け） のせいかもしれないと、懸命に加持をさせると、調伏された六条の御息所の死霊が出現して、恨み言を云う。その妄執の恐ろしさに源氏は慄然とする。
その日はじめて気晴らしに、弟たちと斎院（さいいん） 帰還の行列見物に出た柏木は、紫の上他界の噂を聞き、見舞いに行くと、夕霧が出て、物の怪のしわざで一時息が絶えていたが、今は蘇生したと告げる。
出家したがっていた紫の上に、源氏はようやく五戒（ごかい） だけを授けさせる。そうすることで、少しは快復するかという思いが込められていた。
命はかろうじて取りとめたが紫の上の容体は、その後一進一退で気が許せない。
一方、女三の宮は、柏木がその後も忍んで来るのを拒みきれず、薄氷を踏むような逢瀬が強いられていた。女三の宮としては、無体な男がただうとましいだけであった。
しかしなんという宿世の因縁か、女三の宮は柏木の子を懐妊する。