細香江馬多保は天明七年 (1787) 大垣藩医江馬蘭斎の第二子、長女として生まれる。
蘭斎は大垣藩主侍医であった江馬元澄の養嗣子となり、その死後跡をついで侍医となった。
天明元年 (1781) 同藩小出与八郎の娘乃宇 (ノウ) をめとり、翌年には長子門太郎をもうけた。越えて天明七年に生まれた女子を多保と名づける。これが江馬多保 (タオ) 、後の細香 (サイコウ) である。
細香三歳の寛永元年 (1789) 、妹柘植 (ツゲ) 子が生まれたが、まもなく母は三人の子を残し、二十五歳の若さで亡くなった。母の後を追うように、兄門太郎も同年病没。やがて父は継室として山本佐野 (サノ) を迎え、姉妹は彼女に育てられることになる。

寛政四年 (1792) 蘭斎は江戸へ遊学し前野良沢の門下で蘭学を修める。以後蘭斎は当代屈指の蘭方医となるのであるが、彼には漢学の素養もあり、医事の傍らに詩文を楽しんでいた。 『論語訓詁解』 二十巻 (天明八年） (1788) 成、文政九年 (1826) 刊、を著わすなど、その造詣はなかなか深く、外出の時など韻書の類を必ず懐に入れていたという。
細香はこの父の手ほどきを受けて幼い頃より詩文に親しんでいた。また同じく幼時より画法の習得にも励み、水墨による四君子画を好んで描いていた。
十四、五歳頃より、京都永観堂禅林寺の玉翁の弟子で墨竹画に長けていた玉リンの指導を受ける。玉リンは当時画名の高かった人で、彼により細香の手腕は上達した。

文化元年 (1804) 、蘭斎の甥である温井元弘 (ヌクイ ゲンコウ) (号松斎) が妹柘植子の婿養子として迎えられる。長子を失った蘭斎はかねてより元弘を子として養っており、行く行くは細香の婿として江馬家の跡を取らせる心づもりであったらしいが、柘植子が元弘に思いを寄せているのを知った細香は、妹の方を元弘と娶わせるよう勧めたという。二十歳の頃には細香の画技はさらに進境を呈し、玉リンやその師玉翁の助言により、画論書や広く詩書を読むことにも努めていた。

文化十年 (1813) 細香二十七歳の秋、美濃を遊歴していた頼山陽が蘭斎を訪れ、彼女はこの名高い文人と初めて見 (マミ) えた。彼は寛政十二年 (1800) の脱藩事件以後、自宅内での蟄居、さらに菅茶山 (カン チャザン) の廉塾 (レンジュク) (福山神辺) での都講生活を経て、文化八年より上京し、新町に私塾を開いていた。
文化十年当時彼は三十四歳、高名な蘭方医であった蘭斎を訊ねたところ、ゆくりなくもその愛娘と言葉を交わし、彼女の清楚な美貌と詩画の才能とに深く心を動かされた。山陽は若い頃妻をめとっていたが、脱藩の折り廃嫡となってその妻とも離縁し、当時は独り身であった。
文人たる自らの妻として細香以上の伴侶はないと思い定めた彼は、真剣に親友小石元瑞 (コイシ ゲンズイ) に結婚の相談をもちかけている。
細香は 「淡粧素服」 にして 「風韵 (フウイン) 清秀」 、「琴心挑むにも及不申候へども、両情暗相許於心目之間所ハ的確ニ御座候」 、しかし、あの厳格な父親が自分の放蕩の噂を聞いており、席上でもそれを揶揄する始末、とても大切な娘をくれそうにはない云々 (文化十年十一月十三日付元瑞宛書簡) と。
この山陽の熱烈な思いにもかかわらず、二人が夫婦として結ばれることはなかった。蘭斎の反対によるとも、文人同士の結婚を危ぶんだ山陽の友人の反対によりとも言われているが、その間の経緯は定かでない。しかし、以後二人は子弟の関係を結び、その師への思いは彼女の生涯を通して続くのである。

文化十一年 (1814) 春、細香は約束通り京に上る。山陽の家には既に元瑞のはからいで内妻として迎え入れた梨影 (リエ) という女性がいた。さて細香は山陽を介して知り合った武元登登庵 (タケモト トウトウアン) 、浦上春琴 (ウラカミ シュンキン) 、小石元瑞らと都の花を愛で、こうして細香と京の文人達との交友が始まる。また山陽を通して細香の描いた書画は次第に諸家の求めるところとなり、彼女の画名が遠邇 (エンジ) に広まっていく。
帰郷後の細香は詩稿のたまるごとに山陽に送り、彼はそれに丁寧な朱批と評を加えて指導した。
この年、音信を絶たれていた父春水との和解が成り、初めて帰郷のかなった山陽はその旅にも細香の詩稿を携えて、矢立ての筆で批正を施し、光源氏さながら須磨の月影に遠く離れた彼女のことを思いやっている。

山陽を中心とする文人サークルに加わったことが彼女の詩画の技を高めるにいかに資したかは言うまでもない。文化十四年 (1817) 秋に再び上京した折には浦上春琴に南宗画の指導を受ける。また諸家との贈答も盛んに行われ、文政二年 (1819) には長崎に滞在していた清人江芸閣 (コウウンカク) から詩が寄せられる。。一方郷里大垣においても、彼女の詩名は高まりつつあった。大垣に程近い曽根村に江戸より帰郷していた梁川星巌、細香、美濃の村瀬藤城らが集まって、文政初年頃より大垣に詩社 「白鴎社」 を結ぶ。彼らの外に、山本北山 (ヤマモト ホクザン) 門下の柴山老山 (シバヤマ ロウザン) 、秦滄浪 (ハタ ソウロウ) 門下の柏淵蛙亭 (カシワブチ アテイ) 蘭方医の神田柳渓 (カンダ リュウケイ) らの美濃の詩人達が月一度の詩会に集い、盛んに詩酒を戦わせた。星巌の妻紅蘭も後にこれに加わっている。
文政三年 (1820) 伊勢の津阪拙修 (ツサカ セシュウ) が美濃の詩人の作を集めた 『三野風雅』 なる書を編撰するが、これに細香の詩も採られることになり、細香はその選択を山陽に委ねている。山陽は彼女のためにあえて 「女子之詩」 らしく見えるものをと選んだと自らも言っている。

文化十一年 (1814) 春から天保元年 (1830) に至るまで細香は七度上京して、山陽を訪ねている。天保元年の春帰京する細香を見送って、山陽ほか、広瀬淡窓門下の中島子玉、淡路の岡田鴨里 (オウリ) 、昌平黌出身の塩谷宕陰 (シオノヤ トウイン) らがともに唐崎まで同行した。唐崎の松のもと、細香は別れを惜しんで歌う。

儂は岸上に立ち、君は船に在り、船岸相望めば別愁を牽く・・・

松下に躊躇して去るを得ず、万頃の碧波空しく渺然

( 「唐崎の松下に、山陽先生に拝別す」 )

( 『頼山陽 梁川星巌』 岩波書店 (江戸詩人選集、第八巻) 164頁参照)

いつもの別れにもまさって、この度ばかりは互いに切なさが募った。山陽は自分の死が迫り、これが最後の別れとなることを心のどこかで予感していたのであろうか。また彼のそぶりに彼女もただならぬ不安を覚えたのか、大垣に帰りつくと、詩稿の末尾に和歌一首を書き添えて山陽のもろに送った。

わかれても またあふみ路を かくる身は　あわづてふ心地を よけてこそ行

山陽もまた批正に執った朱筆をはしらせ

わかれても ももちにみたぬ ももくきね　みのあるかきり あわんとそおもふ

と認 (シタタ) めた。
そして天保三年 (1832) 、結核を患った山陽は世を去る。享年五十三。出会って以来十九年間、二人は詩という絆で結ばれて稀有な交情を保ってきた。彼女は彼の死を悼んで挽詩を賦しているが、その悲しみを述べ尽くすことは出来なかったであろう。