後閑村の源武館道場に近郊の若者や、やがて沼田城の家臣も往来するようになると土岐家との軋轢が生じてきた。

寛政二年正月、沼田の知人を訪ねた帰途、夕暮れの沼田城下の滝坂辺に来ると、十数名に囲まれその内の三名が手傷を追うと蜘蛛の子が散るように逃げ去ったという。この事件を契機に虚中軒は江戸への進出を決心する。

時は寛政二年二月で、先ず旗本 羽倉権九郎邸に滞在して直心影流藤川派 藤川弥司郎右衛門近義の下谷長者町道場の師範代を務める。三月には小石川の嶋田甚五郎長屋に移り、ここを稽古場として流儀の稽古を始めている。この時すでに下谷御徒町の旗本 羽倉邸内に宅道場が着々と建築されていた。