1993年6月、鳩山邦夫に従い自民党を離党。1993年東京都議会議員選挙に無所属で出馬し、当選。松原仁らと会派「新生・友愛クラブ」結成する。1994年12月、都議会新進党を結成。1996年9月、新進党を離党し旧民主党に入党した。1997年東京都議会議員選挙で再選。
邦夫の1999年東京都知事選挙出馬に伴う1999年4月東京都第2区補欠選挙に民主党公認、公明党文京・中央・台東の各総支部推薦で出馬し、当選する（1996年の第41回衆議院議員総選挙において同区で比例復活した深谷隆司は自民党総務会長在職中で不出馬）。2000年の第42回、2003年の第43回の総選挙でも東京2区で深谷を下した。2005年の第44回衆議院議員総選挙では深谷に敗れ、比例復活も叶わず落選した。2009年8月、第45回衆議院議員総選挙に東京2区から出馬し、再び深谷を破り国政復帰を果たした。同年9月、鳩山由紀夫内閣において中小企業対策・地域活性化担当の内閣総理大臣補佐官に就任。2010年6月、鳩山由紀夫首相の退陣に伴い、首相補佐官を退任した。2010年9月21日に発足した菅第1次改造内閣で経済産業大臣政務官に就任。2011年1月に発足した菅第2次改造内閣でも再任される。2011年7月5日、菅直人内閣総理大臣に、経済産業副大臣を打診されるも、後に撤回される。
2011年2月24日、政策集団「東京維新の会」の代表世話人に就任した。
菅総理退陣に伴う2011年民主党代表選挙では、鳩山グループ所属ながら同グループが擁立した海江田万里経済産業大臣ではなく、鹿野道彦農林水産大臣の陣営に参加。鹿野は1回目の投票で54票を獲得し、決選投票で鹿野陣営の大半が野田佳彦財務大臣に投票した。
代表戦後の2011年8月31日に鳩山グループを脱退し、鹿野グループの旗揚げに参加。同グループの幹事長に就任。同年9月の野田内閣発足に伴い経済産業大臣政務官を退任。

* 2010年10月アジア太平洋経済協力会議（APEC）中小企業相会合に関連し、101日に岐阜市で開かれた「女性起業家サミット」の昼食会に経済産業大臣政務官として、経済産業省を代表して出席。その際、「日本の女性は家庭で働くことを喜びとしている」「女性が家庭で働くということが日本の文化」「日本の奥さんは力がある。デパートに行けば、始めに子供のもの、次に自分のもの、その次がペットのもので、4番目にご主人のものを買う」などと発言し、中山のツイッターには批判が集まった。中山は翌2日、「女性が十分に家庭で働いているという事実を言っただけ。差別するつもりはない」と釈明している。