И с нее, и на нее — это хорошо. Когда она вместе с ним — это предложение. В еще одной идиоме, кроме ЕГО, ЕЕ и связывающего их предлога, встречается не совсем стандартная форма деепричастия. Какая именно?