Еврей - понятие, отражающее объективное устройство человеческой "духовной физиологии". С особенностями устройства человека связаны его обязанности и возможности. Многие еврейские обряды объективно (т.е. вне зависимости от чьего-либо субъективного мнения) требуют участия в нем именно еврея.

Впрочем, еврею никем не возбраняется посещать синагогу, молиться по "еврейскому" сидуру и т.п.