«Ходить налево» — устойчивое выражение с негативным значением «изменять/предавать». Однако, оно касается далеко не только романтических отношений, но и любого «неправильного» поведения: «левый человек»/«левый заработок» и т.д.
Есть несколько причин, которые привели к такой устойчивой семантике (смыслу):
1. Христианское представление о том, что во время Страшного суда праведники будут стоять по правую, а грешники по левую руку (Евангелие от Матфея). Также, в православных храмах существовал обычай: мужчинам стоять с правой стороны от алтаря, а женщинам — с левой.
А ещё, есть распространенное суеверие, что на правом плече человека сидит ангел, а на левом — бес.
2. Разделение пространства дома/избы на мужскую и женскую части:
• рядом с печью (чаще всего слева) находилась женская сторона — «бабий кут»;
• мужская сторона называлась «коник» — широкая лавка у входа в дом, там занимались ремесленными работами.
Пойти «налево» — значит на женскую половину дома.
