Выражение появилось ещё в те времена, когда большинство людей занималось сельским хозяйством в деревнях.
• И любую вещь, которую нельзя было с пользой использовать в деревенском быту, сначала называли
«не селу, а к городу». Со временем фразеологизм приобрёл другое значение.
• Городские и сельские жители, говоры, традиции, привычки, гардеробы, этикеты всегда подсознательно считались несопоставимыми.
• Вероятно, на этой почве и возникло выражение, которое причисляет то или иное явление к чему-то непонятному, не подходящему ни к тому, ни к другому полюсу жизни. То есть ни к чему.
Грамотная речь | Лингвистика