Un "château neuf" est cité pour la première fois en… 1015 : novum castellum super Isaram. A cette époque il appartient à Boson de Châteauneuf.
Le château s'élevait sur la crête qui domine la rive gauche de l'Isère, en face de Pau : planté sur sa motte, il  surveillait le passage et assurait la possession du bac qui permettait de passer l'Isère.

Depuis au moins l'an 1283, Châteauneuf entre dans les nombreuses possessions des La Chambre, vicomtes de Maurienne ; puis au milieu du XVe siècle, le fief  passe par héritage aux Seyssel-La Chambre.
Mais en 1491, Blanche, veuve du duc de Savoie Charles Ier dit le Chasseur, et régente de 1489 à 1496, fait condamner le comte Louis de Seyssel-La Chambre pour ses interventions audacieuses dans le jeu politique avec la France de Louis XI : ses châteaux doivent être détruits !

Seul celui de Châteauneuf subit finalement le châtiment : il fut rasé, sa chapelle saint-Étienne disparut.
Les paroissiens élevèrent une nouvelle église après 1491, à peu près à l'emplacement de l'église actuelle, donc toujours aux confins nord de la paroisse.
Le Comte Louis y fonda une chapelle Notre-Dame de Pitié : on en trouve mention dans divers actes concernant la Collégiale Ste-Anne, qu'il fonda également, dans la cour de son château de Chamoux en 1515, unissant les deux sanctuaires pour mieux doter la collégiale.