Le château a d'abord été habité par les seigneurs savoyards. Il se composait alors d'une grande tour circulaire bâtie, vers 1235, par Amédée III de Montfaucon-Montbéliard, sire d'Orbe. En 1260, Amédée III, vend Yverdon à Pierre II de Savoie, et ordonne à ses vassaux de faire hommage à ce comte. Amédée était le frère de Richard de Montbelliard qui avait été au service de Pierre II de Savoie en Angleterre. Les liens familiaux anglais de Pierre, en particulier avec Richard qui était alors roi des Allemands, et sa récente construction du château de Pevensey dans le Sussex ont été importants dans l'acquisition et le développement d'Yverdon.

Le château de plan quadrangulaire a été construit de 1260 à 1265 par les maçons Jean et Jacques de Saint-Georges, père et fils, sur ordre du comte Pierre II de Savoie, pour protéger la ville.

En 1298, le dimanche après la saint Mathieu, par un acte daté de Mont-Bonnot : « Béatrice de Faucigny, fille de Pierre II de Savoie, du consentement de son mari le Dauphin Guigues VII de Viennois (Humbert d'Albon), restitue à son très-bien-aimé cousin, Jean Ier de Montfaucon, fils d'Amey (Amédée), le château d'Yverdon, la ville et la châtellenie, leurs appendances et appartenances, sans autre réserve que celle du fief ».

Le château d'Yverdon est un édifice de plan quadrangulaire dit « carré savoyard » de 40 × 48 mètres de côté flanqué par des tours circulaires. Construit sur des alluvions fluviaux-lacustres, la défense naturelle du site était assurée par la rivière Thièle. Un pont-levis permettait de la franchir au niveau de la porte orientale du bourg dont les murailles venaient se greffer sur le château.

Une étude menée par Daniel de Raemy a mis en évidence les nombreuses similitudes architecturales entre le château d'Yverdon et le donjon de Semur-en-Auxois. Les tours de ces deux châteaux sont en effet non pas couronnées de simples créneaux mais de baies-créneaux, fermées par des volets de siège à Yverdon, à linteau soutenus par des coussinets qui semble démontrer que dès l'origine les tours étaient couvertes. Les tours ainsi que le couronnement des courtines étaient dotés de hourds ; construits sur des poutres rétractables, ils complétaient l'appareil défensif en temps de guerre. Les charpentes actuelles des tours datent de la fin du xve siècle ; celles d'origines devaient être plus trapues. Le château était également précédé par de très fortes braies, aujourd'hui totalement disparues, qui en complétaient la protection. À noter que ce dispositif défensif était en 1260 considéré comme novateur.