En 1758, lorsque Voltaire, âgé de 65 ans, fait l’acquisition de la seigneurie de Ferney, il déclare avoir trouvé un « hameau misérable » où il construit la demeure de ses dernières années. Investi des principes philosophiques qui ont nourri l’esprit du siècle des Lumières, tour à tour urbaniste, entrepreneur et mécène, il transforme la seigneurie de Ferney : marais asséchés, construction de maisons, d’une fontaine publique, d’une nouvelle église, pavage des rues, développement de l’artisanat... Le Ferney voltairien se déploie suivant deux axes perpendiculaires, la route de Genève à Paris et celle de Lyon à Versoix. Deux ensembles s’y distinguent. Proche du château, les maisons de la rue de Gex se constituent de pavillons rehaussés de pilastres ornés de motifs sculptés. Elles sont séparées de la rue par un jardin et comportent un second jardin à l’arrière. Ailleurs, les maisons s’alignent en bande continue ou mitoyennes, avec un rez-de-chaussée, un étage et un grenier, ainsi qu’un jardin à l’arrière. Elles comportaient souvent des ateliers.

Reconstruit par Voltaire entre 1758 et 1766 à l’emplacement d’une maison forte et d’une gentilhommière, le château de Ferney présente les principales caractéristiques des résidences de campagne aristocratiques du bassin lémanique : dimensions modestes, austérité affichée des décors extérieurs constitués pour l’essentiel par des ouvrages d’angle, des pilastres et des fenêtres en grès molassique, avant-corps central surmonté d’un fronton aux armes du seigneur. La façade, côté jardin, était animée d’un avant-corps en arrondi, encadré de pilastres.
La bâtisse, qui a tout d’une demeure bourgeoise, présente néanmoins certaines particularités étrangères à l’architecture régionale : toit mansardé sans doute inspiré de l’hôtel d’Evreux (actuel Palais de l’Elysée), propriété de la marquise de Pompadour et protectrice du philosophe, arrière-corps central arrondi – aujourd’hui détruit – d’inspiration anglo-saxonne, ailes adjointes au corps central par l’architecte et faïencier Léonard Racle en 1765 et 1766. Habitée à l’année, la demeure bénéficiait à l’origine d’un décor raffiné et du confort moderne (poêle, salle de bains…).

Très vite, Voltaire se rend à l’évidence : son château est trop petit pour accueillir ses nombreux visiteurs. Il fait appel en 1765 à l’architecte et faïencier Léonard Racle (1736-1791), pour ajouter deux ailes qui donnent à l’édifice son aspect définitif. Voltaire lui confie la plupart des travaux de la ville de Ferney. Parmi ses nombreuses réalisations on peut citer, la propre maison de Racle et le château de « Bijou ».
À l’intérieur du château, deux créations de Racle structurent la décoration du salon en face à face. Un poêle de 1777 offert par Mme Marie-Louise Denis à son oncle orné de son buste et de motifs allégoriques (trompettes de la Renommée, génie de la Poésie, attributs des Muses…), et un cénotaphe de 1779. Racle est au fait des avancées technologiques de son temps. Il construit à Versoix une manufacture de faïence où il met en œuvre un procédé de son invention permettant de produire un matériau à partir de diverses argiles alliant la finesse et la dureté, ressemblant à du marbre lisse et bien veiné de différentes couleurs que Voltaire nommait argile-marbre.
À la mort du philosophe, Racle est sollicité par l'impératrice Catherine II de Russie, grande admiratrice de Voltaire, mais il préfère rester en France afin de se consacrer à la construction du canal de Pont-de-Vaux, joignant la Reyssouze à la Saône. Il développera l’utilisation de la faïence dans l’architecture, convaincu que celle-ci peut remplacer la pierre dans bien des cas. Esprit inventif, il expérimenta notamment une voûte en brique incombustible, pour la maison Guichellet à Pont-de-Vaux classée monument historique depuis 1998.

Le parc est aménagé simultanément et participe à la mise en scène du château qui domine le site, notamment par l’implantation, au sud, de charmilles et vers l’ouest d’un jardin à la française, d’une pièce d’eau et d’une large terrasse. Voltaire fait ménager des ouvertures dans la frondaison des arbres en pour dégager et valoriser la superbe vue sur les Alpes et le Mont-Blanc. En contrebas des terrasses se trouvait le vignoble de Voltaire, aujourd’hui en cours de réaménagement.
Voltaire ne ménage pas son énergie pour embellir le parc qui forme le plus bel ornement du domaine. Le célèbre épilogue de Candide, « il faut cultiver notre jardin », trouve ici tout son sens : ses éloges de la vie rurale ne sont pas une convention poétique mais l’exaltation d’un mode de vie auquel il était profondément attaché.
La grange voisine est aménagée en salle de spectacle. Son architecture est des plus sommaires. Ce théâtre présente les premières des pièces du répertoire voltairien qui sont testées localement avant d’être mises en scène à Paris. Agrandi par la suite, il pouvait accueillir jusqu’à 200 spectateurs au grand plaisir des Genevois, interdits de spectacle sur le territoire de leur République.

Voltaire est conduit à faire reconstruire l’ancienne église paroissiale. Il fait graver malicieusement l’inscription DEO EREXIT VOLTAIRE M.DCC.LXI. (Erigé par Voltaire à Dieu en 1761), d’autant plus choquante que son nom y figure en lettres plus grandes que celles du nom de Dieu. En 1794, la façade change d’apparence : les révolutionnaires arasèrent les deux clochers latéraux. C’est en 1806 qu’est dressé le clocheton central visible aujourd’hui.
En 1766, Voltaire fait ériger un tombeau adossé au mur de l’église. Il craignait de subir dans la mort le sort des comédiens, des hérétiques et des philosophes que l’Eglise condamnait à la fosse commune. Comme ce tombeau était simplement accolé à l’extérieur de l’église, il caressa, en vain, l’espoir que son ironie perdure outre-tombe : «  les malins diront que je ne suis ni dehors ni dedans ». L’évêque d’Annecy ne lui donnera pas l’absolution nécessaire à son inhumation à Ferney. Sa mort, survenue lors de son retour à Paris en 1778, lui accordera un autre destin posthume : d'abord enterré à l’abbaye de Scellières en Champagne son corps sera transféré au Panthéon le 11 juillet 1791.

À la mort de Voltaire, en 1778, Catherine II impératrice de Russie projette de bâtir à l’identique le château de Ferney dans le parc de Tsarkoïeselo, son palais d’été. Dans ce but, elle fait construire une maquette et dresser par Léonard Racle les plans du château et de l’ensemble du domaine, et achète la bibliothèque du philosophe. Ces documents, conservés à la bibliothèque nationale de Russie, constituent aujourd’hui une source inestimable sur le château de Voltaire et son organisation originelle.
En 1999, l’État acquiert le château de Ferney, lieu de mémoire où Voltaire a tant écrit pour la défense des droits de l’homme. Classé au titre des monuments historiques depuis 1958, le château est également labellisé "Maison des Illustres" depuis 2011.