Jarlsberg grevskap ble opprettet som Griffenfeldt Grevskab 26. november 1673 som Norges annet og siste grevskap, da Tønsberg len og amt ble forlenet til Peder Griffenfeldt. Dette grevskapet bestod bare i tre år, ble 1676 inndratt til kronen under navnet Tønsberg Grevskab. Det ble 1678 solgt til stattholder Ulrik Frederik Gyldenløve, som allerede var innehaver av Laurvigen grevskap, og dermed ble herre over hele det senere Vestfold fylke.

Hovedgården Sem gård ble fra denne tid av hetende Jarlsberg hovedgård. Navnet Jarlsberg antas å skrive seg fra Gyldenløve, som var interessert i Norges gamle historie og formodentlig selv laget dette velklingende navn i tilknytning til det gamle Jarlsø ved Tønsberg og under påvirkning av den engelske earlverdighet. Det forekommer første gang brukt i et offentlig dokument (i Norske Tegnelser) den 6. mars 1680 og betegner der hele grevskapet; men samtidig eller meget snart etter ble det også festet til Sem gård, som kaltes Jarlsberg grevelige residens eller Jarlsberg hovedgård.

Gyldenløve solgte 1683 grevskapet videre til feltmarskalk, baron Gustav Wilhelm von Wedel i, som 1684 antok navnet Jarlsberg Grevskab. von Wedel og hans etterkommere besatt grevskapet til det i henhold til adelsloven av 1821 opphørte da den siste norske greve Peder Anker Wedel Jarlsberg døde i 1893. Godset ble da omdannet til et stamhus for medlemmer av slekten Wedel Jarlsberg. Nåværende stamhusbesitter er Carl Nicolaus Wedel Jarlsberg (født 1973).

I 1821 ble grevskapet i administrativ forstand omgjort til Jarlsberg fogderi og slått sammen med Laurvig Grevskab til Jarlsberg og Larvik amt. Landets fogderier ble avviklet i perioden 1898-1919, og amtet fikk navnet Vestfold fylke i 1919.

Griffenfeld grevskap:

• Peder Schumacher Griffenfeld (1673–1676)

Tønsberg grevskap:

• Ulrik Frederik Gyldenløve (1680–1683)

Jarlsberg grevskap:

• Gustav Wilhelm von Wedel-Jarlsberg (1683–1718)
• Frederik Anton Wedel Jarlsberg (1718–1738)
• Frederik Christian Otto Wedel Jarlsberg (1738–1776)
• Frederik Anton II Wedel Jarlsberg (1776–1811)
• Johan Caspar Herman Wedel Jarlsberg (1811–1840)
• Peder Anker Wedel Jarlsberg (1840–1893)

• Jarlsberg hovedgård
• Kulturarv i Vestfold fylkeskommune om Jarlsberg hovedgård

• Sem kongsgård – Jarlsberg hovedgård