Peder Tygesen 1312 og 1319.
Den første ejer af Vedbygaard. Denne Peder nævnes første gang i 1275 i forbindelse med en byttehandel med Sorø Kloster. I 1312 nævnes han til “Stigsvedbye”. Sidste gang, Peder Tygesen omtales, var i året 1319. Han døde antageligvis kort derefter.
 
Niels Pedersen Grubbe til 1346.
Niels Pedersen, kaldet Grubbe, var antagelig søn af Peder Tygesen. Derved kunne det synes, at de oprindelige besiddere af Vedbygaard kom af slægten ‘Grubbe’. Denne slægt overtager igen ejerskabet af Vedbygaard i 1600-tallet. Det var en trist afslutning på Niels Pedersens liv, der måtte pantsætte alt sit gods i Witby inklusiv byen Løgetved i Sæby, Hesselbjerg i Reerslev, Ougtved og Uglerup i Sæby sogn. Gård og jord blev ikke indløst
‍
Jacob Begere til mellem 1364-66.
Efter denne pantsættelse overtog hofsinde Jacob Begere Vedbygaard. Denne ridder var en godssamler og hørte til datidens mægtigste adelsfamilier.
 
Kronen til 1429.
Efter Jacob Begeres død overtog kongen alt hans gods under Kronen under det påskud, at den førnævnte ridder havde deltaget i nogle jyske herremænds oprør. Vedbygaard var krongods i cirka 60 år. Derfor udstedtes der 1387 et hyldingsdokument for Dronning Margrethe, og 1408 skulle den unge Erik af Pommern have opholdt sig på gården
. 
Jørgen Mikkelsen Rud 1429.
I 1429 overtog den første af slægten Rud Vedbygaard, en familie, der forblev på gården i 309 år til 1738. Jørgen Rud var ridder og søn af Mikkel Rud og Anna Jernskæg.

Mikkel Jørgensen Rud til ca. 1464.
Om Mikkel Rud, der var ridder som sin fader, er der heller ikke stort at sige. Han havde to hustruer, Elsebe og Catharine. Mikkel Rud efterlod sig Otte og Jørgen Rud med Elsebe.
 
Otto Mikkelsen Rud til ca. 1470.
Otto må have været ejer af godset først, men er tilsyneladende død allerede i 1470.
Jørgen Mikkelsen Rud, død 1504.

Jørgen Rud kom i besiddelse af Vedbygaard i omkring 1470. Den stigende anseelse bar et vidnesbyrd om, at slægten var bestemt for den gejstlige stand. Således finder man Jørgen Rud under det latinske navn, Georrius Rut de Zelandia. Denne var indskrevet og studerede ved universiteterne i Greifswald, Erfurt og Rostock. Broderens død har imidlertid forhindret dette gejstlige studie, der skulle have endt som abbed eller biskop. I stedet blev Jørgen Rud en rig og anset mand, som endda kom til at spille en rolle i landets historie. En af hovedårsagerne til dennes rigdom var utvivlsomt et gunstigt giftermål med Kristine Rosenkranz. Derved kom Jørgen Rud i familie med nogle af de betydeligste adelsslægter i landet og arvede herved to herregårde, Møgelkær i Jylland og Elvedgaard på Fyn. Ikke kun idyl fandtes og fra slutningen af 1400-tallet var Jørgen Rud optaget af krig og ufred. Jørgen Rud tog del i et togt mod Sverige, hvorunder han var fører for skytterne. Dette togt endte med Stockholms erobring. Efter hjemkomst led hæren et forsmædeligt nederlag. Dronningen blev indesluttet på Stockholms Slot, og der var uro i Norge, hvor Henrik Krummedige, husband til Jørgen Ruds datter, Anne, kun havde ringe mandskab. Efter et mislykket forsøg i Sverige drog hæren til Norge for at bistå H. Krummedige, der fortsatte kampen for at bringe Norge til lydighed.
 
[bølgestreg]Kristine Rosenkranz, død 1509.Efter sin mands død synes Kristine Rosenkranz selv at have styret det store gods. Denne enkekone havde besøg af Dronning Kristine, og disse fromme og hårdprøvede kvinder har sikkert forstået hinanden. Kristine Rosenkranz udgød godhed til flere sogn, og heller ikke fattigfolk og peblinge fra Slagelse blev overset. Otto Jørgensen Rud, død ca. 1510.
‍
Otto Rud var en krigsmand med liv og sjæl fra ungdommen af, og som krigsmand lever hans minde videre til i dag, dog ikke for det bedste. Denne overfaldt juleaften 1504 Niels Ragvaldsens Borg med hvide skjorter over rustningerne. De kravlede op ad murene på stiger og stod pludselig midt iblandt borgens forsvarer. Niels Ragvaldsen undslap ved at ty op i et tårn og lade sig falde derfra. Hustru toges til fange udover meget mandskab. Resten nedsabledes. Kong Hans blev betaget af denne raske dåd og overgav Otto Rud borgen. Nogle år senere blev Otto Rud udnævnt til lensmand på Borgholm på øen Øland, hvor han med alle kræfter tugtede svenskerne. Gang på gang beklagede rigsforstanderen sig over denne uforskammede dansker til rigsrådet.
 
Da moderen døde overtog Otto Rud Vedbygaard, men forholdt sig ikke længe der. Da svenskerne undlod at give møde i Malmø, foretog Otto Rud et hævntogt til Finland, som har sikret hans navn mod forglemmelse. Natten mellem 2. og 3. august 1509 listede Otto Rud sig med sine krigere ind i hovedstaden Aabo og påbegyndte til lyden af trommer og piber en udplyndring, der tog fem dage. Da byttet var bjærget om bord, drog de bort, mens en stor mængde lå dræbt tilbage, deriblandt også præster. På daværende tidspunkt var sådanne udplyndringer ikke unormale, men det var første gang, at man ikke skånede kirker og klostre. Under trussel om at afbrænde byen, hvis ikke de betalte en klækkelig sum, fik svenskerne en sådan skræk i blodet, at de sluttede fred med Kong Hans. En samtidig gejstlig forfatter, Pauli Juusten, fordømte denne færd med ordene: “at den retfærdige Gud visselig vilde straffe den Udaad, som denne Røver og Ugudeligehedens Søn havde bedrevet i Aabo.” Men allerede inden disse ord nedfældedes ramte gengældelse allerede krigsmanden. Han fralagde sig sit våben og skjold og drog i en pilgrimsdragt til fods mod det Hellige land for at afsone sine synder. Denne Danmarks drabeligste kriger nåede ikke langt og døde i Landsberg i Bayern.  Knud Jørgensen Rud, død 1554.
‍
Knud Rud var endnu en søn i slægten Rud, der skulle have været en del af den gejstlige stand, men i stedet endte som herremand som de andre. Det hedder “at han var lærd og skulde have været Biskop, men han vilde ikke og giftede sig i Stedet.” Biskop blev han lige så lidt som faderen. 
Da Kong Kristian II forlod landet 1523, måtte Knud Rud sammen med svogeren Erik Bølle og fætteren Henrik Gøye forsvare København i Kongens navn mod Frederik I, men da Kristian II udeblev, overgav de byen til Frederik I. Kort efter blev han udnævnt til ridder og optaget i rigsrådet. I øvrigt fulgte Knud Rud den nye konge i forhold til den lutherske lære, og han berømmes af digteren, Erasmus Lætus som en af reformationens tidligste forkæmpere. Endnu i 1524 var han dog afgjort katolsk og underskrev endda et hvast dokument mod munken Martin Luthers kætteri. I 1526 var han dog luthersk sindet, måske allerede året før. Den selvsikre adelstand fik snart andet at tænke på, da Grev Christoffer af Oldenborg indfandt sig med en lybsk hær på Sjælland og i løbet af en måned erobrede øen. Knud Rud overgav sig på Korsør Slot og måtte gå greven til hånde. Adelen blev dog snart ked af greven og brød med ham. Grevens folk ophidsede hermed borgere og bønder, og næsten samtlige adelsborge blev afbrændt. Også Vedbygaard blev underlagt denne vold, og Knud Rud skrev følgende: “Af hvad der var paa Korsør, fik jeg intet, min Gaard, Vedby, er næsten nedbrudt og intet derpaa uden de blotte Vægge.” Vedbygaard har altså været afbrændt. Kong Kristian III sejrede i Jylland og på Fyn og kom til Sjælland for at generobre. København faldt først i juli 1536. Knud Rud var øverste feltherre ved erobringen af Kallundborg.Herefter fulgtes en gylden tid for adelstanden. Knud Rud indlemmedes som medlem i rigets råd og var derfor med i forhandlingerne med den svenske Konge i 1541 og i Bremen ved fredsforhandlingerne med kejseren. Knud Rud var udover det een af hovedmændene bag hovedstadens forsvar. Efter Grevens Fejde var der nok at gøre på Vedbygaard, og Knud Rud rejste den igen i den skikkelse, vi kender den i dag. Jørgen Knudsen Rud, død 1571.
‍
Under Grevens Fejde blev denne unge Rud taget til fange, men begyndte straks derefter i Kongens tjeneste. Blandt andet ledsagede han Prinsesse Anna på det glimrende brudetog til Sachsen og deltog i turneringen ved brylluppet i Turgau.
 
I 1551 ægtede Jørgen Rud Karen Krafse og var kendt som en hård mand. Bestandigt lå han i strid med både ligemænd og underordnede. En gang måtte Kongen gribe ind og gennemtvinge et forlig med en anden adelsmand. Efter tidens skik levede Jørgen Rud kraftigt med rigelig brug af stærke drikke. Han efterlod sig 6 børn, hvor den ældste arvede Vedbygaard. Knud Jørgensen Rud, død ca. 1617.
‍
Knud og Hans Rud og fætteren Knud Ottesen Rud fra Møgelkær studerede ved universitetet i Padua. Da faderen pludselige døde, benyttde farbroderen Erik Rud sig af den åbne mulighed og benævnte sig selv værge for Jørgen Ruds børn. Erik Rud rykkede ind på Vedbygaard og huserede der, som det passede ham. Efter farbroderens død i 1577 har formodentlig Knud Rud rejst sagen over for fætteren. Først 1600, efter at Knud Rud var blevet lensmand på Københavns Slot, endte sagen ved Kongens medvirke, at der blev ydet erstatning. Først efter 29 års forløb kunne Knud Rud og søskende opnå deres ret. Knud Rud led dog som sin fader af pengemangel og måtte låne. Pudsigt fandt han et brev, hvorpå man kunne se, at Vedbygaard havde lånt Kronen 500 daler og et andet  brev på 700 daler til Abbed Niels på Sorø Skoles vegne. Knud Rud ægtede Hilleborg Gyldenstjerne, med hvem han fik tre døtre, Karen, Ane og Lene, af hvilke sidstnævnte arvede Vedbygaard. Knud Rud døde kort efter og hermed var Ruds mandslinje brudt.
 
Lene Knudsdatter Rud, død 1671.
Lene Rud ægtede 1614 med Jørgen Eilersen Grubbe, der var 10 år ældre. Traditionen tro havde han studeret i udlandet, hvorefter han gik i krigstjeneste. I hidsighed skød han sin ritmester og måtte flygte i kvindeklæder. Ved Kongens hjælp kunne han ordne sagen ved betaling. 
Lene Rud fik med Jørgen Grubbe 19 børn, men ved faderens død var kun 11 i live, 4 sønner og 7 døtre. Efter den sidste mandlige Ruds død opstod arvestridigheder, der varede det meste af 20 år. Da Lene Rud skulle indtage herlighederne, udbrød Svenskekrigen, og det meste af det blev ødelagt. Ved Lene Ruds død overlevede kun to sønner, Alexander Grubbe og Sivert Grubbe, hvoraf Sivert Grubbe var den yngste og arvede Vedbygaard.  [bølgestreg]Jørgen Ejlersen Grubbe, død 1640.Sivert Grubbe, død 1672
.
Sivert Grubbe var født på Vedbygaard og gik på Herlufsholm Skole. Han deltog i Svenskekrigen og ægtede sig med Hille Bülow i 1666. Sivert Grubbe overlevede kun sin moder med et halvt år, inden han døde i juni 1672. 
[bølgestreg]Hille Bülow, død 1718.Hille Bülow indgik et nyt ægteskab med Matthias Friederich Lützow. Han døde april 1696, 63 år gammel. Selv døde hun først i 1718. Arvingen til gården, den unge Jørgen Grubbe, døde som løjtnant i den danske hær i et togt til Sachsen, december 1700. Tilbage blev kun Lene Grubbe af første og Cathrine Lützow af sidste ægteskab. [bølgestreg] Matthias Friederich Lützow, død 1696.Lene Kristine Grubbe til 1738.
‍
Lene Grubbe ægtede Friedrich August Barner, der døde i udlandet som oberstløjtnant i 1712. Hermed sad endnu en enke på Vedbygaard. Men tre år senere indgik Lene Grubbe et nyt ægteskab med Carl Frederik Barnevitz, der syntes at have bragt det hele i håbløs gæld. Ved Carl Barnevitz’ død var gården og godset pantsat, og det hele kom på tvangsauktion i 1738. Hele herligheden blev købt af oberstløjtnant Joachim Barner. Og hermed afsluttedes en lang tid med Rud’er og Grubbe’r 
[bølgestreg] Friederich August Barner, død 1712.[bølgestreg] Carl Frederik Barnevitz, død 1736.
Joachim Hartvig Johan Barner, død 1768.
‍
Joachim Barner overtog Vedbygaard og ægtede Dronning Sofie Magdalenes kammerfrøken, Mette Amalie Rosenkrantz. Hun døde på Vedbygaard, og alle tre børn døde som små. To år senere ægtede Joachim Barner Elisabeth Tugendreich von Grambow, men dette endte heller ikke lykkeligt. Alle tre sønner døde som små.
 
Joachim Barner foretog en gennemgribende restaurering af sydfløjen, hvorved den fik den skikkelse, den nogenlunde har i dag. Vedbygaard blev oprettet til et stamhus for den barnerske familie, under navnet Barnersborg. Helmuth Gotthardt Barner, død 1775. 
Helmuth Barner var den første besidder af Barnersborg. Han oprettede hospitalet i Vedby samt 6 senge til fattigfolk. Helmuth Barner døde kort efter. 
Hartvig Gottfried Barner, død 1811.
‍
Hartvig Barner var kun 12 år gammel, da hans fader gik bort. Også han var to gange gift. Først med en friherreinde von Lehn og efter hendes død med Conradine Erica Johanne Fabritius de Tengnagel, med hvem han havde fire sønner og en datter. 
‍
[bølgestreg]Conradine Tengnagel til 1818. 
Da Conradine Tengnagels mand døde, blev hun så træt af den store ejendom og solgte gård og gods til assessor Peter Sigvard Neergaard. 
‍
Peter Sigvard Neergaard til 1844. 
Peter Neergaard var kun 33 år, da han overtog Vedbygaard. Han var en streng og myndig mand, hvis vrede alle bar den dybeste respekt for. Alt arbejde skulle udføres med den yderste akkuratesse, uanset hvem der arbejdede. Skoven og landbruget blev forbedret i højeste potens, hvorimod bygningerne ikke fik meget opmærksomhed og forfaldt stille og roligt. Efter en brand i 1832 mistede Neergaard interessen for selv at drive gården og solgte dermed gården.  
‍
Olaus Olavius Meldahl til 1853. 
Olaus Meldahl overtog Vedbygaard, men var en brutal herre over for alle sine underordnede. Kun hovbønderne kom han nogenlunde ud af det med. Meddelelser fra denne tid vidner om, at det nærmest mindede om en røverrede. I 1853 solgte han Vedbygaard med gevinst foruden de store summer, han havde presset ud af gården. 
F. W. Schytte til 1854.
‍
Køberen var F. W. Schytte, der heldigvis hurtigt fandt en Liebhaber til gården i agent Henrich Gamst fra København. 
‍
Henrik Gamst, død 1861. 
Henrik Gamst havde været leder af et stort industriforetagende i København. Henrik Gamst var indehaver af et støberi på Vestervold, der anskaffede familien en anseelig formue. Han forblev alle dage ugift og udvidede i stedet det store foretagende. Mangfoldige af landets kirkeklokker er støbt eller omstøbt af Gamst. Agent Gamst, som han gerne kaldtes, satte Vedbygaard i beboelig og brugelig stand. Særligt sydfløjen fik en gennemgribende restaurering.  
‍
Hans Christian Lund, død 1871.
Hans Christian Lund og ægtefællen Pauline Lund, født Friis, fortsatte i onklens fodspor i omsorg for den gamle gård. Der blev opført en veranda, et hissetårn, drivhuse og avlsbygninger. Foruden dette blev også nordfløjen i 1871-72 grundigt restaureret. Fru Lund omtales af Professor P. Madsen som en ualmindelig personlighed, hvis lyse forstand, hurtige og sunde dømmekraft, kraftige vilje og overordentlige energi gjorde, at hun kunne styre med fasthed og myndighed. Som sin mand tog hun sig kærligt af de fattige og nødlidende blandt egnens beboere.  
[bølgestreg]Pauline Lund, født Friis, død 1892. 
Charlotte Storck, død 1917.
‍
Charlotte Storck var Fru Lunds adoptivdatter, som i 1892 overtog Vedbygaard. Hun mødte sin senere ægtefælle, Professor i Theologi ved Københavns Universitet, Peder Madsen. 
‍
Peder Madsen, der var født d. 28 august 1843, blev efter en længere udenlandsrejse ansat som docent og kort efter som professor ved universitetet. Over få år i denne stilling lykkedes det ham i kraft af sin grundlæggende lærdom, sin dybe besindighed og den kristelige fromhed at skabe sig et omdømme og en position i hele den danske menighed. Efter bispindens død i 1917 viste det sig, at Vedbygaard ifølge testamentet skulle bruges som
rekonvalescenthjem for kvinder. Således skulle der især tages hensyn til enker og døtre af præster, professorer og forøvrigt kvinder af den danske middelstand. Vedbygaard kom til at bestå som en selvejende institution, hvis midler udelukkende kunne anvendes i rekonvalescenthjemmets tjenneste. [bølgestreg]Peder Madsen, død 1911.