Saxenborgs historia sträcker sig tillbaka till år 1870 då huvudbyggnaden fungerade som fattighus och låg i Pärlby, eller Pellby som platsen hette från början, belägen på den västra sidan av sjön Saxen. Huset kom dock att dras över den frusna sjön till sitt nuvarande läge mellan åren 1912 och 1914, då det ersattes av en annan byggnad. Väl på sin nya plats fick det forna fattighuset en ny funktion och var under drygt tio år ett av Dalarnas flottaste pensionat. År 1927 övergick byggnaden till att fungera som vilohem och fungerade som sådant fram till år 1954.
År 1955 köpte NTO byggnaden och den blev utbildningscentrum för teater, studiecirkelledare och ungdomsledare. Under de kommande årtiondena och fram till år 2011 nyttjades byggnaden för konferenser, läger och kurser samt även som hotell och hade i stort tagits över av Ungdomens Nykterhetsförbund och IOGT-NTO. År 2010 konstaterade man att man inte längre hade de ekonomiska resurserna för att driva verksamheten och anläggningen och Saxenborg lades ut till försäljning.
Vid försäljningen ingick inte bara huvudbyggnaden utan också konferenshus, föreståndarbostad, ljusgård, bouleplan, grillplats, utedansbana och badplats. Men delar av byggnaderna var i renoveringsbehov, varför många spekulanter drog sig ur. Våren 2011 köpte International Mission Church i Stockholm Saxenborg med avsikt att använda den för privat bruk, för bland annat konferenser. Kyrkan, som förkortas IMC, grundades år 1999 av Rodolfo Rojas, en argentinsk pastor. Den har runt 800 medlemmar och församlingar i såväl Sverige som Finland.
Sjön Saxen och Saxdalen
Saxenborg är beläget invid sjön Saxen i den lång- och vidsträckta Saxdalen, cirka trettio minuter med bil från Ludvika. I Saxdalen bosatte sig människor redan under första halvan av 1600-talet, men då hette byn Rävvåla. Byns storhetstid var under senare delen av 1800-talet då man tack vare en gruvfyndighet kunde skeppa iväg bland annat guld, silver, järn, koppar, zink och bly.
Sjön Saxen är ett populärt besöksmål för såväl bad som fiske, bland annat har man här fångat mört, löja, gädda och abborre. Mitt i sjön finns Storsten, ett karakteristiskt stenkummel, alltså ett av Nordens äldsta sjömärken som oftast bestod av målade stenar. Stenkummeln visar på Saxens tidiga användningsområden. Bland annat gick här transport av malm från gruvan i Saxberget till Ludvika, men all transport upphörde år 1936.
Vid Saxen finns tre berg: Saxberget, Låsberget och Stackareberget, varför här finns goda förutsättningar för fina promenader med hänförande vyer. På den östra sidan ståtar Stackarberget som mäter 205 meter över havsytan och erbjuder fin utsikt över byn.