Folk nøjedes ikke nu længere med at klage over langsommelig færgefart. Nu skulle han også høre på brokkeriet om det lukkede Bilidt, for der var ikke andre, man kunne klage til.
I foråret 1765 skrev Arthman så til myndighederne og tilbød, at han selv ville bygge et hus, hvor folk kunne komme ind og få noget at drikke, mens de ventede på færgen. Efter at sagen havde cirkuleret ved de lokale myndigheder fik han svaret, at da man jo ikke kunne leve af Bilidt, kunne der ikke gøres noget ved sagen.
Færgemanden stillede sig ikke tilfreds med det. Han indbragte klagen for sine overordnede på Jægerspris. Herfra lod man den gå videre. Lars Schiøt blev derfor indkaldt og pålagt at holde Bilidt beboet. Han svarede at det var umuligt. Han ville dog gerne overlade Bilidt til færgemanden, hvis denne ville godtgøre ham hans udgifter ved stedet.
Men den gik ikke. Ville Lars Schiøt ikke opfylde sine forpligtelser, skulle han sættes fra stedet. Regimentskriver Dahlstrøm blev derfor pålagt at indlede retssag mod Schiøt. Dommen skulle lyde på, at Lars Schiøt skulle fjerne bygningerne fra grunden. Denne ville man så overlade færgemanden, som så kunne bygge et hus.
Retssagen blev indledt i november måned 1765 og dommen faldt i juni 1766. Under sagen lovede Schiøt, at han inden påske 1766 ville finde nogen, der ville flytte ind på Bilidt. Løftet holdt han. Han fik væveren Villum Nilausen til at flytte derud. Man havde derfor ikke så travlt med at effektuere den afsagte dom over Lars Schiøt. Huset var blevet beboet, og der kunne igen foretages udskænkning til de rejsende.
Desværre for Lars Schiøt var Villum Nilausen en lige så dårlig betaler, som han selv. Den leje, der skulle have hjulpet Schiøt til at betale grundskatten af Bilidt, udeblev. Det stod på i 3 år, men i 1769 gik det ikke længere. Nu ville han have sine penge. Villum Nilausen skyldte ham 20 daler, et beløb han søgte at få ved rettens hjælp. Villum Nilausen svarede, at Bilidt var i en meget dårlig forfatning, da han flyttede ind. Han havde derfor brugt et større beløb for at gøre huset beboeligt. Ville Schiøt have sine penge, så ville han også have sine udgifter betalt. Sagen løb ud i sandet, hvilket måske skyldtes at Schiøt havde fået andet at tænke på.
Hans egen gæld til staten skulle stadig betales, og da der heller ikke efter dommen blev betalt nogen grundskat, slap statens tålmodighed efterhånden op. Den 25. maj 1769 indkaldte regimentskriveren Dahlstrøm ham igen for retten. Han skulle dømmes til at betale den gæld, han allerede var dømt til at betale i 1766, plus det som var påløbet siden. Lars Schiøt blev dømt men kunne ikke betale.
Denne gang blev der ikke set gennem fingre med Lars Schiøts forseelse. Staten havde som kreditor lov til at foretage udpantning hos ham, og da det eneste han ejede af værdi var Bilidt, kunne staten overtage kroen. Helt på den måde kom det ikke til at gå. Da Lars Schiøt købte Bilidt, havde han lånt penge hos Peder Kruse på Christianshavn. Denne havde til gengæld fået stillet Bilidt som pant. Peder Kruse blev derfor spurgt, om han ønskede at tiltræde pantet. I så fald skulle han ikke få nogen problemer med at opnå kroholdsprivilegium og fæste på Bilidts grund.
Peder Kruse slog til. Han havde dog ikke tænkt sig selv at flytte ind på Bilidt. Her kunne Villum Nilausen med sin familie blive boende. Som lovet gik Peder Kruses ansøgninger om krohold og fæste glat igennem.
Modsat Lars Schiøt kunne Kruse godt få sin leje fra Villum Nilausen. Han betalte også sine afgifter af Bilidt til tiden. Lars Schiøts gæld prøvede man at få ved udpantning. Der var ikke noget at hente, derfor afskrev man de 69 rigsdaler, han skyldte.
I 1778 blev Bilidt solgt igen. Denne gang var køberen stedets mangeårige beboer Villum Nilausen. Han ernærede sig, ud over kroholdet, også ved væveri. Dertil kom at han også af Ude Sundbys bønder, havde fået lov at have et par køer gående på byens overdrev.
Da Ude Sundby i 1782 skulle udskiftes, mente Villum Nilausen, at det var nødvendigt at få noget jord til Bilidt. Det var hans opfattelse, at der oprindeligt havde hørt et pænt stykke jord til stedet. Desværre havde nogen på et tidspunkt skildt det fra, og derfor ønskede han at få det tilbage.
Svaret kom prompte fra regimentskriveren: Der havde aldrig hørt jord til Bilidt. Ønskede Villum Nilausen jord, måtte han snakke med bønderne, når udskiftningen var afsluttet.
I forbindelse med udskiftningen skulle der bruges store mængder tømmer til de nye gårde. Man hentede træet fra Norge. Træet skulle losses på centrale steder. For Nordsjælland vedkommende fandt man, at Frederikssund var et ganske passende sted. I den forbindelse havde man fået den ide, at færgebroen ved Bilidt kunne bruges. Forinden ville man gerne forhøre regimentskriveren om sagen. Denne kunne på ingen måde anbefale ideen. Udover at træet ville være i vejen for de rejsende, var Villum Nilausen et problem. Han var, som regimentskriveren udtrykte det, berygtet for Tyverie, Snedighed, Drik og Underfundighed”.
Tømmeret blev ikke oplagret ved Bilidt. I stedet lejede man en grund hos købmand Smith i Frederikssund. Der var mere sikkert.
Villum Nilausen begyndte efterhånden at føle, at alderen trykkede. Han ville derfor i 1790 (han var da 61 år), træffe sine forholdsregler for alderdommen. Han overlod Bilidt til sønnen Jens Villumsen. Denne ville, når en af forældrene døde, få skøde på Bilidt, mod at han sørgede for, at efterlevende fik en passende aftægt. Overdragelsen skete allerede i 1791, hvor Villum Nilausen døde.
Få dage efter faderens død ansøgte Jens Villumsen om fornyelse af sin kroholdsbevilling og fik den. Ved siden af udskænkningen ernærede han sig også ved væveri. Det lykkedes ham at få lagt jord til Bilidt. I første omgang lejede han det af færgemand Arthman, som også var fæster af Strandgården og havde brugsretten over den jord, Bilidt lå på. I 1803 kunne Jens Villumsen købe hovedparcellen af samme jord, da fæstemandens dødsbo satte den til salg.
Jens Villumsen var også lods, et job, der tog meget af hans tid. Det er muligvis grunden til, at han hurtigt valgte at skille sig af med Bilidt. Han solgte stedet med jorder i 1806 til Sylvest Hansen. Der skulle som udbetaling erlægges 100 rigsdaler. Han havde kun 20 og fik derfor vennen Frederik Carl Pedersen til at betale de øvrige 80 rigsdaler.
Dermed var det venskab ødelagt! De kom op og toppes om hvem af dem, der nu ejede Bilidt. Enden på det blev, at en helt tredje købte Bilidt. Det var gårdmanden Peder Larsen, der lige havde solgt sin gård, Lundebjerg, i Ude Sundby til et par købmænd i Frederikssund.
Peder Larsen ønskede også at have krohold på Bilidt. Han ansøgte i oktober 1806 om tilladelse til det, men der kom til at gå et helt år, før den forelå. Peder Larsen beholdt Bilidt i 6 år, så solgte han videre. For at tjene lidt ekstra valgte han at sælge kroen og jorden hver for sig. Købmand Ankjær i Frederikssund købte jorden, mens Peter Antor Worm blev ejer af Bilidt.
Worm fik hurtigt bragt sine udskænknings forhold i orden, men stod til gengæld med det problem, at Bilidt lå på den jord, Ankjær havde købt, og han ønskede at benytte sin jord fuldt ud. Han pløjede derfor vejen ind til Bilidt op og forbød Worm at færdes på hans jord. Worm klagede til myndighederne, men herfra ville man ikke blande sig. Den sag måtte Worm og Ankjær ordne privat mellem sig. Det blev den så. Worm solgte Bilidt til købmand Ankjær. Bygning og jord var samlet igen.
I 1842 solgte Ankjær Bilidt til Christen Thomsen, der fortsatte som sine forgængere med kombination af krohold og landbrug. I 1829 kunne han føje en ekstra beskæftigelse til. Han var blevet stoppet med et læs brænde i Jægerspris skov. Da han ikke havde tilladelse til at hente brænde der, fik han den tvivlsomme ære af at være den første i Ude Sundby, som blev dømt for skovtyveri. Det var ikke det eneste han foretog sig, som ikke lå helt inden for lovens rammer. Han glemte at søge om tilladelse til krohold. Det var noget man først blev opmærksom på i 1839. På det tidspunkt troede man stadig hos myndighederne i København, at Peder Anton Worm holdt til på Bilidt.
Efterhånden som Christen Thomsen blev ældre, overlod han mere og mere af Bilidts drift til sønnen Christian, som i 1865 købte Bilidt af faderen.
Kun 3 år efter overtagelsen, i 1868, blev færgefarten nedlagt, da man indviede pontonbroen Kronprins Frederiks Bro. Eksistensgrundlaget for Bilidt forsvandt, og landbruget blev nu det, ejeren måtte ernære sig af. Christian Thomsen forsatte nogle få år endnu med sit krohold, men det var ophørt, da han i 1879 solgte stedet til E.C. Jørgensen.
E.C. Jørgensen havde ingen intentioner om at genoptage kroholdet. Det skete først, da Jørgensen i 1902 solgte Bilidt til W.F. Engelbrecht. Denne åbnede samme år ”Strandhotellet Bilidt” og drev det indtil 1919, hvor han solgte Bilidt videre til Peter Emil Lynge. Ved dennes død i 1926 drev enken, Camilla Lynge stedet videre, og da hun døde i 1945 tog børnene over.
I 1958 ramtes Bilidt af en storbrand. Kroen brændte ned til grunden og intet af den dengang 236 år gamle bygning blev reddet. Man gik straks i gang med at opføre nye bygninger, tegnet af arkitekten K.A. Sørensen. Det var i øvrigt først efter dette, at kroen fik navnet ”Færgekroen Bilidt”, - lidt sent måske, for da var det 90 år siden, færgen havde taget sin sidste tur over Fjorden.
De senere år har Bilidt flere gange skiftet ejere, men kroen ligger der stadig. Da man for 275 år siden oprettede kroen ved færgestedet, var det for at folk kunne fordrive ventetiden indtil færgen kom. Skulle ventetid stadig være et kriterium for besøgstallet, så ville Frederikssund i dag have et af verdens mest besøgte kroer. Ventetiden eksisterer stadig, når broen går op og laver kilometer lange bilkøer. Men i dag går man ikke på kro, mens skibene passerer forbi. Man holder pænt sin plads i køen, den vil man nødig miste. Og det har givet Bilidt et helt nyt problem. Det kan være svært at komme derfra igen, (det kunne det måske også i gamle dage, men af andre årsager). At folks ventevaner er blevet anderledes, ser ikke ud til at forstyrre stedet. Folk finder stadig på Bilidt – og gør det sikkert også fremover.