Volledige website downloaden met HTTrack

Het is handig om een ​​website te downloaden om deze altijd lokaal beschikbaar te hebben. Dit probleem bestaat niet meer in onze moderne regio’s. De dagen van inbelmodems en trage, onbetrouwbare verbindingen zijn allang voorbij. Maar ga je op vakantie of zakenreis naar verre oorden, dan valt een betrouwbare internetverbinding minder op. Dit kan een reden zijn om een ​​specifieke site te downloaden die je qua referentiemateriaal zeker nodig hebt om te werken of studeren voordat je vertrekt.

Het meest interessante scenario is het downloaden van verweesde en historisch interessante websites met unieke inhoud. Meer en meer van hen verdwijnen voor altijd. Vanwege het overlijden van de eigenaar verwijdert de gastheer bijvoorbeeld de oude “rotzooi”, enzovoort.

De geschiedenis verdwijnt beetje bij beetje. Als je een bepaalde hobby hebt waarbij je gebruik maakt van sites waar je al jaren geen veranderingen merkt, wordt de kans op onverwachte verdwijningen groter. Een dergelijk scenario rechtvaardigt het downloaden.

Ideaal voor mensen

Download in principe niet willekeurig actuele, goed bewaarde websites. Dit kost de aanbieder veel dataverkeer. Bovendien is het gedownloade materiaal slechts een momentopname en snel verouderd. Concentreer je op die echt speciale plekken, of op die zeldzame gelegenheid dat je een foto als deze nodig hebt in een internetvrije zone.

Om een ​​site te kunnen downloaden, komt de gratis tool – om nog maar te zwijgen van de maven die al heel lang bestaat – HTTPtrack Heel handig. Het is beschikbaar in een versie voor Linux en Windows. Met name de Linux-variant is erg interessant. Het downloaden van een grote site kan dagen en soms meer dan een week duren. Snelheden worden vaak beperkt door de site.

Dit betekent dat de Windows-variant nogal onhandig is, omdat je een computer dagen en nachten aan moet laten staan. Het is niet alleen verspilling van energie, maar de kans dat Windows door enkele updates opnieuw opstart tussen bedrijven is ook groot.

Het is beter om bijvoorbeeld een virtueel Linux-systeem op je te laten draaien NAS-installatie (als je die optie hebt), en installeer er HTTrack op. Dit ding is meestal toch 24/7 beschikbaar, dus veel extra werk kost je niet veel extra stroomverbruik. Of bedenk er een Frambozentaart Met een wat grotere SD-opslag.

Debian als voorbeeld

We beginnen met de Linux-variant (maar als u op Windows werkt, kunt u ook meedoen!), een Debian-machine die als virtuele machine draait op Sinologie mensen. Start de app om HTTrack te installeren Programmeren (Klik activiteiten llinksboven en dan in het open dock op de boodschappentas). Klik in het geopende venster op het vergrootglas linksboven en typ uw zoekterm in het daarvoor bestemde veld webtrack.

Klik WebHTTrack website-kopieerapparaat En installeer het hulpprogramma met behulp van de juiste knop op de geopende pagina. U kunt de standaardsoftwarewinkel weer sluiten.

U kunt de Linux-versie vervolgens vinden in uw softwareoverzicht, dat toegankelijk is in Debian door op de multi-dot-knop onder het dock te klikken. Je browser start dan op. Dit is precies het fundamentele verschil tussen de Windows- en Linux-versie. De Windows-versie is een traditioneel exe-programma en de Linux-versie wordt via een lokale webserver in uw browser weergegeven.

De functionaliteit is echter hetzelfde, het enige minpuntje is dat de Windows-versie qua uiterlijk wat ‘verouderd’ aanvoelt. Maar het werkt hoe dan ook als een tierelier, en dat is natuurlijk waar het om gaat. druk op de knop volgende – rechtsonder in het scherm – om te beginnen.

voor het werk

Als voorbeeld tekenen we een kopie van https://www.landley.net. Imiteer deze site ook niet lokaal, het is slechts een voorbeeld. Hoe dan ook, een site met historisch veel interessante informatie, vooral hieronder computer geschiedenis.

Vul allereerst de kont Nieuwe projectnaam (De Nederlandse module is niet geheel foutloos) Een beschrijving van uw project. Dat zou – logischerwijs – de naam van de site kunnen zijn, misschien met een gerelateerd trefwoord. De overige instellingen kunt u in principe laten zoals ze zijn. Klik volgende.

Kopieer de website-URL om lokaal te kopiëren en plak deze in een bestand url-Blok. Druk dan op Selecteer instellingen. Er zijn er nog veel meer, hier zijn tips over welke instellingen tot het beste resultaat leiden.

optimale instellingen

Instellingen hieronder Links, structuur, MIME-typen, browser-ID, filters, protocol, index, cache En de tussenpersoon Laat het op de standaardinstellingen staan. Je kunt hier alleen een paar tweaks doen als je heel specifieke wensen hebt, maar dat is zelden of nooit nodig. Laten we gaan naar deskundige. De ervaring leert dat er – hieronder Wereldwijde roaming-modus – Keuze Blijf op hetzelfde veld Het levert vaak betere (lees: completere) resultaten op dan de standaard geselecteerde optie Blijf op hetzelfde adres (hypothetisch). Als je niet de volledige site krijgt (of alleen het deel dat je wilt), is dit de plek om een ​​beetje te experimenteren.

Let op de uitersten

Klik bovenaan StroomcontroleOok hier kun je de instellingen in principe laten zoals ze zijn. Optioneel kunt u het aantal verbindingen opgeven N# verbindingen iets opheffen. Het kan het spiegelen iets sneller maken, maar het legt ook meer belasting op de server die de site host.

Laten we proberen het een beetje netjes te houden en hier niet iets als “100” in te voeren… klik grens Zet vooral de optie hier maximale externe diepte op mij 0. Doe je dat niet, dan loop je het risico het hele internet te downloaden. Dit zou niet alleen lang duren, maar het zou – understatement – ook veel lokale opslag vergen.

De Maximale transmissiesnelheid U kunt naar eigen inzicht verhogen, bijvoorbeeld rekening houden met de helft van de beschikbare downloadbandbreedte. Kijk ook eens bij andere instellingen, wellicht vind je daar iets van je gading.

Op hele grote en complexe sites is het niet verstandig om een ​​extensie te gebruiken maximale diepte iTot op zekere hoogte, laten we zeggen vijf niveaus. Je krijgt misschien niet de volledige site, maar je krijgt wel de belangrijkste dingen. Bespaart downloadtijd en vooral opslagruimte. Trouwens, een veld zonder waarde betekent “zonder grenzen”.

Robot

Veel – zo niet alle – websites hebben tegenwoordig een ingesloten tekstbestand dat aangeeft dat de site niet door bots mag worden gekopieerd. Dit om te voorkomen dat allerlei geautomatiseerde tools en crawlers hele websites downloaden en de bandbreedte volledig blokkeren. Ook HTTrack houdt zich in principe aan deze regel. Het resultaat laat zich raden: er wordt niets of bijna niets gedownload van de site die je wilt kopiëren.

Met andere woorden: nu moeten we heel onbeleefd zijn en deze regel (verlangen) negeren. Klik ervoor spin en kies hieronder Volg de regels in het robot.txt-bestand Keuze Er zijn geen robots.txt-regels. In principe ben je nu klaar qua instellingen; Klik ja Om alle bovenstaande wijzigingen in één keer uit te voeren.

Handmatige indexpagina

Klik volgende en dan begin, waarna het downloaden van de site (lokale mirroring) begint. Zoals eerder vermeld, kan het bij grotere sites even duren, dus het heeft meestal weinig zin om daar te blijven. Wanneer het spiegelen is voltooid, ziet u automatisch een melding en kan het browservenster worden gesloten.

U vindt de locatie in de map gekozen in de eerste stap, onder Debian, dit is de standaard thuismap (persoonlijke map) gekoppeld aan uw Debian-account. Daarin vind je de map Websites met gedownloade sites.

Het is fijn dat HTTrack een gebruiksvriendelijke indexpagina maakt. Dubbelklik op het bestand index.html in de map Websites en je ziet daar links naar al je gedownloade primaire sites verschijnen.