Anleitung Tools (Aktualisiert) Anleitung zum Herunterladen mit gallery-dl

NikoCast6

Lurker
Registriert
25. Dez 2024
Beiträge
106
Reaktionswert
1
Ursprünglich in diesem Thread gepostet, wo es kaum jemand sehen würde. Ich dachte, ich poste ein Update in meinem Profil, aber Profilbeiträge haben ein ziemlich kurzes Längenlimit. Also begrüße ich dich hier zu meinem:

:HACKERMANS: _______GUIDE ZU GALLERY-DL______ :HACKERMANS:
[ kostenlos + Open Source ]

F: Warum zur Hölle sollte ich gallery-dl benutzen?A:es lädt magisch Fotoalben - Social Media - Filehoster - Bildhoster runter

F: Von welchen Seiten kann es downloaden?A:instagram + twitter + tiktok + reddit + pinterest + imagefap + redgifs + goonbox

F: War's das schon?A: verdammt nein. es lädt auch von:bunkr + gofile + pixeldrain + turbo + Tube-Seiten + 'ner Scheißmenge mehr

:HACKERMANS: WAS DU WISSEN MUSST: :HACKERMANS:




  • Die Antwort auf alles, was du wissen willst, steht auf der codeberg-Seite: https://codeberg.org/mikf/gallery-dl
    • dort stehen unterstützte Seiten, Fehler (siehe Issues), wie man installiert usw.
    • das war früher auf github (https://github.com/mikf/gallery-dl), was für alte Issues/Diskussionen immer noch hilfreich sein kann
  • Vorteile beim Downloaden mit gallery-dl
    • es vereinfacht das Downloaden von jeder unterstützten Seite
    • unterstützte Seiten sind u. a. instagram, twitter, tiktok, reddit, imagefap, redgifs, cxxmer/kemono, pictoa, pinterest, goonbox, bunkr, gofile, pixeldrain, turbo, viele Tube-Seiten, viele Bildhoster und noch massig mehr
    • es macht das Downloaden von Fotoalben schmerzlos (besonders bei Seiten, die nicht für Bilder-Dumps gebaut sind. Stichwort: bunkr!)
    • es führt eine Datenbank der abgeschlossenen Downloads, damit du nicht aus Versehen Dateien nochmal runterlädst, die du schon hast. Das heißt auch, du kannst ab und zu zu diesem [instagram/reddit/whatever]-Profil zurückkehren und es lädt nur die neuen Dateien seit dem letzten Mal
  • Es ist verdammt einfach zu benutzen
    • Grundlegende Benutzung:
      • um ein bunkr-Album runterzuladen,
        Code:
        gallery-dl https://bunkr.cr/a/RE4jsE8Q
        <- Testalbum. probier's aus!
      • um eine einzelne Datei von bunkr runterzuladen,
        Code:
        gallery-dl https://bunkr.cr/f/zGPPQCux9yOYf
      • um alle Posts eines instagram-Profils runterzuladen,
        Code:
        gallery-dl https://www.instagram.com/rachelrileyrr
      • um getaggte Posts runterzuladen,
        Code:
        gallery-dl https://www.instagram.com/rachelrileyrr/tagged
        • oder ersetze 'tagged' durch 'reels', 'stories' usw. macht Sinn?
        • alternativ benutze
          Code:
          gallery-dl -o include=posts,tagged,reels https://www.instagram.com/rachelrileyrr
    • es ist außerdem massiv konfigurierbar über die Config-Datei, sobald du den Dreh raus hast (z. B. Dateien automatisch benennen, wie du willst! Download-Ordner organisieren, wie du willst! verdammt, ist das geil!)
  • Du solltest gallery-dl (und alle Kommandozeilen-Tools) mit einem Paketmanager
    • installieren. ein Paketmanager hält deine ganze Kommandozeilen-Software aktuell, inklusive der Abhängigkeiten, und ordnet alles auf deinem System so an, dass es sich gegenseitig findet
      • wenn du neu in der Kommandozeile bist, sind die nötigen Abhängigkeiten zu haben, sie sauber aktuell zu halten und die (gottverdammten!) Dinger dazu zu bringen, sich gegenseitig zu finden, der Großteil der Kopfschmerzen, damit irgendein (gott. verdammtes.) Programm läuft
      • diese Probleme sind erledigt, sobald du einen Paketmanager benutzt
      • ernsthaft, gerade wenn du neu bist, fummel nicht selbst mit Binärdateien rum, lass das den Paketmanager machen. Und komm nicht heulen, wenn es nicht läuft, weil du diesen Rat ignoriert hast
    • mac: gallery-dl gibt es über Homebrew (am beliebtesten) & macports
      • macports hat bessere Kompatibilität mit mehr Systemen, da Homebrew den Support auf neuere Geräte/OS beschränkt
      • Beispiel - es ist einfach:
        • Code:
          sudo port install gallery-dl
          installiert das Programm und die benötigten Abhängigkeiten
        • Code:
          sudo port selfupdate
          hält macports aktuell und lädt die neuesten Infos zu verfügbaren Programmen
        • Code:
          sudo port upgrade outdated
          aktualisiert alle installierten Programme auf die neuesten Versionen
    • windows: unterstützte Paketmanager für windows sind Chocolatey und Scoop. keine Ahnung, ich benutze kein windows, aber gleiches Prinzip
    • linux: linux-User wissen schon, welchen Paketmanager sie benutzen. haltet die Klappe
    • Super-Mega-Bonustipp: wenn alles läuft und du dich sicher fühlst, kannst du anfangen, selbst auf die Nightly- (aka Entwickler-)Version zu updaten. es kann ein paar Tage oder länger dauern, bis Neuerungen und Bugfixes in einem Release landen, aber mit der Nightly hast du garantiert das Neueste. folge der Anleitung unter "Install the latest dev version directly from master" -> https://codeberg.org/mikf/gallery-dl#pip <-
  • Wenn etwas früher funktioniert hat und jetzt nicht mehr, aktualisiere deine Software auf die neuesten Versionen
    • ständig geht was kaputt. Websites machen eine kleine Änderung, die Tools zerschießt, und Entwickler müssen nachziehen, damit alles in die richtige Richtung zeigt. so läuft das nun mal
    • selbst wenn du gestern erst aktualisiert hast, check heute nochmal. Entwickler beliebter Software bringen oft neue Versionen raus
    • wenn du Fixes willst, noch bevor sie released sind, schau dir den Super-Mega-Bonustipp oben an
  • Wenn etwas nicht funktioniert, schau auf die codeberg-Issues-Seite
    • ich verlinke sie dir sogar: https://codeberg.org/mikf/gallery-dl/issues
    • frag nicht hier oder sonstwo nach dem neuesten Bug, nur im gallery-dl-Repo - hier weiß es keiner und es interessiert keinen. frag über den Link, den ich 1 Zeile weiter oben gegeben hab (such vorher, weil bestimmt schon jemand drüber gestolpert ist)
    • neue Bugs und so stehen unter "Open"-Issues. alles, was je jemand gefragt hat, steht unter "Closed"-Issues. check beide
  • Geh und lade runter
    • wenn du neu in der Kommandozeile bist, denk dran: "neu" ist nicht dasselbe wie "schwer". es gab mal eine Zeit, da wusstest du nicht, wie man in der Nase bohrt
    • Code:
      Ctrl+C
      bricht laufende Programme ab
    • denk dran, alle paar Tage mal rauszugehen, jetzt wo du diese Macht hast, kann es schwer sein, aufzuhören

ZUSÄTZLICHE FRAGEN & ANTWORTEN:

F: Bist du mit gallery-dl verbandelt?A:überhaupt nicht. es ist einfach lebensverändernde Software, in die ich viel Zeit zum Lernen und Benutzen gesteckt hab, und mehr Leute sollten sie kennen und benutzen.

F: Jetzt wo ich gallery-dl benutze, kommst du dann auch vorbei und holst mir einen runter?A:wenn du halbwegs fit und jung bist und keinen Bart hast, ja, ich mach's wahrscheinlich.
 
ich liebe gallery-dl, aber wenn ich es benutzt habe, wurden meine Accounts nervigerweise gesperrt, die denken ich bin ein Bot, dabei bin ich nur ein effizienter Sammler wunderbarer Schätze :peepoShy:. das ist nicht exklusiv für gallery-dl, ich hab ähnliche Tools probiert und damit auch Sperren ausgelöst. ich will nur jeden, der dieser hilfreichen Anleitung folgt, warnen: wenn du den Pfad des Scrapers gehst, werden deine Accounts vielleicht behandelt wie diese verdammten CLANKER und du wirst gebannt :BongoBan:, also scrape mit Bedacht!!
 
Für alle, die sich Sorgen machen, falls ihr nur eine Zeile aus diesem Post lest: Das ist nicht üblich, es ist vermeidbar, und wenn du dich nicht absichtlich in einen Account einloggst, ist es nicht mal möglich.

Etwas, das man beachten sollte, wenn man riesige Mengen an Content scrapt. Ich benutze fast nie Accounts bei irgendeiner Seite, von der ich runterlade – ich lade regelmäßig von Instagram und TikTok, aber ich glaube, das einzige Mal, dass ich authentifizierte Cookies benutzt habe, war für altersbeschränkte Posts auf Twitter. Und natürlich merkst du, wenn du das machst, und kannst vorher die Infos in den Repos checken. Der Entwickler ist sehr aktiv und die Extractors sind so gebaut, dass Probleme vermieden werden, aber es liegt auch an uns, erst die Docs zu lesen, damit wir die Tools sicher benutzen.

Es wäre hilfreich, wenn du kurz beschreibst, was passiert ist, wann es war und von welchen Seiten du runtergeladen hast. Natürlich kann das passieren, aber es ist selten, noch viel seltener, wenn du nicht in großem Stil lädst, und unmöglich, wenn du dich nicht authentifizierst. Mein Ziel war, den Leuten zu zeigen, wie leicht das passieren kann, und ich will niemanden verschrecken, weil er Angst vor etwas hat, das sehr unwahrscheinlich ist.
 
ja, dann lasst uns über authentifizierte Cookies zum Twitter-Downloaden reden. Wo in den Repos sollten wir nachschauen und welche Docs sollten wir lesen, um die Gefahr von Sperren/Suspendierungen zu verringern? So selten es auch sein mag, einigen von uns passiert es...
 
Klar, ich zweifle nicht an dir. Übrigens war mein Post nicht als Herausforderung gemeint, ich will nur nicht, dass jemand panisch vor einem Tool davonrennt, das für mich in Sachen Effizienz, Organisation und weniger Kopfschmerzen ein echter Gamechanger war.

Ich lade nicht massig von Twitter runter – meistens einzelne Posts, aber ich habe auch mal einen oder zwei komplette Accounts gezogen. Das war in den letzten 6 Monaten und ich hatte keinerlei Probleme.

Der beste Ort, um über aktuelle Entwicklungen (und frühere Probleme) auf dem Laufenden zu bleiben, ist der Issue-Tracker im gallery-dl-Repo. Eigentlich gibt es jetzt 2, seit dem Umzug zu codeberg, weil der Issue-Tracker auf github noch offen und aktiv ist. Im github-Repo gibt es außerdem einen Discussions-Bereich, wo Leute allgemeine Fragen stellen.

Die Grundnutzung ist einfach, aber sobald man den Dreh raus hat, liegt die wahre Stärke darin, deine config.json so zu bauen, dass sie den Extractors sagt, wie sie sich verhalten sollen. Da gibt es eine kleine Lernkurve, bis man weiß, was es alles gibt und wie die Syntax funktioniert, aber mit der Zeit fügt sich alles zusammen und es ist so geil. Viele Optionen betreffen, was heruntergeladen wird, wie Dateien benannt werden und wohin was kommt, aber viele sagen den Extractors auch, wie sie mit der Seite interagieren sollen. Extractors sind für jede Seite maßgeschneidert, mit eigenen Optionen, und wenn man sich anschaut, was diese Optionen tun, wird einem das Leben leichter.

Die Docs liegen im Ordner namens, tja, "docs". gallery-dl-example.conf zeigt die Grundstruktur einer Config-Datei. configuration.rst ist eine Monsterdatei, die jede verfügbare Option auflistet und erklärt, was sie tut. Wenn du viel scrapst, solltest du dir für diese Datei richtig Zeit nehmen. Ich komme ständig darauf zurück. Hier kann es eine Weile dauern, sich das Wissen aufzubauen, weil sie erschöpfend ist, aber nicht wie eine Anleitung geschrieben. Aber es ergibt Sinn, sobald man versteht, wie alles zusammenhängt. Zuletzt ist gallery-dl.conf einfach eine Liste jeder einzelnen Einstellung mit ihrem Standardwert, genau in dem Format, das in deiner Config-Datei verwendet wird. Das ist immer die aktuellste, sie wird aktualisiert, wenn neue Optionen/Seiten dazukommen.

Irgendwann würde ich hier gern ein einfaches How-to für deine Config-Datei mit Beispielen hinzufügen. Letzten Monat gab es einen Thread übers Herunterladen von Posts/Threads von simpcity mit gallery-dl, und ich habe dort erklärt, wie das schnell ausufern kann, daher ist es besser, ein genaueres Ziel zu definieren als "lad alles in diesem Thread runter". Der Thread wurde sowieso gelöscht, weil sie das Scrapen des Forums nicht fördern wollten. Wenn ein Mod das liest und mir meinen Post per PN schicken will, wäre das super, und ich werde alle Anleitungen zum Scrapen von Threads entfernen, außer um zu erklären, warum das sowieso eine schlechte Idee ist.

Für alle anderen: Stellt gern Fragen in diesem Thread, ich teile gern, was ich gelernt habe.
 
Gallery dl ist für mich ein echter Segen, seit ich es Anfang des Jahres angefangen habe zu benutzen.

erst letzte Woche hab ich mir überlegt, einen automatischen TikTok- plus Instagram-Story-Downloader aufzusetzen, und hab ein git project gefunden, das gallery dl für Instagram und yt dlp für TikTok benutzt. Nachdem ich das Projekt stark umgebaut habe, hab ich jetzt endlich einen automatischen Monitor für TikTok-Stories und -Posts, mit automatischen Downloads und auch Nachkontrollen, um Posts nach bestimmten Zeitabständen durch qualitativ bessere zu ersetzen, da TikTok zumindest nicht immer die beste Auflösung liefert, besonders direkt nach dem Veröffentlichen.

Ich muss noch das automatische Aufnehmen und Downloaden von TikTok-Lives einbauen und dann den Instagram-Teil angehen, um dort mit demselben Setup vor allem Stories automatisch zu sichern, aber bisher sieht es ziemlich gut aus.

sorry, falls das der falsche Ort ist, aber da es ein gallery dl Thread ist, dachte ich, es könnte für Leute relevant oder hilfreich sein, die sich Optionen damit anschauen.
 
Leider hab ich bei nichts Glück. :Sadge:

Hab alles unten mit VPN probiert, Instaloader kriegt sofort 429. Ich hab ein Issue gesehen, dass der Profil-API-Endpoint, den sie benutzen, veraltet ist, jemand hat einen Pull Request mit einem Fix, also probier ich es vielleicht nochmal, wenn der gemergt wird.

Ein Tutorial online sagt, man soll gallery-dl erst mit der Simulate-Option testen, aber da kommt „Profil nicht gefunden“. In einem Issue hieß es, um NSFW-Accounts, auch öffentliche, zu rippen, muss man sich wahrscheinlich einloggen.

Hab versucht, einen neuen Account für gallery-dl oder sowas wie Gramoire zu erstellen, aber IG scheint Protonmail-Adressen per Shadowblock zu sperren, weil mein Verifizierungscode nicht akzeptiert wurde. Nochmal mit einer 10-Minuten-Mail probiert und der Code wurde akzeptiert, aber dann wollten sie eine Telefonnummer. Ich will keinen meiner echten Accounts nehmen / riskieren, einen Wegwerf-Account mit meinen echten zu verknüpfen.

---

Könnt ihr IG-Posts runterladen, ohne euch einzuloggen oder Cookies an das Tool zu geben? Oder loggt ihr euch ein und riskiert einen echten Account, oder konntet ihr einfach Wegwerf-Accounts erstellen, die euch egal sind? Der Hauptaccount, den ich rippen will, ist nicht privat, also hatte ich gehofft, es geht ohne Login.
 
Die Funktion für ig ist einfach tot, bis der Besitzer sie updatet, und das wird er wahrscheinlich eine ganze Weile nicht tun
 
Zurück
Oben