Tools of-scraper jetzt mit DRM-Unterstützung

graytin6

graytin6

Lurker
Registriert
1. Apr 2023
Beiträge
21
Reaktionswert
0
ofscraper
ofscaper ist ein Fork von onlyfans-scraper mit zusätzlichen Funktionen und Fixes.
Viele dieser Änderungen betreffen das Dateimanagement. Zum Beispiel kannst du dank der Änderungen kontrollieren, welche Dateitypen heruntergeladen werden, und hast mehr Kontrolle über das endgültige Ziel dieser Dateien. Wir haben auch Unterstützung für Metadaten-Dateien hinzugefügt.
Für alle, die aktuell das Skript von digitalcriminals nutzen. Wir verwenden die gleiche user_data.db-Struktur. Diese Dateien sind also vollständig kompatibel. Vorausgesetzt du nutzt eine passende Einstellung für Metadata in deiner config.json. Deine user_data.db kann verwendet werden, um bereits heruntergeladene Dateien zu überspringen.
Ausführen
Code: 
ofscraper
Erlaubt dir nicht nur Content zu scrapen, sondern auch Likes und Unlikes im Batch
Es erlaubt dir auch, den Großteil des Programms zu verwalten. Zum Beispiel Profile wechseln, Config-Einstellungen ändern, auch die auth-Datei zurücksetzen
Für Nutzer, die mit der Kommandozeile vertraut sind, bieten wir die Möglichkeit, die Automatisierung zu verbessern und alle Menüs zu überspringen
Zum Beispiel ein Befehl, den ich verwendet habe
Code: 
ofscraper --posts all --purchased --renewal disabled --sub-status active --account-type paid
Der nur dazu gedacht ist, den gesamten Wall-Content und bezahlten Content zu scrapen. Nur für bezahlte Accounts, die aktiv sind und die Verlängerung deaktiviert haben
Es gibt auch einen verfügbaren Daemon
Code: 
--daemon {minutes}
Änderungen
Viele der Änderungen findest du unter changes.md
Einige, die ich besonders mag, sind jedoch
- Nachrichten und bezahlten Content für bestimmte Models scrapen
- Filtern nach Kontotyp, Abo-Status und Verlängerungsstatus
- unscharfe Suche bei der Model-Auswahl
- Möglichkeit, bestimmte Post-Typen zum Download auszuwählen
- Unterstützung für Hintergrund-Daemon
Das Ziel ist ein sehr geradliniges Programm. Aktuell ist geplant, nur onlyfans zu unterstützen, da es andere Skripte gibt, die z.B. fansly unterstützen können.
Links
Repo
Pypi
 
Hab dieses Skript schnell ausprobiert, und es funktioniert super gut. Ich bin allerdings auf vier kleine Bugs gestoßen:
Erstens bekam ich run failed with exception: 'text' für ein einzelnes Profil, wodurch überhaupt keine Downloads stattfanden. Ich konnte das jedoch bei keinem anderen Profil reproduzieren.
Code: 
? Which models do you want to scrape: auroraangel1
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for auroraangel1
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: aurora angel | Username: auroraangel1 | ID: 66748071 | Joined: 2020-09-03T00:00:00+00:00
- 501 posts
-- 452 photos
-- 207 videos
-- 0 audios
- 2 archived posts
Pages Progress: 12: : 12it [01:05, 5.49s/it]
run failed with exception: 'text'
Using profile: main_profile[01:03, 4.17s/it]
Status - UP
Getting paid content for auroraangel1
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: auroraangel1
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Der zweite Bug ist, dass das Skript aus irgendeinem Grund beim Scrapen eine einzelne Datei überspringt. Sowohl mit als auch ohne --dupe ändert das nichts. Wenn man den Scrape aber 1 oder 2 Mal mehr auf demselben Profil laufen lässt, scheint das zu beheben, und die mysteriös übersprungene Datei wird heruntergeladen. Ich bin mir leider nicht sicher, welche Datei genau das ist.
Der dritte Bug ist, dass das Skript manchmal keinen archivierten Content eines Profils herunterlädt. --dupe ändert daran nichts, auch nicht wenn man nur archivierten Content auswählt. :SadgeCry:
Code: 
? Which models do you want to scrape: avaxreyes
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for avaxreyes
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: Ava Reyes 💖 | Username: avaxreyes | ID: 125000045 | Joined: 2021-03-11T00:00:00+00:00
- 261 posts
-- 286 photos
-- 8 videos
-- 0 audios
- 30 archived posts
Pages Progress: 9: : 9it [00:05, 1.60it/s]
Pages Progress: 3: : 3it [00:46, 15.52s/it]
forcing all downloads

Downloading to ofscraper/{model_username}/{responsetype}/{mediatype}/

Progress: (300 photos, 8 videos, 0 skipped || 308/308||150.15 MB): : 308it [00:43, 7.08it/s]
Using profile: main_profile
Status - UP
Getting paid content for avaxreyes
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: avaxreyes
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Und zuletzt, der vierte Bug ist, dass Avatare ohne Dateiendung heruntergeladen werden. Für mich selbst nicht wichtig, aber ich dachte, ich teile es, falls jemand es braucht. 👍
Abgesehen von diesen vier kleinen Bugs funktioniert das Skript absolut perfekt und ist super einfach zu benutzen. Danke fürs Teilen! :MLADY:👍
 
Danke für die netten Worte, und auch die Bug-Reports sind sehr hilfreich
 
Ich habe viel Hilfe bekommen, um dieses Script zu verbessern, wie in dem zitierten Post
Mit dem Release von 1.82
Dachte ich, ich schau mal hier vorbei und sehe, ob manche der Bugs hier schon behoben wurden
Damit konnte ich viele Probleme aus früheren Releases fixen und Wege implementieren, das Script zu verbessern.
1. Der Textfehler kann bedeuten, dass die Config-Datei nicht korrekt ist, oder dass die Antwort von onlyfans nicht den erwarteten Wert hat. Da das nur bei einem bestimmten Model passiert, ist es wahrscheinlich Letzteres. Ich hab das Script überarbeitet, damit es besser mit all den verschiedenen Response-Typen von onlyfans umgeht. Ich hab Berichte über ähnliche Fehler bekommen, aber die meisten scheinen mit späteren Updates verschwunden zu sein.
2. Die fehlgeschlagenen Downloads liegen höchstwahrscheinlich an onlyfans selbst, manchmal schicken sie einfach eine schlechte Antwort. Frühere Releases sollten die Anfrage wiederholen, das war aber nicht richtig implementiert. Mit der neuen Version hab ich das korrigiert. Jetzt wird jeder Download 5 Mal versucht, mit einer Pause dazwischen. Hoffentlich reduziert oder eliminiert das übersprungene Downloads deutlich.
3. Da bin ich mir nicht sicher. Es besteht eine gute Chance, dass es mit all den Änderungen am Script behoben wurde.
4. Dafür hab ich in 1.82 einen Fix implementiert
 
Ich hab 1.82 entfernt wegen eines Bugs, den ich in der Version eingebaut hatte
die neueste Version ist 1.87
 
Spannende News
ofscraper 1.95 unterstützt jetzt DRM-Content
 
Danke, hornyone! Ich hab digitalcriminal nie benutzt und hab den Content manuell runtergeladen... Hab dein Script ausprobiert und es hat mir das Leben so viel leichter gemacht.
 
Hab ein Beta-Feature hinzugefügt
Es ist eine Möglichkeit, Infos aus der DB zusammen mit Infos von der API schnell visuell darzustellen
Das ist Teil des kommenden 2.2-Releases
Es wird wahrscheinlich eine Möglichkeit geben, einzelne Posts, die so freigeschaltet werden, herunterzuladen, und das auch direkt über die Kommandozeile
dp-Y8eWwsgY.png
 
Bin mir nicht sicher, ob ich was falsch mache oder ob es einen Weg dafür gibt, aber beim Scrapen von DRM-Nachrichten wird die Qualität nicht an den Dateinamen angehängt (z.B. _source). Hab's mit Posts noch nicht probiert, da ich das Tool bisher nur für Nachrichten nutze.
 
Nur manche Dateien bekommen _source angehängt
Hängt von der URL ab, die die API zurückgibt
 
Ich glaube, das stimmt nicht. Weil ich sim0n00ps Scraper für dieselben Nachrichten benutzt hab und da wurde _source angehängt, bei deinem aber nicht, für dieselben Dateien.
 
Ja, ich hab bisher genommen, was die Original-URL angibt
Hab kurz in seinen Code geschaut und er hängt das an den Dateinamen an
folder + path + "/" + filename + "_source.mp4"
Manche Dateien haben es innerhalb der URL, aber das ist nicht konsistent
Werde wahrscheinlich was Ähnliches machen, um Verwirrung zu vermeiden
 
Nutze ofscraper 2.4.5 auf macOS. Hat alles aus meinen Käufen schön runtergeladen... außer dass das DRM-Video nicht richtig heruntergeladen wird. Es lädt das DRM-Video runter, aber das DRM-Video lässt sich nicht öffnen. macOS QuickTime (die Software zum Abspielen von mp4s auf macOS) sagt: "The file isn't compatible with QuickTime Player." Hab auch versucht, die Datei auf gofile hochzuladen, um zu sehen, ob sie dort abspielt, tut sie aber nicht.
Ich benutze das hier für mp4decrypt: https://formulae.brew.sh/formula/bento4
Und hab meine Config auch auf die ffmpeg-Executable gezeigt (nutze ffmpeg schon regelmäßig)
Beim Prüfen der Metadaten des heruntergeladenen DRM-Videos, das sich nicht öffnen lässt... ist mir aufgefallen, dass der Unterschied zu den anderen Nicht-DRM-Videos ist, dass das DRM-Video keine Infos zu Auflösung, Codec usw. hat. Diese Metadaten fehlen, was meiner Vermutung nach der Grund sein könnte, warum es bei mir kaputt ist. Irgendwelche Ideen?
 
Und wie versuche ich Downloads von bereits heruntergeladenem Content erneut? Mir ist aufgefallen, dass es bei einem erneuten Durchlauf über die Nachrichten eines Models die schon heruntergeladenen nicht mehr lädt?
 
Das Problem liegt an der Dateiendung
Manche Videoplayer können das umgehen.
Aus dem Discord scheint vlc einer davon zu sein
aber die Namen in .mkv zu ändern oder
mit --dupe neu herunterzuladen behebt das Problem
https://github.com/datawhores/OF-Scraper/issues/85
du kannst
ofscraper --dupe
ausführen
Das überspringt den Dupecheck und lädt jede Datei neu herunter
 
Es tut mir wirklich leid.
kannst du mir wie einem 5-Jährigen erklären, wie man das benutzt?
 
Habe die DRM-Datei erneut heruntergeladen, hat geklappt und alles funktioniert. Danke für deine Arbeit!
 
Hallo, ich habe ein DRM-bezahltes Video (Nachricht) heruntergeladen und möchte es erneut herunterladen, wie kann ich das machen? Die Datei ist in der DB als heruntergeladen markiert.
 
Du musst dich anmelden oder registrieren, um hier zu antworten.
Zurück
Oben