Anleitung KI-Upscaling/Verbesserung

FernBox11

Lurker
Registriert
10. Nov 2022
Beiträge
6
Reaktionswert
0
- Das hier wird eine kleine Einführung ins Hochskalieren/Verbessern von Bildern mit KI. Ich versuche, diesen Beitrag zu aktualisieren, wenn ich mehr lerne, damit er nützlich bleibt und qualitativ besser wird (und auch Teile davon neu zu schreiben für bessere Klarheit, Grammatik und Formatierung). Diskussionen über Upscaling-Techniken, Erfahrungen, Software, Bewertungen dieser Software usw. sind erwünscht.

- Ich bin sicher, ihr wisst alle, was Upscaling ist, aber nicht jeder weiß genau, was KI-Upscaling ist und wie man es benutzt. Die KI, von der ich rede, ist ein künstliches neuronales Netz (Deep Learning), also im Grunde eine KI, die auf einem riesigen Datensatz (in dem Fall Unmengen an Bildern) trainiert wurde, um zu 'lernen'. Das Ergebnis ist eine KI, die ein Bild genauer hochskalieren kann und Details liefert, die klassisches Upscaling nicht hinbekommt.

- Bilder hochzuskalieren ist kein Zauber. Wenn zum Beispiel auf einem Buch im Bild ein völlig unleserlicher Text steht, repariert Upscaling das nicht. Es ist einfach eine Möglichkeit, die Auflösung von Bildern auf ansprechende Weise zu erhöhen, mit mehr Schärfe, Klarheit und Realismus als beim klassischen Upscaling. Das heißt nicht, dass sich KI-Upscaling gegenüber klassischem Upscaling/Resampling nicht lohnt, denn das tut es. Die Ergebnisse sind vielleicht nicht immer gut, aber auch sicher nicht immer schlecht, und es wird mit der Zeit nur besser. Manchmal wird ein Bild so gut hochskaliert, dass es praktisch perfekt ist. Außerdem kann man mit KI-Upscaling auch einfach Rauschen und Kompressionsartefakte aus einem Bild entfernen, also gibt es auch dann Vorteile, wenn man die Auflösung gar nicht erhöhen muss oder will.

- Ich gebe eine kurze Liste mit ein paar Upscaling-Optionen samt Preis, Plattform und Upscaling-Limits. Die Qualität der Upscales bewerte ich nicht, erstens ist das ziemlich subjektiv, und zweitens habe ich nicht alles hier getestet. Wer weiß, vielleicht mache ich das irgendwann und stelle die Bilder zum Vergleich rein, vielleicht auch nicht, mal sehen.

- Einige der Optionen sind webbasiert, was praktisch ist, weil man mit im Grunde jedem Gerät mit anständigem Browser und Internetverbindung hochskalieren kann. Die Nachteile: Entweder sind die Möglichkeiten begrenzt oder es kostet ein Abo, und es braucht eine Internetverbindung. Für Leute mit langsamer, instabiler oder gedrosselter Verbindung ist das vielleicht nicht die beste Wahl. Außerdem weiß man nie, was die wirklich mit deinen Bildern machen, also ist es bei sensiblen Pics, die du hochskalieren willst, vielleicht eine gute Idee, eine nicht webbasierte Option zu nehmen.

- Manche gibt es als Software zum Download, was meist den Vorteil hat, dass man kein Internet braucht und weniger bis keine Einschränkungen beim Upscaling hat. Die Nachteile: Die Software muss für deine Plattform verfügbar sein, und du brauchst ein Gerät, das sie ausführen kann, denn anders als bei einer Web-Option, wo andere Server die Rechenlast übernehmen, muss jetzt dein Gerät die ganze Arbeit machen.

Gigapixel AILets EnhanceWaifu2xVertexshare Image Upscaler
Preis$99.99Die ersten 5 Bilder gratis, Abo ab $12 im Monat für 100 Bilder im MonatGratisGratis
Upscaling-Limit32,000 x 32,00064 Megapixel für die 5 Gratisbilder; 256 Megapixel mit normalem Abo; 500 Megapixel mit Business-Abo (ab $72 im Monat)Bilder größer als 1,500 x 1,500 oder 5 MB können nicht hochgeladen werden. Upscaling-Optionen: 1.6x oder 2xNur JPG oder PNG, nichts größer als 1,200 x 1,200 oder 5 MB. Upscaling nur mit 2x und 4x möglich
WebNJJJ
WindowsJNJ*N
MacJNJ*N
LinuxJ**NJ*N
Mobile AppNNJ*N

*Quellcode ist verfügbar auf GitHub
**Über WINE

- Das sind nicht die einzigen Optionen, es gibt noch viele mehr, also such einfach nach sowas wie "AI Image Upscaling Software", falls dir nichts davon zusagt. Du kannst dir auch diesen link ansehen, der eine Liste weiterer Optionen mit Vor- und Nachteilen zeigt. Ich persönlich nutze Gigapixel AI, weil es auf meinem eigenen Rechner läuft und meines Wissens kein größeres Limit hat, außer dass man ein Bild nicht über 32,000 x 32,000 hinaus hochskalieren kann, was für mich kein Problem ist. Wenn du aus irgendeinem Grund ein Bild über ein Gigapixel hinaus hochskalieren willst oder musst, kannst du es immer in kleinere Teile zerschneiden, die einzeln hochskalieren und dann wieder zusammenblenden und zusammensetzen.

- Sobald du dich entschieden hast, was du zum Hochskalieren nutzt, gibt es ein paar Dinge, die du für das beste Endergebnis tun kannst. Erstens: Nutzt du überhaupt die beste Version des Bildes, das du hochskalieren willst? Denn wie du weißt, gibt es von fast jedem Foto online mehrere Kopien, und die haben nicht alle dieselbe Qualität. Wenn du das Bild also aus dem Internet hast und es kein einzigartiges Foto oder ein Screenshot eines bestimmten Frames aus einem Video von dir ist, solltest du vielleicht eine umgekehrte Bildersuche versuchen. Dafür gibt es ein paar Optionen, wie Google, Bing, TinEye usw. (es kann sich lohnen, die umgekehrte Bildersuche mit mehr als einer davon zu machen, weil sie nicht immer dieselben Ergebnisse zeigen). Du kannst auch eine Browser-Erweiterung zur Hilfe nehmen, zum Beispiel Search by Image. Denk dran: Nur weil ein Bild älter ist, eine höhere Auflösung oder eine größere Dateigröße hat, heißt das nicht, dass diese Version die bessere Qualität hat. Man erhöht die Chance, das Originalbild zu finden, indem man herausfindet, wer/was auf dem Bild zu sehen ist, wann/wo es aufgenommen/gepostet worden sein könnte usw. und mit diesen Infos eine bessere Version aufspürt, wenn nicht sogar die Quelle selbst. Vielleicht stammt das Bild zum Beispiel von einem bestimmten Fotoshooting oder einer Art Event. Das zu wissen kann helfen.

- Wenn du sichergestellt hast, dass du die beste Kopie des Bildes hast, das du hochskalieren willst (oder zumindest die beste, die du finden kannst), solltest du dich um Daten und Archivierung kümmern. Damit meine ich: Um sicherzugehen, dass das Foto, das du benutzt, in Ordnung ist und für alle verfügbar bleibt, empfehle ich ein paar Dinge. Erstens: Nutze VirusTotal, um nicht nur die URL der Seite zu scannen, auf der das Bild liegt, sondern auch den Direktlink zum Bild und die Bilddatei selbst, sobald du sie heruntergeladen hast. Das ist nicht unbedingt nötig, aber ich mache es so. Ich empfehle außerdem, die URL der Seite, auf der das Bild gefunden wurde, sowie den Direktlink mit Wayback Machine und Archive.Today zu archivieren. Benenne dann das heruntergeladene Bild in einen sinnvollen, verständlichen Namen um (außer es hat schon so einen). Danach nutze ich oft FileOptimizer, um die Dateigröße so weit wie möglich zu verringern (nur verlustfreie Optimierung, damit keine Daten (Qualität) verloren gehen), damit es weniger Speicher braucht und schneller hoch- und runtergeladen wird.

- Okay, Zeit zum Hochskalieren! Na ja, vielleicht. Siehst du, manchmal braucht ein Bild vor dem Upscaling noch ein bisschen Feinschliff. Wenn das Bild viel Rauschen hat (sei es Farbrauschen , Helligkeitsrauschen usw.), kann es sein (muss aber nicht, je nach Fall unterschiedlich), dass der Upscaler Schwierigkeiten hat, Rauschen von Details zu unterscheiden, was zu seltsamen Ergebnissen führen kann. Also kannst du versuchen, das Bild vor dem Upscaling zu entrauschen. Manchmal wird das Upscaling dadurch schlechter, also musst du vergleichen. Ein anderes Mal wurde das Bild schon klassisch hochskaliert. Dann solltest du das Bild bei verschiedenen Zoomstufen unter 100% anschauen, bis du den 'Sweet Spot' findest, an dem du die Artefakte eines klassischen Upscalings, wie Blockbildung oder Aliasing, nicht mehr bemerkst. Ein guter Startpunkt ist 50% Zoom. Sobald du den 'Sweet Spot' gefunden hast, skaliere das Bild auf genau diese Stufe herunter (manchmal ist es am besten, einfach per Größenänderung zu verkleinern, manchmal bekommst du bessere Ergebnisse mit Resampling wie Lanczos oder Bicubic usw.). Wie beim Entrauschen vor dem Upscaling führt das nicht immer zu besseren Ergebnissen, also vergleichen. Andere Dinge, die ein besseres Upscaling ermöglichen könnten: das Bild leicht weichzeichnen, vielleicht schärfen, oder manchmal hilft sogar ein Hochskalieren/Resampling des Bildes.

- Wenn du das Bild in den Upscaler geladen und die perfekten Einstellungen gewählt hast und kurz vor dem Hochskalieren stehst, wirst du eventuell gefragt, in welchem Format und welcher Qualität du das Ergebnis exportieren willst. Ich empfehle ein verlustfreies Format wie PNG, damit spätere Bearbeitung besser wirkt. Okay, du hast das Bild jetzt hochskaliert und ein ordentliches Ergebnis bekommen, was nun? Du könntest das Ergebnis einfach so hochladen, ohne weitere Bearbeitung, das ist völlig okay, aber ein bisschen zusätzlicher Feinschliff kann ein ansprechenderes Ergebnis liefern. Gelegentlich bekommst du Rauschen im Upscale, auch wenn das Quellbild kaum Rauschen zu haben schien. Dann solltest du es so gut wie möglich entrauschen, damit es ein bisschen besser aussieht. Das Bild (als Ganzes oder nur bestimmte Teile) kann auch ein bisschen, wie soll ich sagen, glatt aussehen? Plastikartig? So in die Richtung. Dann kannst du es einfach verbessern, indem du dem Bild etwas Korn hinzufügst. Ich persönlich bevorzuge feines Korn gegenüber grobem, aber du kannst frei wählen. Das Korn fügt eine Art 'Fake-Detail' hinzu und lässt das Bild meiner Meinung nach etwas strukturierter wirken. Es kann auch sinnvoll sein, das Bild herunterzuskalieren, da der Upscale ein paar seltsame Details haben könnte, und durch das Herunterskalieren fallen sie weniger auf, während die visuellen Verbesserungen erhalten bleiben. Wenn du Entrauschen, Herunterskalieren und Korn kombinieren willst, ist die Reihenfolge: Entrauschen → Herunterskalieren → Korn.

- Das Bild könnte auch ein paar manuelle Korrekturen (oder zumindest davon profitieren) mit Photoshop oder GIMP brauchen. Ich habe darin aber derzeit keine Erfahrung, das kann sich in Zukunft allerdings ändern, dann kann ich einen kleinen Abschnitt zum manuellen Ausbessern des Upscales ergänzen. Also weiter: Dein Upscale sollte jetzt fertig sein. Vor dem Hochladen solltest du überlegen, das Bild entweder herunterzuskalieren oder verlustbehaftet zu komprimieren, da Upscales manchmal besonders große Dateien erzeugen (teils hunderte Megabyte für ein einziges Bild). Ich lade am liebsten das Quellbild hoch (ohne Änderungen und im Originalformat, aber verlustfrei optimiert), eine verlustfreie WEBP-Version des Upscales (da sie meist besser komprimiert als PNG), eine verlustbehaftete JPG-Version und ein verlustfreies PNG (wegen der Kompatibilität). So bekommen die Leute das Quellbild und können sich aussuchen, welche Version des Upscales sie wollen: ein verlustbehaftetes JPG mit der kleinsten Dateigröße, ein verlustfreies WEBP mit kleinerer Dateigröße als PNG oder ein verlustfreies PNG mit mehr Unterstützung und Kompatibilität als WEBP.
 
Crashkurs fürs Video-Upscaling:

Besorg dir eine Kopie von Topaz Video AI 3.1.6 (Edit: seit dieser Post gemacht wurde, ist Topaz 5 raus, du kannst also das nehmen). Artemis ist immer noch das Standardmodell; zum Konvertieren auf 60fps kannst du Apollo mit deaktivierter Option für doppelte Frames benutzen.

Das solltest du eigentlich nur mit einer starken Grafikkarte machen. Ich nutze eine 3080. Vielleicht geht es auch mit einer Threadripper-CPU oder einem schnellen Intel mit vielen Kernen, aber hatte keinen Bock, das auszuprobieren.

Check die Einstellungen, damit mit deiner GPU gerechnet wird, falls du eine hast, und mit hoher VRAM-Auslastung.

Zieh deine Datei in das Programm.

Wenn sie unter 720p ist, skaliere nicht höher als 1280x720p. Nimm Artemis LQ oder Iris. Ein gut aussehendes 720p mit 60 FPS sieht besser aus als ein schlechtes 1080p-Upscale mit 30 fps.

Wenn es eine Datei mit ordentlicher Qualität ist, so um 720 oder höher, kannst du auf 1920x1080 (also 1080p) gehen oder auf den direkten Skalierungsprozentsatz, der dich nahe rankommen lässt (z. B. bei einer alten quadratischen Datei). Nimm Artemis High Quality.

4k dauert ewig, also lass es bei reinem Porn lieber sein und freu dich, wenn deine Datei schon 1080p ist, außer du hast viel Zeit und musst eine Weile nichts anderes am PC machen. Eine einstündige Datei auf 4k hochzuskalieren kann buchstäblich Tage dauern.

Wenn du Framerate-Verbesserung und Upscaling machst, würde ich ZUERST das Upscaling machen und dann mit Apollo die FPS erhöhen (nimm einfach 60fps, mehr ist Verschwendung und oft schwer abzuspielen).

Du kannst Anfang und Ende kürzen. Ich mach das meistens in Handbrake statt in Topaz, weil Topaz in der Vergangenheit Probleme mit dem Trimmen hatte. Wenn du es vorher in Handbrake machst, kannst du einfach deine Upscale-Einstellungen setzen und laufen lassen.

Wenn du den Ton behalten willst, stell sicher, dass die Option zum Behalten des Tons ausgewählt ist.

Viel mehr musst du eigentlich nicht tun, als Start und Ende zu setzen und auf Go zu drücken.

Danach noch einen Durchgang in Handbrake wird empfohlen, die Dateien sind oft ziemlich groß und es ist einfacher, die Qualität auf Standard zu lassen und dann mit sowas wie NVENC-GPU-Encoding bei CQ 27 auf Größe zu bringen.

Noch ein Tipp: Schalte ALLE FILTER in Handbrake aus. Keiner davon ist nötig, und wenn du eine NVENC-Encoding-Methode nutzt (die dafür gemacht ist, mit der Power einer Nvidia-GPU schneller zu encoden), sind manche dieser Filter nur für die CPU und lassen deine CPU richtig heiß laufen, während das Encoding auch noch langsamer wird.

Edit - Ich bevorzuge h264 für Videodateien in 1080p oder niedriger. Wenn du Streamer bist oder 4k nutzt, ist h.265 wahrscheinlich die bessere Wahl. Ich hatte ein paar Probleme mit 265-kodierten Dateien auf manchen Geräten, deshalb gehe ich auf Nummer sicher, da mir die zusätzliche Platzersparnis von 265 nicht so wichtig ist.

Handbrake-Zusammenfassung:
Summary: Format MP4. Web Optimized.
Dimensions: Anamorphic None, Modulus 2, Cropping Automatic.
Filters: All OFF.
Video: H.264 Nvidia NVENC (wenn du eine aktuelle Nvidia-GPU hast, die du fürs Upscaling sowieso brauchst). Constant framerate. Constant Quality 27 (28 braucht weniger Platz, hat aber niedrigere Qualität, 26 hat höhere Qualität, braucht aber mehr Platz. Über 28 gibt es irgendwann Artefakte, unter 26 bleibt die Qualität erhalten, aber die Dateigröße steigt). Slow encoder preset. Profile auto, encoder level auto. Keine erweiterten Optionen.
Audio: Ich nutze AAC (AVOCODEC) mit Bitrate: 160, Stereo.

Beispiele - Du musst die Datei direkt öffnen, um die Bilder in voller Größe zu sehen.

720 Quelle:

HS-Source.png


1080 Upscale:

HS-Upscaled.png


Das hier ist ein "Worst-Case-Szenario": Die Quelle ist ein sehr alter 400x300-Clip, wahrscheinlich nicht die Originalquelle und ziemlich körnig, und er ist 3,5x hochskaliert, was du mit dem Sprung von 1280x720 auf 1080p vergleichen kannst, der nur 1,5x ist

Source.png


1438x1080 Upscale:

Upscale.png


Ich hab festgestellt, dass 720p auf 1080p für große Bildschirme (TVs, PC-Monitore usw.) völlig okay ist.

Bei unter 720p würde ich bei 2x bleiben, mehr bringt nach meiner Erfahrung keine guten Ergebnisse und verschwendet Zeit/Energie. Auf großen Bildschirmen sind die Ergebnisse nicht toll, aber für Handys/iPads finde ich sie völlig akzeptabel.
 
Gibt's was Neues zu RAISR oder SR3, oder ob es für die Allgemeinheit verfügbar ist?
 
Ja, leider ist dieser Inhalt nicht für die Allgemeinheit verfügbar
 
Bruder, was ist die beste Grain-Einstellung dafür? hab die Einstellung versaut und die Originalwerte vergessen
 
Ich lass es einfach aus.

Die Standardwerte scheinen Amount 1.7, Size 0.92 zu sein.

Hab einen kurzen Test gemacht und konnte überhaupt keinen Unterschied sehen. Also ja, lass es einfach aus.
 
"Serena 18", sehr alte Datei hochskaliert. Die Helligkeit ist etwas hoch, aber das liegt an der Quelldatei, und sie zu korrigieren hat nicht wirklich was gebracht. Hab ehrlich gesagt sonst keinen Ort, wo ich das hinpacken kann.

https://gofile.io/d/TpxwpE
 
Um Videos hochzuskalieren und zu remastern brauchst du mindestens eine 1660 Super, besser noch eine 2080 Super

Ältere Grafikkarte: 36 bis 48 Std., neuere Grafikkarte: 12 bis 16 Std.
 
Frage (hoffentlich antwortest du, bevor die Mods es sehen, weil die jeden Kommentar von mir löschen): Wenn man von 480 auf 720 hochskaliert und dann nochmal von 720 auf 1080, würde das funktionieren bzw. okay aussehen?

Und kannst du bitte die verschiedenen Eingabe-Videoqualitäten, Typen und Artefakt-Typen erklären? Mir scheint es keinen Artefakt-Typ zu geben, der wirklich ausgewogen ist, deshalb frage ich mich, welcher am besten klappt, sagen wir für Videos von vor 5-7 Jahren....
 
Ich hab es selbst nie gemacht, aber andere Leute, die diese Software genutzt haben, sagen, dass es sich lohnen kann. Ich mache selten 480 auf 1080p, deshalb habe ich es nie probiert, ich gehe direkt von 480 auf 1080 und hatte nie große Probleme mit den Ergebnissen. Wenn es eine Datei wäre, bei der es wirklich wichtig ist, die hohe Qualität zu behalten, würde ich es vielleicht machen.

Die Eingabequalität beurteilt man eher nach Augenmaß. Du kannst ein 480er-Video haben, das trotzdem ziemlich klar ist, oder eins in 480 mit richtig mieser Bitqualität. Ältere Videos aus den 90ern oder 2000ern sind oft stark komprimiert wegen der damals langsamen Internetgeschwindigkeiten. Das kann Artefakte erzeugen, also Blockbildung oder schlechte Farbqualität. Andere Qualitätsprobleme sind Belichtung oder Kontrast, oder die klassische Unschärfe der 80er-Softcore-Filme.

Ich würde sagen: Wenn dir die Bildqualität der Datei gut aussieht, nimm Artemis High quality. Wenn es Artefakte gibt oder die Bitrate niedrig ist, nimm Artemis Low Quality. Das gilt nicht nur für 480p-Videos, denn ich habe auch schon richtig miese 720p-Videos gesehen.
 
Wenn du einen simplen AI-Upscaler für Android willst, nutze ich diese App, genauer gesagt Version 6.1. Es gibt ein Limit von 10 Bildern, bevor du anfangen musst, Werbung zu schauen; aber wenn du die apk hast, kannst du sie einfach deinstallieren und mit der APK neu installieren, und das Limit wird zurückgesetzt. Ich weiß nicht, ob das bei Versionen nach 6.1 funktioniert, aber ich probier's lieber nicht.

https://m.apkpure.com/ai-enlarger-for-photo-anime/com.app.aiimglarger/versions
 
kann jemand helfen? Ich hab topaz video enhance aus verschiedenen Quellen runtergeladen, aber jedes Mal kann ich nur mit Wasserzeichen enhancen und es verlangt einen Login, irgendwelche Tipps? danke :MLADY:
 
mach ich was falsch? ich kann das Upscaling in der Vorschau sehen, aber nicht verarbeiten, es hängt nur bei „AI-Modell wird geladen“. kann mir jemand helfen?
 
Die Modelle sind ziemlich groß und werden meines Wissens nur im Haupt-Windows-Installationsordner abgelegt. Wenn du auf dem Laufwerk wenig Platz hast, werden sie vielleicht nicht heruntergeladen.

Du solltest außerdem in den Einstellungen nachsehen, ob "disable model downloading" aktiviert ist, denn das könnte die Modell-Downloads verhindern.
 
es gibt eine kostenlose Software zum Hochskalieren von Bildern namens upscayl
 
Ich hab ein Video, das ziemlich dunkel und nicht sehr scharf ist. Ich hab jedes mögliche Programm probiert, von Premiere über Topaz bis (hier Drittanbieter-Name einfügen), ohne viel Erfolg. Wärst du bereit, es für mich aufzuhellen und zu verbessern? Ich kann dir das Beste zeigen, was ich bisher hinbekommen habe, zusammen mit dem Original. Ich kann dir ein paar Euro dafür zuwerfen, wenn es gut wird, falls du magst.
 
Zurück
Oben