Archivfestigkeit 500 Jahre!!!

[isaac]

Werbung (verschwindet nach Registrierung)

Hallo Thorsten!

Ich empfinde für den Privatanwender die Diskussion der "reinen Lehre" als etwas überzogen, obwohl ich prinzipiell eine unkomprimierte Archivierung für ideal halten würde.

Also ganz so überzogen ist das garnicht.

Die unkomprimierte (oder pseudokomprimierte) Archivierung hat immer den Vorteil, daß ich den maximalen Bildinhalt reproduzieren kann. Egal wie lange die Datei gespeichert war. In meinen digitalen Anfangstagen habe ich auf CD-ROM gespeichert (Festplatten waren damals auch noch nicht sooo billig). Nichts, ich wiederhole nichts, aus dieser Zeit ist auf den CDs noch lesbar. Was mich aber dennoch wundert, Photo-CDs (die originalen von Kodak) sind nach wie vor noch alle (von der Gold-CD) lesbar (aber Software, die das kann, gibt es wohl kaum mehr).

Ich habe mal ein paar Fragen für "normale" Anwender und damit den privaten Hausgebrauch:

 

 

1. das was ich aus der Kamera entnehme, ist doch das am wenigsten verlustbehaftete was mir zur Verfügung steht. Warum reicht es nicht, dieses Bild auf externen Laufwerken oder Speicherplätzen vorzuhalten?
   

1. Natürlich reicht das. Wenn aber das Speichermedium altert oder einen plötzlichen Tod stirbt, dann kann es sein, daß Dateien nur mehr mit Beschädigungen (Bitumfaller) rekonstruiert werden können. Wenn es sich um eine komprimierte Datei gehandelt hat, so ist spätestens nach dem ersten Bitfehler schluß mit der Rekonstruktion des Bildes.

   
   

2. TIFF hat sich zwar als Standard, auch in Druckvorstufe, etabliert; aber es gibt dort durchaus Derivate, die NICHT mit allen Anwendungen gelesen werden können. Was nutzt mir die vermeintliche Sicherheit, wenn ich dann nach Jahren feststelle, daß mein bevorzugtes Anzeige- und Bearbeitungsprogramm leider genau das NICHT unterstützt, was mein bislang benutztes als "Standard" verwendet hat?TIF wird zumeist verkannt :-) weil es eigentlich kein TIF Format (!!!) gibt. TIF beschreibt einen Container, in dem praktisch alles an Bilddatenformaten abgelegt werden kann. TIF ist nur eines der wenigen bekannten Formate, die "standardmäßig" unkomprimierte Bilder beinhalten, die selbst nach einer Bit- oder bytebeschädigung noch rekonstruiert werden können.

PNG Version 1.2 ist eine Empfehlung des W3C und ISO-Standard; kann praktisch von jedem Rechner dargestellt werden und verfügt im Gegensatz zu TIFF um eine definierte, also funktionstüchtige und lizenzkostenfreie, verlustlose Kompression. Warum nicht PNG?

Zu späte Totgeburt. Diese "verlustlose" Kompression ist ein simples LZ-Verfahren (also ohne den ehemals lizenzhungrigen Hrn. Welch) Ab dem ersten umgefallenen Bit ist das Bild nicht mehr rekonstruierbar.

DNG von Adobe hat für RAW ja quasi Referenzstatus; aber auch hier erlebte ich es in der Praxis, daß aktuelle Versionen - und annähernd handliche Dateigrößen - von alten (Adobe) Releases NICHT unterstützt werden. Eine RAW kommt bei mir auf ca. 15 MB - die unkomprimierte DNG landet irgendwo bei 60 MB; bei aller Liebe, in der Praxis bekomme ich also 10-15 Tausend Bilder auf ein TeraByte. Mit meinen RW2 aus der Kamera benötige ich dafür nur 250 GigaByte. Ist das einer der Gründe, warum DNG kaum akzeptiert wird?

DNG verweigern die meisten, weil sie es nicht kennen und/oder einer Adobeschen Verschwörungstheorie nachgehen. Dabei ist die Erklärung so einfach: DNG ist TIF (so wie auch die meisten RAW-Formate ein ganz gewöhnliches TIF sind).

[matadoerle]

Hallo Harald,

vielen Dank für die rasche Antwort; Argumente sind hier angekommen - ich sehe zwar die Problematik Bit-Umfaller weniger kritisch wie du mit deinen Erfahrungen, kenne das aber auch und würde deshalb den überschaubaren Mehraufwand (Dateigröße) auch in Kauf nehmen.

 

Welche Einstellungen für TIF soll ich denn dann vornehmen oder einstellen, damit mich das Desaster nicht irgendwann überrascht?

 

Dann eine weitere Frage: ich habe schon erlebt, daß Programme (vor allem die aus der Verschwöreraffinen Ecke A.obe) bei der Verschlagwortung andere EXIFs rücksichtslos überschreiben, manipulieren, löschen etc.

 

Wenn ich das dann erst später merke, dann würde ich mir mal wieder in den A..erwertesten beißen. Im professionellen Bereich wird doch IPTC verwendet - wie stelle ich nun sicher, daß meine Verschlagwortung/Tags auch in Zukunft erkannt und verwendet werden können. Tja - welches Tool soll ich nun nehmen?

 

Vielen Dank nochmals vorab,

Gruß Thorsten

[Zitterhuck]

Harald hat das meiste schon beantwortet, nur noch so viel:

 

Das Format ooc einfach zu speichern reicht nur dann, wenn es unbearbeitet wäre, dies aber selten der Fall.

 

Es gibt keine allumfassenden Empfehlungen, da alle mit allen über die Theorie streiten. Es ist einfach so, dass die häufige Verwendung von tif als Original . also ein defakto-Standard - im Archivbereich dazu führt, dass er allgemein benutzt wird - in der (empirisch begründeten, mehr nicht) Hoffnung, ihn auch pflegen zu können.

 

IPTC ist der verwendete allgemeine Standard, da gehören die Daten rein. Aber nicht in frei definierbare Felder! Und nicht in getrennte XMP-Files, s.o. EXIF hat nichts mit Verschlagwortung zu tun und bleibt normalerweise sowieso unangetastet bzw. ist von den meisten Programmen aus guten Gründen nicht editierbar.

 

@Thorsten:

 

Ich habe als Anwender von Adobe- bzw. Aldus-Produkten noch nicht einmal seit dem Beginn in den 90ern das Problem gehabt, dass die Metadaten falsch behandelt wurden, auf keinen Fall bei der Bridge, die immer das letzte in meinem Workflow ist. Daher ist dies immer meine Empfehlung. Zwischendurch hatte ich mal ACDSee in meinen Workflow (für Umbenennungen) eingebaut, das war eine Katastrophe. Insgesamt muss man sagen, dass die Gefahr einer Fehlbehandlung sehr groß ist, bei der Bridge sehe ich das aber nicht.

 

Wenn Du Photoshop verwendest, speicher einfach als umkomrimiertes tif, dann hast Du alles richtig gemacht. Die vielen weiteren Standards und ihre Einstellungen, wie z.B. geoTif, sind für die meisten Anwender eh uninteressant.

bearbeitet 16. September 2010 von Zitterhuck

[isaac]

Hallo Thortsen!

...und würde deshalb den überschaubaren Mehraufwand (Dateigröße) auch in Kauf nehmen.

Nun, ich habe es ja schon diskret angemerkt, aber die Pseudokompression, wie sie in den DNGs der M8/9 angewendet werden, sind - meiner meinung nach - ein sehr guter Kompromiß.

Welche Einstellungen für TIF soll ich denn dann vornehmen oder einstellen, damit mich das Desaster nicht irgendwann überrascht?

Wenn beim Abspeichern nach TIF nicht nachgefragt wird, wird ohnehin "unkomprimiert" gespeichert. Ansonsten halt dieses anwählen.

Dann eine weitere Frage: ich habe schon erlebt, daß Programme (vor allem die aus der Verschwöreraffinen Ecke A.obe) bei der Verschlagwortung andere EXIFs rücksichtslos überschreiben, manipulieren, löschen etc.

Du bringst jetzt etwas (EXIF) in die Diskussion, was ich nicht unbeantwortet lassen will.

TIF gibt es praktisch schon ewig, so richtig verstanden und sich damit auseinandergesetzt haben sich nur ganz wenige damit. Die meisten Programme, welche TIF lesen können (TIF-reader) tun dies nicht in einer transparenten Art und Weise sondern dediziert auf ganz wenige Tags (Inhaltselemente) hin. Offenbar war das auch mit ein Grund, warum (japanische) Hersteller von Digitalkameras das TIF mieden wie die Pest und genau den umgekehrten Weg einschlugen:

TIF kennt als Einstieg nur das Tag-Directory (also die Liste aller in der Datei enthaltenen Elemente wie Bildbreite und -höhe, Auflösung, Zeiger zu den Bilddaten, Kamerahersteller, Autor, Uhrzeit und Datum usw.), durch das muß man sich sequenziell durcharbeiten und am Ende der Liste nur schauen muß, ob es die letzte (einzige) ist oder ob noch eine weitere Liste folgt. Dadurch kann man in einem TIF beliebig viele Bilder (Seiten) abspeichern und auch dazu assozierte Dateien wie eine verkleinerte Vorschau oder ähnliches. In einer "waschechten" JPG-Datei gibt es nur ganz wenige Angaben zum Bild selbst und auch hier nur die, die zur Rekonstruktion des Bildes absolut notwendig sind (Bildbreite und -Höhe, Art der Kompression wie verlustbehaftet oder verlustfrei sowie die Darstellungsart wie normal oder progressiv). Alle weiteren uns liebgewordenen Inhalte werden in einem - ursprünglich nie geplanten - "Marker", dem "Exif-marker" abgespeichert. Und wie es der Zufall will, dieser Exif-Marker ist ein TIF mit Tag-Directory, aber diesmal eingebettet in einen JPG-Marker. Und exakt in diesem eingebettetend TIF sind auch die (meist winzigen) Vorschaubilder und alle weiteren Hinweise zum Bild und zur Aufnahme abgespeichert.

Man kann das ganz einfach umdrehen und das JPG komprimierte Bild in ein normales TIF einbauen, den Zeiger StripOffsets auf den Bildbeginn setzen und in StripsPerImage die Bildhöhe eintragen. Und natürlich Compression 7 setzen für JPG. Jeder anständige TIF-Reader sollte das dann lesen können.

Was nun wahrscheinlich Adobe machen wird ist, die Exif-Tags die eigentlich TIF-Tags sind, richtig im JPG zu belegen wo sie aber aus der Sicht eines JPG-Readers (die eigentlich immer falsch lesen :-) nicht mehr korrekt interpretiert werden. Daher auch die von mir genannte Verschwörungstheorie. Adobe macht wohl nichts weiter, als sich an einen Standard (oder eine Konvention) zu halten.

Von wegen Standard, auch JPG ist genormt, sogar bei ISO, aber wie so viele Normen dort, wird dem Verwender jede Freiheit - so unmöglich sie auch noch sei - gelassen, um wieder sein eigenes Süppchen zu kochen.

JPG funktioniert eigentlich nur deshalb so gut, weil alle die lizenzfreie Beispielimplementierung der JPEG verwenden (aufs Byte genaue Kopien) und diese natürlich kein Exif kennt.

Selbst der JPG Relaunch (JPEG-2000) konnte daran nichts ändern, weil eben keine "lossless" Implementierung angeboten worden ist. Wenn irgendwo ein (freier) Sourcecode existieren würde, wäre "LossLessJPG" in allen Programmen und Kameras eingebaut.

Und von Linux-Vorlagen findet ja sogut wie kein KnowHow-Transfer in den Rest der IT-Welt statt...

wie stelle ich nun sicher, daß meine Verschlagwortung/Tags auch in Zukunft erkannt und verwendet werden können. Tja - welches Tool soll ich nun nehmen?

Bleistift und Papier :-)

[leicanik]

...Eine RAW kommt bei mir auf ca. 15 MB - die unkomprimierte DNG landet irgendwo bei 60 MB; bei aller Liebe, in der Praxis bekomme ich also 10-15 Tausend Bilder auf ein TeraByte. Mit meinen RW2 aus der Kamera benötige ich dafür nur 250 GigaByte. Ist das einer der Gründe, warum DNG kaum akzeptiert wird?...

Mich als Privatanwender hat genau das bisher abgeschreckt (und zwar ganz ohne irgendwelche Verschwörungstheorien ). Für eine Bearbeitung einzelner Pana-Raws mit CS3 ging ich bisher den Weg über den DNG-Konverter und überlegte daher, ob ich die Konvertierung nicht gleich standardmäßig machen sollte und die DNGs zum Archivieren nehme. Allerdings stört mich die Dateigröße doch sehr. Obwohl ich mir inzwischen nicht sicher bin, ob TIFF nicht genauso große Dateien produziert. Ich habe gerade mal in einem Kurzversuch ein JPEG mittels XnView in ein unkomprimiertes TIFF umgewandelt. Dabei stieg die Dateigröße von 3,2 MB auf 30 MB ! Größenmäßig könnte es also sein, daß da gar kein relevanter Unterschied zwischen DNG und TIFF besteht. Fragen an die Archivierungsprofis: Gibt es Größenunterschiede zwischen TIFF und DNG? Und ist TIFF für einen Laien wie mich dem DNG vorzuziehen?

Gruß, leicanik

 

P.S.: Was mir gerade noch einfällt: Ich habe bisher noch gar nicht versucht, IPTC-Daten in ein DNG zu schreiben - geht das überhaupt (In TIFF geht es z.B. mit XnView) ?

bearbeitet 17. September 2010 von leicanik

[mjh]

Gibt es Größenunterschiede zwischen TIFF und DNG? Und ist TIFF für einen Laien wie mich dem DNG vorzuziehen?

Das sind doch zwei ganz unterschiedliche Formate für unterschiedliche Zwecke – DNG ist ein Rohdatenformat, TIFF hingegen ein Format für bereits „entwickelte“ Bilder.

 

Aber was die Dateigröße betrifft: DNGs können auch verlustfrei oder verlustbehaftet komprimiert sein, aber wenn sie unkomprimiert sind, werden im ungünstigsten Fall 16 Bit pro Pixel gespeichert, dazu natürlich die Metadaten, ein Vorschaubild etc.. Während die Rohdaten aber pro Pixel nur einen Helligkeitswert enthalten, ist ein TIFF ein vollständiges RGB-Bild mit 8 oder 16 Bit pro Farbkanal, insgesamt also 24 oder 48 Bit pro Pixel. Ein TIFF wird rund 50 bis 200 Prozent größer als ein DNG sein.

[Zitterhuck]

Werbung (verschwindet nach Registrierung)

Schon wenn man diese noch recht kurzen Thread liest, so kann aus vielen Aspekten heraus die Entscheidung für tif eigentlich nicht schwer fallen, auch wenn die unkomprimierte Fassung eines files relativ groß ist.

 

Ich möchte aber noch mal daran erinnern, dass dies nur eine der Aspekte ist, die für die "archivsichere" Speicherung der privaten Fotografen wichtig sein sollten. Die denkbaren Probleme eines Speicherformates sind in der Praxis vergleichsweise gering. Meines Eindrucks nach sind bei der Mehrzahl unserer Foristen der Umgang mit (heiklen!) DAM-Systemen, das Handling der Metadaten und die Backups viel kritischer zu sehen. Mal ganz abgesehen davon, dass die grundsätzliche Entscheidung für den Versuch, seine Fotos längerfristig zu bewahren, noch lange nicht selbstverständlich ist... Ich habe schon oft darüber nachgedacht, über das Thema "Archivierung" ein eigenes Forum zu eröffnen, dazu fehlt mir aber leider die Zeit.

[Anzeige]

Ich würde dir das Adobe Creative Cloud Foto-Abo mit Photoshop und Lightroom empfehlen

[matadoerle]

ich habe mir mal den aktuellen (frei und kostenlos verfügbaren) DNG-Konverter gezogen und ein paar RAWs (G1 *.RW2) durchlaufen lassen; dazu muß gesagt werden, daß es verschiedene "Level" der Konvertierung gibt (Version des verwendeten AdobeCameraRAW) und damit auch unterschiedliche Komptibilität und Dateigröße. Im Vergleich dazu habe ich die gleichen RAWs dann auch mal durch zwei Konverter (Silkypix 4.0 und CaptureONE 5.2) gejagt und als 16-bit TIFF ausgegeben. Anbei die mittlere Dateigrößen aufsteigend sortiert:

 

DNG Version 1.3 ( ab ACR 5.4 und komprimiert): ~11 MB

RAW aus der Kamera (wahrscheinlich komprimiert): ~15 MB

DNG Version 1.3 ( ab ACR 5.4, nicht komprimiert): ~25 MB

DNG Version 1.1 ( bis ACR 4.6, nicht komprimiert): ~45 MB

TIFF ( mit Silkypix DS 4.0, LZW-low-komprimiert): ~63 MB

TIFF ( mit Silkypix DS 4.0, LZW-high-komprimiert): ~65 MB

TIFF ( mit CaptureONE 5.2, mit "ZIP" komprimiert): ~67 MB

TIFF ( egal welcher Konverter, nicht komprimiert): ~70 MB

DNG Version 1.3 linear (mosaikfrei, unkomprimiert): ~72 MB

 

In die DNGs habe ich jeweils ein Vorschaubild in der Größe 1024x768 eingepackt, was eine schnelle manuelle Suche in beliebigem Explorer ermöglicht (funzt jedenfalls einwandfrei unter Windows). Die Angabe der Komprimierung entnehme ich dem, was ich im DNG-Konverter unter "Benutzerdefiniert" angekreuzt habe; "linear" wird dort als "mosaikfrei" definiert, ich weiß aber nicht was das bedeutet.

 

Interessant (und ohne Verschwörungstheorie) erscheint mir, daß viele Anzeigeprogramme die "neue" DNG Version 1.3 NICHT richtig interpretieren, da werden anscheinend (wenn ich die englischen Hinweise richtig verstehe) ebenfalls Korrekturen (Verzeichnung, Vignettierung und CA) in die Tags geschrieben. Ältere Programme machen zwar eine DNG-Anzeige, aber setzen die Korrekturen NICHT um .. weiß jemand genaueres?

 

Empfehlungen der Informierten und Spezialisten bezüglich Archivfestigkeit?

bearbeitet 17. September 2010 von matadoerle
TIFF ZIP-komprimiert ergänzt

[Zitterhuck]

die "neue" DNG Version 1.3 NICHT richtig interpretieren...

 

Du sagst es schon... Das Problem bei RAW und DNG ist halt, dass es eine dritte Software benötigt, um weiterhin korrekt interpretiert zu werden. So was ist immer von übel. Daher tif.

[leicanik]

Das sind doch zwei ganz unterschiedliche Formate für unterschiedliche Zwecke – DNG ist ein Rohdatenformat, TIFF hingegen ein Format für bereits „entwickelte“ Bilder...

Ja klar, sorry daß ich das mal so einfach unterschlagen habe (ich sitze gerade mit brummendem Grippeschädel und einem Netbook im Bett und bitte daher Nachsicht ). Aber dennoch bliebe ja die Frage, ob man ggf. auch seine unbearbeiteten Bilder lieber in TIFF wandeln sollte, statt sie als RAW oder eben DNG aufzuheben. Und danke für die Größeneinschätzung.

 

Schon wenn man diese noch recht kurzen Thread liest, so kann aus vielen Aspekten heraus die Entscheidung für tif eigentlich nicht schwer fallen, auch wenn die unkomprimierte Fassung eines files relativ groß ist.

 

Ich möchte aber noch mal daran erinnern, dass dies nur eine der Aspekte ist, die für die "archivsichere" Speicherung der privaten Fotografen wichtig sein sollten...

Mit diesem eindeutigen Votum für TIFF wäre meine Frage eigentlich beantwortet. Allerdings hast du leider Recht: Das viel größere Problem heißt bei mir "Backup-Disziplin"

ich habe mir mal den aktuellen (frei und kostenlos verfügbaren) DNG-Konverter gezogen und ein paar RAWs (G1 *.RW2) durchlaufen lassen...

Wie gewohnt machst du dir viel Mühe, uns handfeste Ergebnisse für die Praxis zu liefern, vielen Dank! Leider muß ich für mein betagtes CS3 die "alte" DNG-Variante (ACR 4.6)nutzen und bekomme entsprechend große Dateien. Gegenüber dem riesigen unkomprimierten TIFF spielt das allerdings auch keine Rolle mehr. Ich überlege, ob ich nicht zukünftig eine zweigleisige Stragie fahren soll: Unkomprimiertes TIFF für eine ausgewählte Anzahl wirklich "wichtiger" bzw. guter Fotos und schlichtweg JPEG für den Rest. Zusammen mit einer großzügigeren Betätigung der Löschtaste sollte das vielleicht wieder zu einem überschaubaren Archv führen.

 

Gruß,leicanik

[fax]

Wird DNG überhaupt von Software unterstützt, die unter einem anderen Betriebssystem als momentan aktuellen Windowsversionen läuft? Sonst muss man Windows + passende Hardware gleich noch mitarchivieren.

[Zitterhuck]

Ich überlege, ob ich nicht zukünftig eine zweigleisige Stragie fahren soll: Unkomprimiertes TIFF für eine ausgewählte Anzahl wirklich "wichtiger" bzw. guter Fotos und schlichtweg JPEG für den Rest. Zusammen mit einer großzügigeren Betätigung der Löschtaste sollte das vielleicht wieder zu einem überschaubaren Archv führen.

 

Warum nicht? Eine der wichtigsten Tätigkeiten (und Qualifikationen!) eines Archivars ist das "Kassieren", d.h. das Löschen von Unwichtigem. Außerdem hat schon Ansel Adams gesagt, dass das wichtigste Werkzeug des Fotografen der Papierkorb ist...

[mjh]

Aber dennoch bliebe ja die Frage, ob man ggf. auch seine unbearbeiteten Bilder lieber in TIFF wandeln sollte, statt sie als RAW oder eben DNG aufzuheben.

Wenn Du sie umwandelst, ist das ja bereits eine Bearbeitung („Entwicklung“ oder wie immer man die Umwandlung von Rohdaten in ein Bild nennen will). Jede Umwandlung trifft bestimmte Entscheidungen und ist mit einem Verlust an Möglichkeiten verbunden, die in den Rohdaten noch gesteckt hatten. Deshalb kommt man nicht umhin, auch die Rohdaten zu archivieren, selbst wenn man daneben die entwickelten Bilder archiviert (als TIFF oder wie auch immer).

 

Man hat ja auch früher nicht die Negative weggeworfen, obwohl sie – ebenso wie heute die Raw-Dateien – für sich genommen nicht besonders ansehnlich waren.

[mjh]

Wird DNG überhaupt von Software unterstützt, die unter einem anderen Betriebssystem als momentan aktuellen Windowsversionen läuft? Sonst muss man Windows + passende Hardware gleich noch mitarchivieren.

Etliche Raw-Konverter unter Mac OS X unterstützen DNG.

[Anzeige]

Guck dir auch mal das Sony 12-24 G Master an

[Zitterhuck]

Deshalb kommt man nicht umhin, auch die Rohdaten zu archivieren, selbst wenn man daneben die entwickelten Bilder archiviert (als TIFF oder wie auch immer).

 

Man hat ja auch früher nicht die Negative weggeworfen, obwohl sie – ebenso wie heute die Raw-Dateien – für sich genommen nicht besonders ansehnlich waren.

 

Kann man nicht vergleichen. Für ein analoges Negativ oder Dia kann es für lange Zeit eine Möglichkeit der Entwicklung geben, für Rohdaten ist das auszuschließen. Wie oben schon gesagt: Deshalb eigenen sich RAWs und DNGs nicht für eine auch nur mittelfristige Archivierung.

[matadoerle]

Für ein analoges Negativ oder Dia kann es für lange Zeit eine Möglichkeit der Entwicklung geben, für Rohdaten ist das auszuschließen.

woraus läßt sich das eigentlich ableiten? gibt es bereits ein einziges Rohdatenformat, was nicht mehr unterstützt wird?

[isaac]

Hallo!

Kann man nicht vergleichen.

???

Für ein analoges Negativ oder Dia kann es für lange Zeit eine Möglichkeit der Entwicklung geben, für Rohdaten ist das auszuschließen.

Was - wenn nicht eine sehr hohe Lernresistenz - bewegt dich zu dieser Aussage?

Wie oben schon gesagt: Deshalb eigenen sich RAWs und DNGs nicht für eine auch nur mittelfristige Archivierung.

1) Es genügt, den Quellkode zu dcraw.c (auf haltbarem Papier) auszudrucken und du kannst immer alle RAWs die dcraw kennt (es sind praktisch alle) in ein RGB-Bild deiner Wahl "entwickeln".

Für DNG gilt ähnliches, auch wenn Michael die beiden Formate als unterschiedlich betrachtet.

Ich denke, es ist auch garnicht sinnvoll über das Speicherformat nachzudenken, es geht ja um die Erhaltung und Rekonstruktion der Bilddaten. Da ist JPG (egal ob Cosinus, Arithmetrisch oder Lossless) und auch jede Geschmacksrichtung von ZIP sicher suboptimal.

Unkomprimiertes TIF oder noch besser unkomprimiertes (oder pseudokomprimiertes) DNG zusammen mit dem Quellkode zum Lesen der Daten, mehr kann man nicht erreichen.

[isaac]

Hallo Thorsten!

ich habe mir mal den aktuellen (frei und kostenlos verfügbaren) DNG-Konverter gezogen und ein paar RAWs (G1 *.RW2) durchlaufen lassen; dazu muß gesagt werden, daß es verschiedene "Level" der Konvertierung gibt (Version des verwendeten AdobeCameraRAW) und damit auch unterschiedliche Komptibilität und Dateigröße.

Nur als Ergänzung:

Die verschiedenen Level von DNG beziehen sich nur auf die Metadaten (und einen Bug in der 1.0er Version :-) wobei die Version 1.2 schon Möglichkeiten vorsieht, kamerainterne Korrekturmaßnahmen transparent an einen DNG-Konverter weiterzureichen...

Im Vergleich dazu habe ich die gleichen RAWs dann auch mal durch zwei Konverter (Silkypix 4.0 und CaptureONE 5.2) gejagt und als 16-bit TIFF ausgegeben. Anbei die mittlere Dateigrößen aufsteigend sortiert:

Die resultierende Dateigröße ist immer eine Funktion der Anzahl der Megapixel vom Sensor und der RGB-Bittiefe, wenn unkomprimiert.

DNG Version 1.3 ( ab ACR 5.4 und komprimiert): ~11 MB

Wurscht ob 1.0, 1.1, 1.2 oder 1.3, die Datei wird um +/- ein paar Kilobyte immer gleich groß sein - eben lossless JPG auf die volle Bittiefe des ADCs nach dem Sensor.

RAW aus der Kamera (wahrscheinlich komprimiert): ~15 MB

Ja, komprimiert mit einer ganz einfachen Lauflängenkomprimierung (ähnlich dem Windows BMP).

DNG Version 1.3 ( ab ACR 5.4, nicht komprimiert): ~25 MB

Eaxkt 2 Bytes pro Pixel plus TAG Overhead und Vorschau.

DNG Version 1.1 ( bis ACR 4.6, nicht komprimiert): ~45 MB

Das ist ein lineares DNG mit lossless JPG komprimiert, das kann jede Version.

TIFF ( mit Silkypix DS 4.0, LZW-low-komprimiert): ~63 MB

TIFF ( mit Silkypix DS 4.0, LZW-high-komprimiert): ~65 MB

TIFF ( mit CaptureONE 5.2, mit "ZIP" komprimiert): ~67 MB

Egal ob low oder high, 12 Megapixel zu je 2 Byte pro Farbpixel gibt 2x3x12=72. Alle LZ-Irgendwas Komprimierungen auf ein RGB angewendet gibt im besten Fall etwa 10% Datenreduktion.

TIFF ( egal welcher Konverter, nicht komprimiert): ~70 MB

Exakt 72MB plus Overhead

DNG Version 1.3 linear (mosaikfrei, unkomprimiert): ~72 MB

Ist exakt dasselbe wie ein TIF, aber noch nicht einem bestimmtem Farbraum zugeordnet.

Die Lossless-Komprimierung gibt relativ konstant eine Datenreduktion auf 50-60% der Originalgröße. Wenn man mit fixen Huffman-Tabellen arbeitet, eher die 60%, wenn man jedes Bild (eigentlich jedes Tile) extra "bearbeitet" dann sind auch Werte knapp unter 50% erreichbar.

In die DNGs habe ich jeweils ein Vorschaubild in der Größe 1024x768 eingepackt, was eine schnelle manuelle Suche in beliebigem Explorer ermöglicht (funzt jedenfalls einwandfrei unter Windows).

Ja, weil das DNG eben auch nur eine Geschmacksrichtung von TIF ist und die Verschau meist unkomprimiert gespeichert wird.

Die Angabe der Komprimierung entnehme ich dem, was ich im DNG-Konverter unter "Benutzerdefiniert" angekreuzt habe; "linear" wird dort als "mosaikfrei" definiert, ich weiß aber nicht was das bedeutet.

Das bedeutet, daß dir der Adobe DNG Konverter schon das Demosaicing abgenommen hat, aber noch keinen Farbraum zugewiesen hat. Die Zuweisung eines Farbraumes bedeutet immer daß die Rohdaten "logarithmiert" wurden (mit einem Gamma versehen).

Interessant (und ohne Verschwörungstheorie) erscheint mir, daß viele Anzeigeprogramme die "neue" DNG Version 1.3 NICHT richtig interpretieren,

Ja, weil -wie ich oben schon bemerkt hatte - Adobe da einen Bug im Huffman-Encoder drinnen hatte, den dann alle brav nachvollzogen haben um die Dateien überhaupt lesen zu können. Dieser Bug ist mir auch bei der Implementierung von Lossless-JPG bei den Adobedatein aufgefallen, aber da gibt es einen simplen Workaround dazu, den man sogar so auslegen kann, daß der Bug egal wird (ich kann beides lesen :-).

da werden anscheinend (wenn ich die englischen Hinweise richtig verstehe) ebenfalls Korrekturen (Verzeichnung, Vignettierung und CA) in die Tags geschrieben.

Ja, das begann mit Version 1.2 und wurde in Version 1.3 sogut wie perfektioniert.

Ältere Programme machen zwar eine DNG-Anzeige, aber setzen die Korrekturen NICHT um .. weiß jemand genaueres?

Soviel ich weiß, verwendet C1 diese Korrektur-Metadaten (siehe dein Baustellenbild) und natürlich alles, was von Adobe kommt. SilkyPix kann als einziger (?) RAW-Konverter diese Korrekturdaten direkt aus den Panasonic-RAW Dateien interpretieren.

[leicanik]

Wenn Du sie umwandelst, ist das ja bereits eine Bearbeitung („Entwicklung“ oder wie immer man die Umwandlung von Rohdaten in ein Bild nennen will). Jede Umwandlung trifft bestimmte Entscheidungen und ist mit einem Verlust an Möglichkeiten verbunden, die in den Rohdaten noch gesteckt hatten. Deshalb kommt man nicht umhin, auch die Rohdaten zu archivieren, selbst wenn man daneben die entwickelten Bilder archiviert (als TIFF oder wie auch immer)...

Oh Mann, ich sag's ja: Man sollte mit Grippekopf lieber keine Beiträge schreiben . Da mein Kopf inzwischen wieder funkioniert, mache ich aber trotzdem mal weiter:

Soweit klar, auch wenn mir deine weiteren Ausführungen zu Thorsten wieder etwas zu hoch sind und ich als Nicht-Programmierer auch nicht so recht weiß, was ich im Falle des Falles mit dem ausgedruckten Quellcode dann anfangen würde. Als bisheriges laienverträgliches Fazit scheint mir zu sein: Archivierung der RAWs + der zugehörigen Software + der bearbeiteten Bilder als TIFF. (Wenn's so weiter geht, nehme ich wieder Ilford FP4 )

Gruß, leicanik

[Zitterhuck]

woraus läßt sich das eigentlich ableiten? gibt es bereits ein einziges Rohdatenformat, was nicht mehr unterstützt wird?

 

Das ist eines der Grund(wesens)merkmale eines Archivars, dass er - aus leidiger Erfahrung in der Welt der IT - davon ausgehen muss, dass ehemalige Standards irgendwann nicht mehr lesbar sind. Daher gilt das Prinzip: Auf dem unterst möglichen Level muss es lesbar bleiben, sondt wird es nicht akzeptiert - und das ist richtig und gut so. Es ist schon schlimm genug, dass die Gefahr besteht, dass die File-Infos nicht mehr lesbar/interpretierbar sein könnten. Aber ein Format wie RAW und DNG zu der eine weitere Software (darauf kommt es an, Freunde!) zur Interpretation und Lesbarkeit benötigt wird? Zitat von Harald " SilkyPix kann als einziger (?) RAW-Konverter diese Korrekturdaten direkt aus den Panasonic-RAW Dateien interpretieren." Das ist undenkbar und inakzeptabel.

[isaac]

Hallo!

Das ist eines der Grund(wesens)merkmale eines Archivars, dass er - aus leidiger Erfahrung in der Welt der IT - davon ausgehen muss, dass ehemalige Standards irgendwann nicht mehr lesbar sind. Daher gilt das Prinzip: Auf dem unterst möglichen Level muss es lesbar bleiben, sondt wird es nicht akzeptiert - und das ist richtig und gut so.

Na also! DNG ist das Format deiner Wahl!

Es ist schon schlimm genug, dass die Gefahr besteht, dass die File-Infos nicht mehr lesbar/interpretierbar sein könnten.

Ob DNG oder TIF, beide sind das selbe Format. Wenn du (unkomprimiertes) TIF lesen kannst, dann kanst du auch (unkomprimiertes) DNG lesen. Wobei letzteres den Vorteil mit sich bringt, am absolut untersten Level der Daten angesetzt zu sein.

Aber ein Format wie RAW und DNG zu der eine weitere Software (darauf kommt es an, Freunde!) zur Interpretation und Lesbarkeit benötigt wird?

Du begehst hier den Fehler - egal ob aus Unwissenheit oder fehlinterpretierter Propaganda - ein x-beliebiges RAW Format mit DNG gleichzusetzen. Selbst viele der unzähligen RAW-Formate sind nur unterschiedliche Ausprägungen eines TIF-Formates. Frag einmal den Thorsten, ich habe ihm einen quasi universellen TIF-TAG-Reader geschickt, damit kann man neben TIF (und seinem Zwilling DNG) zB. auch alle Panasonic RAW "entziffern". Die von Panasonic verwendete Lauflängenkomprimierung ist auch dokumentiert (dcraw.c) also wo siehst du Probleme der Wiederauffindbarkeit der Daten gegenüber dem TIF Format? Es kann eigentlich nur mehr das Unwissen über den tatsächlichen Aufbau dieser Rohdateien sein. Auch ein (unkomprimiertes) TIF zu lesen ist nicht trivial. Ich kann dir ein unkomprimiertes TIF, welches absolut "standardkonform" ist herstellen, und du wirst einigen Aufwand betreiben müssen um das Bild aus den Daten zu rekonstruieren - ganz zu schweigen davon, daß du wahrscheinlich auch keine handelsübliche Software finden wirst, die das könnte. Und was du bei deinem Referat (über Hörensagen) auch noch nicht bedacht hast, selbst in einem unkomprimierten TIF wurde den ursprünglichen Daten schon ein Farbraum zugewiesen, den es gilt zu rekonstruieren. Selbst wenn im entsprechenden TAG ein "sRGB" vermerkt ist, du weißt nicht mehr, wo die Software (und dessen Benutzer) den Schwarz- und Weißpunkt hingesetzt hat und wie mit dem Weißpunkt der Lichtquelle des Betrachtes vorgegangen worden ist.

Wenn ich Archivar wäre, dann würde ich alles, was nicht in RAW oder besser als DNG vorliegt, als mangelhafte Kopie betrachten.

Zitat von Harald " SilkyPix kann als einziger (?) RAW-Konverter diese Korrekturdaten direkt aus den Panasonic-RAW Dateien interpretieren." Das ist undenkbar und inakzeptabel.

Das war eigentlich als negatives Beispiel gedacht, wie man es nicht angehen sollte. Macht aber nichts, einmal durch den Adobe DNG Konverter jagen, das daraus entstandene DNG enthält wieder alle notwendigen Daten zur korrekten Bildwiedergabe.

[Anzeige]

Viele User im Forum fanden auch die Lumix GH5 interessant

[Zitterhuck]

Ok, ok, ich verstehe ja. Hinter meinen Aussagen steht im Wesentlichen der Wunsch der Szene, nicht einfach nur das Beste, sondern das Gebräuchlichste und am einfachsten zu handlende Format zu benutzen. Hinzu kommt, dass es auch darum geht, die zeitgenössische Interpretation zu bewahren, die sich nur im entwickelten Format, nicht in den Rohdaten ausdrückt. Daher wird es wohl tif bleiben....

 

Und nochmal: Das ist eines der unbedeutenderen Probleme (sofern man sich wenigstens einig ist, dass es ein unkomprimiertes Format sein sollte). Die oben bereits erwähnten anderen Aspekte sind in der Praxis sehr viel wichtiger.

 

Trotzdem danke, Harald, für Deine sehr qualifizierten Ausführungen. Da kann auch ich noch was lernen.

[isaac]

Hallo!

Ok, ok, ich verstehe ja. Hinter meinen Aussagen steht im Wesentlichen der Wunsch der Szene, nicht einfach nur das Beste, sondern das Gebräuchlichste und am einfachsten zu handlende Format zu benutzen. Hinzu kommt, dass es auch darum geht, die zeitgenössische Interpretation zu bewahren, die sich nur im entwickelten Format, nicht in den Rohdaten ausdrückt. Daher wird es wohl tif bleiben....

Da bin ich absolut auf deiner Linie!

Trotzdem danke, Harald, für Deine sehr qualifizierten Ausführungen. Da kann auch ich noch was lernen.

Ich beschäftige mich jetzt schon seit beinahe 30 Jahren mit dem TIF-Format. Rein hobbymäßig, also keinerlei kommerzieller Fremdeinfluß.

Aus heutiger Sicht - aber nicht nach meiner Meinung - ist TIF deshalb "verkommen", weil es nicht streamingfähig ist.

[mjh]

Für ein analoges Negativ oder Dia kann es für lange Zeit eine Möglichkeit der Entwicklung geben, für Rohdaten ist das auszuschließen.

Das ist nicht nur nicht auszuschließen, das ist vielmehr sehr wahrscheinlich. So lange ein Format dokumentiert ist, wird man immer eine Software schreiben können, die damit umgehen kann. Hier gibt es zwar kleine Unterschiede zwischen den Raw-Formaten, insofern die Kamerahersteller manchmal kleine Schikanen einbauen, aber wenn man DNG als Raw-Format wählt, ist man auch davor sicher (insofern nicht einfach ein anderes Raw-Format in einen DNG-Container verpackt wird, was prinzipiell möglich wäre). Aber auch diese kleinen Schikanen halten umtriebige Entwickler von Raw-Konvertern erfahrungsgemäß nicht davon ab, diese Formate zu unterstützen – dcraw wurde ja schon erwähnt.

 

Daher meine Aussage, dass sich bekannte Formate – außer in einem post-apokalyptischen Szenario, in dem vielleicht niemand mehr C-Code oder sonst etwas lesen kann – auch in Zukunft noch verarbeiten lassen werden; die einzige Voraussetzung ist, dass das Interesse am Inhalt ausreicht, um den Aufwand zu rechtfertigen. Erfahrungsgemäß ist das Interesse an historischen Quellen immens, weshalb ich mir da wenig Sorgen mache. Schließlich sind beispielsweise die ägyptischen Hieroglyphen oder die sumerische Keilschrift entschlüsselt worden, obwohl es viele Jahrhunderte lang niemanden gab, der diese Schriften lesen konnte. Selbst wenn in 1000 Jahren niemand mehr wissen sollte, was früher mal ein JPEG oder was CR2, NEF, ORF, RAF oder DNG waren, wird man keine Ruhe geben, bevor man es herausgefunden hat.

 

Aus diesem Grunde mache ich mir wenig Gedanken darüber, was in 500 oder 1000 Jahren sein wird – das wird sich finden. Ganz anders sähe es dagegen aus, wenn mir nächstes Jahr meine Festplatte abrauchte und alle meine Bilder weg wären, denn das wäre ganz allein mein Problem, mit dem ich allein fertig werden müsste. Die Entschlüsselung der Hieroglyphen hatte in der Neuzeit eine Vielzahl von Wissenschaftlern über Jahrhunderte beschäftigt und am Ende wurde diese Aufgabe gelöst, aber wenn einem ägyptischen Schreiber ein wichtiger Papyrus abhanden gekommen wäre (weil ihn die Ziege gefressen hätte oder was auch immer), dann wäre das ebenfalls ganz allein sein Problem gewesen. Also: Löst Eure eigenen kleinen Probleme und die großen Probleme werden zu gegebener Zeit von anderen gelöst.

bearbeitet 18. September 2010 von mjh

[Zitterhuck]

Löst Eure eigenen kleinen Probleme und die großen Probleme werden zu gegebener Zeit von anderen gelöst.

 

Meine Rede: die Formatfrage wird immer in den Vordergrund gestellt, die vielen anderen Probleme nicht bedacht....