Systemkamera Blog

Testkriterien im Systemkamera-Forum

Meinungen und Kommentare 07/2010 Nr. 2

Da bald im Systemkamera-Forum ein “großer” Sony NEX-5 Vergleichstest ansteht, habe ich mir einige Gedanken zum Thema Kamera-Tests gemacht. Wie ich hier schon beschrieben habe, bin ich wegen der guten Erfahrung mit den DCTau-Tests und deren großer Übereinstimmung mit eigenen “Real-World-Vergleichen” ein Anhänger und Verfechter dieses Testverfahrens.

Im Gegensatz zu anderen, regelmäßig im Internet veröffentlichten Testberichten, kann man bei den DCTau-Tests eine gewisse Kontinuität feststellen, die viele andere Tests und deren Testergebnisse vermissen lassen. Bei diesen anderen Tests muss ich immer wieder mit Verwunderung feststellen, dass Testergebnisse groß und breit kommentiert werden, die noch nicht einmal mit den gezeigten Bildbeispielen in Einklang zu bringen sind. Aufgrund der erwähnten guten Erfahrungen mit DCTau-Tests möchte ich einige Testkriterien übernehmen, die dem DCTau-Test zu Grunde liegen. Eine ausführliche Darstellung zum Thema “Kameratest-Objektivtest” und “Warum Tests mit dem JPG-Format erfolgen” können bei digitalkamera.de im Original nachgelesen werden. Teilaspekte daraus versuche ich hier in Punkt 1 und 2 mit eigenen Worten wieder zu geben.

Die beschriebenen Testkriterien gelten für den kommenden und allen zukünftigen Vergleichtests mit Bildbeispielen.

1. Ich hatte einige Zeit darüber nachgedacht, ob ich alle Kameras mit dem gleichen Objektiv testen sollte, dessen Eigenschaften ich einigermaßen gut zu beurteilen glaubte. Neben der Tatsache, dass das zu einer wilden Adaptiererei führen würde, ist es ein echtes Koordinationsproblem, eine Testkamera und gleichzeitig den passenden Adapter zu bekommen.  Die Kameras bekommen wir freundlicherweise vom jeweiligen Hersteller für 1 bis maximal 2 Wochen zur Verfügung gestellt, oder vom hilfreichen Fotohandel vor Ort, wenn ein Hersteller wieder mal seinen gesamten Testpool im Umlauf hat. Die Adapterhersteller können meist aber erst Wochen später liefern, zumal gerade dann, wenn ein spannender Test ansteht, weil ein neuer Hersteller im spiegellosen Systemkamera-Lager auftaucht.

Daher werden Kameras ausschließlich mit dem vom Hersteller zu dieser Kamera gelieferten Objektiven getestet. Bei einem Vergleichstest zwischen zwei Marken, bei denen eine Austauschmöglichkeit besteht (zum Beispiel bei Micro FourThirds) wird Kamera A mit dem Objektiv von Hersteller A und Kamera B mit dem Objektiv von Hersteller B getestet. Dies hat weitere Gründe und Vorteile:

Im Gegensatz zu den guten alten analogen Zeiten, wo eine beliebige Kamera als Filmträger an ein bestehendes Objektiv angeflanscht werden konnte, hat in der heutigen digitalen Zeit die interne Bildverarbeitung eine nicht unerhebliche Bedeutung für die Bildqualität und das Gesamtergebnis. Abhängig von der Objektivkonstruktion und dem ursprünglichen Einsatzzweck des Objektivs, ist die Optik nicht optimal an die Mikrolinsen durch die vielleicht andere eigene Schnittweite angepasst. Was beim Film noch vollkommen egal war, weil der gute alte Silberhalogenidfilm auch für schräg einfallende Lichtstrahlen genauso empfindlich war wie für eine telezentrische Projektion, kann bei einer digitalen Kamera katastrophale Folgen haben. Die Kamerahersteller hinterlegen heutzutage in der Firmware daher reichlich Korrekturdaten, um die Bildergebnisse – angepasst an die einzelnen eigenen Objektive – individuell zu korrigieren. Neben Vignetierung, Korrektur der chromatischen Aberration (CA), Anhebung des Kontrasts feiner Strukturen, partieller Scharfzeichnung und anderen Korrekturen, wird die Verzeichnung der Optik oder die Moiré-Bearbeitung durch Reduzierung der Farben an kritischen Stellen korrigiert, damit auch keine Farbsäume mehr entstehen. Diese und andere Korrekturen werden heute von jeder Kamera vorgenommen, und zwar in Abstimmung mit dem verwendeten Objektiv. Für Anhänger der reinen (Leica-)Lehre, dass das Bild schon von der Optik perfekt geliefert werden muss und die Kamera keine Verfälschung mehr vornehmen darf, ist das natürlich eine grausliche Vorstellung. Den Freunden dieser Lehre sei nur gesagt, dass natürlich auch die unterschiedlichen Sensoren, ihre Größe, Auflösung und das Rastermaß der lichtempfindlichen Dioden einen erheblichen Einfluss auf die Auflösung und Erfassung des Bildes hat; ebenso wie auch die Konstruktion und Rechnung einer Optik. Wie man es auch dreht oder wendet: Das Endergebnis, also das Bild, das wir hinterher betrachten, wird von uns in seiner Gänze bewertet – und wir können unter Umständen nicht einmal genau beurteilen, welches wahrnehmbare und von uns beurteilte Merkmal an einem Foto nun der Optik und welches im Gegensatz dazu dann der Kamera zuzuordnen ist. Daher ist es eigentlich nur sinnvoll, die Kamera mit der vorgesehenen Optik als Gesamtheit zu beurteilen.

2. Ich habe mich dazu entschlossen, ausschließlich die von den Kameras generierten JPGs miteinander zu vergleichen und gerade keine RAW-Bilder zu verwenden:

RAW ist zunächst einmal gar kein so “rohes” Material, wie man sich das immer vorstellt. Vielmehr ist RAW nur ein Zwischenergebnis zum eigentlichen Bild. Hätten wir Leonardo da Vinci 2 Monate, nachdem er anfing, die Mona Lisa zu malen, mal über die Schulter gesehen und sein Bild danach beurteilt, was zu dem Zeitpunkt zu sehen war, wäre die Mona Lisa sicherlich nicht solch´ ein großer Erfolg geworden.

RAW-Daten sind ja zunächst keine wirklichen Sensorrohdaten. Ein Sensor erfasst die Bilddaten zunächst einmal quasi analog. Erst die Digitalisierung der vielen kleinen Ladungsbehälter (Sensordioden) macht daraus ein Digitalbild. Hier aber setzt oftmals schon die Bearbeitung ein: Bereits in den eingesetzten Sensoren werden je nach Typ bereits Maßnahmen zur Rauschreduzierung getroffen. Gerade bei CMOS-Sensoren ist auf dem Sensor einiges an Elektronik untergebracht, um das Signal schon zu bearbeiten, bevor die eigentliche Digitalisierung stattfindet. Würde man jetzt die RAWs miteinander vergleichen, wären immer die Kameras im Vorteil, die schon einen nicht unerheblichen Teil der Signalverarbeitung auf dem Sensor stattfinden lassen. In den Kameras finden ebenfalls einige Prozesse statt, die das RAW herstellerabhängig erheblich beeinflussen: Sowohl die Scharfzeichnung, die Aufbereitung von Details und die Auflösung werden korrigiert. Eine wirklich gemeinsame Basis zum Vergleich ist eine RAW-Datei also nicht. Und wir sind dann ja noch nicht am Ende. Der eingesetzte RAW-Konverter entscheidet ja gleichfalls maßgeblich über das Endergebnis. Wir können weder sicher stellen, dass es für jede einzelne der zu testenden Kameras den gleichen RAW Konverter gibt, noch dass ein einziger RAW-Konverter alle RAW-Daten der verschiedenen Kameramodelle gleich gut bearbeitet oder bearbeiten kann. Nicht zuletzt liefern auch viele Hersteller auch einen eigenen RAW-Konverter mit. Diejenigen, die entsprechende Webseiten mit den unterschiedlichen Ergebnissen der einzelnen Raw-Konverter mal gesehen haben, wissen ja, was gemeint ist: Jeder RAW-Konverter hat in anderen Gebieten seine Stärken und Schwächen. Reduziert der eine schon im Vorfeld das im RAW verbliebene Rauschen sehr gut, kann der nächste möglicherweise direkt versagen, hat dafür aber seine Stärken beispielsweise im Nachschärfen oder in der Dynamikoptimierung. Hier kann man auch über lange Zeit und bei neuen Kamera-Modellen keine einheitliche Konvertierung bzw. Lösung anbieten. Hinzu kommt dann noch das Problem, dass ich aus eigener Erfahrung sagen kann, dass man nicht mal eben im RAW-Konverter die optimalen Einstellungen findet, sondern es manchmal Wochen und viele Versuche dauern kann, bis man für eine neue Kamera die nach eigenem Geschmack (!) “optimalen” Einstellungen gefunden und herausgearbeitet hat.

Natürlich höre ich jetzt schon den Aufschrei der RAW-Freunde, dass man aus einem RAW aber unter Umständen viel mehr Informationen herausholen kann. Ja, das mag sein. Das hängt von der Aufnahme ab und von vielen anderen Faktoren. Ich kenne auch viele Kameranutzer, die stundenlang in irgendwelchen RAW-Konvertern verbringen, denen gerade mal die neuesten magischen Kräfte zugesprochen werden, um am Schluss doch sehr selten etwas Besseres heraus geholt zu haben, als es auch das entsprechende JPG geboten hätte. Man muss einfach schon sehr, sehr genau wissen, welches Stellschräubchen hier exakt was bewirkt. Kann der Leser eines Testberichts dann noch beurteilen, ob die gefälligere Variante eines Fotos der Kamera, dem RAW-Konverter oder dem Geschick des erfahrenen RAW-Software-Anwenders zu verdanken ist? Ich denke nein.

Und noch etwas: Ein Kamerahersteller hat einmal ermittelt, dass weniger als 5% seiner Nutzer wirklich mit RAW arbeiten – und selbst viele Profis arbeiten mit JPGs statt mit RAW. Bei Studiofotografen mag es anders sein; ich selbst nutze die Möglichkeit der RAW-Aufnahme auch nur in schwierigen Belichtungssituationen, um unter Umständen bei der einen oder anderen Aufnahme etwas mehr Zeichnung heraus zu holen.

Erinnern möchte ich auch in diesem Zusammenhang an den “Streit” zwischen Panasonic und Adobe, der seinerzeit bei der Einführung der LX3 aufgetaucht war. Gehören die Informationen zur Objektiv-Verzeichnungs-Korrektur ins RAW oder nicht?

Ich beschränke mich daher zukünftig auf JPG-Dateien. Bei deren Erzeugung weiss der Hersteller eh ganz genau, was oder was er nicht korrigiert. Hier sind leistungsschwache Kameras, die ein JPG mit Kompromissen erstellen natürlich im Nachteil, das ist aber eher ein Problem des Herstellers (siehe Leica M8/M9 – Hallo Leica!).

Und natürlich wähle ich immer die am wenigsten komprimierte Variante. Musste ich das jetzt noch erwähnen?

3. In den Testberichten werden zukünftig immer wieder 100% Darstellungen (1 Pixel im Bild = 1 Pixel auf dem Display) von Ausschnitten zu sehen sein. Bei der Beurteilung dieser Ausschnitte verlasse ich mich nicht allein auf die Bildschirmdarstellung. Vielmehr wird jedes Foto von mir in A4 und A3 ausgedruckt (auf einem profilierten EPSON 3880 mit Tecco-Papier) und dann beurteilt. Viele Dinge, die man am Bildschirm bei einer 100%-Darstellung sieht, sind in einem Ausdruck später nicht in dieser Ausprägung sichtbar. Die Hersteller optimieren die Fotos nicht zuletzt auch für die ausgedruckte Darstellung. Für die Darstellung von Webbildchen bräuchten wir auch keine Kameras, die 12, 14 oder 20 Millionen Pixel liefern, sofern soviel Information überhaupt in einem Bild enthalten ist, dass die große Pixelzahl überhaupt rechtfertigt. Da spielt dann wieder die Kombination von Objektiv, Kamera, Signalaufbereitung und Weiterverarbeitung in der Kameras ein große Rolle, um beurteilen zu können, was hinterher überhaupt übrig bleibt. Das ausgedruckte Bild stellt das letzte Glied in der Kette dar, daher erfolgt meine Beurteilung auch auf dieser Basis. Genauso haben wir es früher ja auch bei der Analog-Fotografie gemacht: Da wurden doch unsere Negative auch nicht mit dem Mikroskop beurteilt, um vom Ausschnitt in der Vergrößerung womöglich auf die gesamte Bildqualität zu schließen. Pixelpeeper werden also nicht unbedingt Freude bei den Testberichten haben. Natürlich kann man 100% Darstellungen am Bildschirm vergleichen, und sich daraufhin eine Meinung bilden. Doch je hochauflösender und je mehr Pixel ein Foto in Zukunft haben wird, um so wichtiger ist es zu beurteilen, was unterm Strich übrig bleibt.Und zwar beim dem Produkt, das wir zum Schluss an der Wand hängen haben, dem ausgedruckten oder belichteten Foto. Das Endergebnis zählt.

4. Ich werde ausschließlich den automatischen Weißabgleich benutzen (AWB). Ich glaube, wir können grundsätzlich davon ausgehen, dass jeder Hersteller in der Lage ist, seine Weißabgleichsvoreinstellungen in der Kamera richtig zu definieren. Interessant wird es dann, wenn wir erfahren, wie gut oder schlecht der automatische Weißabgleich funktioniert. Das ist gerade wichtig, wenn in wechselnden Lichtsituationen fotografiert oder bei Mischlicht gearbeitet wird. Nicht jeder von uns läuft den ganzen Tag mit einer ExpoDisc herum und macht einen Weißabgleich. Wenn wir davon ausgehen, dass die korrekte Einstellung oder die Verwendung z.B. einer ExpoDisc ein befriedigendes Ergebnis bei eigentlich jeder Kamera erzielt, dann können wir uns auf die AWB-Funktion beschränken und schauen, ob der Hersteller dort die Lichtsituation sauber beurteilen kann und wie die kameraeigenen, internen  Weißabgleichsroutinen funktionieren.

5. Alle Fotos entstehen mit Zeitautomatik (“A”) ohne Verwendung von irgendwelchen Motivprogrammen. Das hat den Vorteil, dass die Blende gezielt eingestellt und gleichzeitig beurteilt werden kann, wie sich das Objektiv bei offener Blende verhält bzw. wie die Schärfe sich verändert, wenn 2-3 Blendenstufen abgeblendet wird. Die Verwendung von irgendwelchen Motivprogrammen birgt auch die Gefahr, dass weitere Bildbearbeitungen in der Kamera  initiiert werden, die von Hersteller zu Hersteller vollkommen unterschiedlich gehandhabt werden. Ein Portrait-Modus kann beispielsweise dazu führen, dass eine “schöne Haut” generiert wird, bei einem anderen Hersteller aber nur zum maximalen Öffnen der Blende führen, um die portraitierte Person möglichst freizustellen. Das ist keine Basis für einen Vergleich.

6. Alle zusätzlichen Bildparameter werden auf “Werkseinstellung” gesetzt. Viele Kameras bieten heute die Möglichkeit, unterschiedliche Farbstimmungen oder “Filmsimulationen” vorzunehmen und gezielt definierte Parameter wie z.B. Schärfe und Kontrast gesondert anzupassen. Ich schaue mir dabei lieber an, was der Hersteller als Standard definiert hat. Auf dieser Basis wird das Testobjekt beurteilt.

7. Die Belichtungsmessung wird auf Matrix bzw. Mehrbereichsmessung eingestellt. Sicherlich will kein Leser eines Tests wissen, ob ich in der Lage bin, eine Stelle im Foto-Objekt zu finden, welche präzise die standardisierten 18% Reflexion hat auf die die Belichtungsmesser geeicht sind, oder ob ich in der Lage bin mit einer Graukarte korrekt umzugehen. Wir wollen doch eher wissen, ob und wie die Mehrbereichsmessung mit einer bestimmten Lichtsituation zurecht kommt. Berücksichtigt die Belichtungsautomatik ausreichend die hellsten Stellen in einem Bild, kommt die Belichtungsmessung mit hohen Kontrasten zurecht. Wo ist dann noch Zeichnung und wo nicht. Einzig allein die Tonwertkurve werde ich bei den aufgenommenen Fotos so weit spreizen, dass eine gleichmäßige Verteilung zustande kommt. Jedes Foto wird ohne Belichtungskorrektur aufgenommen. Sollte eine ungünstige Lichtsituation oder eine unter- oder überdurchschnittliche Reflexion des Aufnahmeobjekts vorliegen, werde ich gezwungen sein die Belichtung um einen gewissen Faktor zu korriegen. Das wird dann aber bei beiden Kameras gleich eingestellt, damit man anschließend wieder beurteilen kann, wie die Belichtungsautomatiken funktionieren.

8. Als ASA/ISO-Wert wird der kleinste gemeinsame Nenner zwischen beiden Kameras gewählt, damit man besser vergleichen kann. Ich bemühe mich je nach Aufnahme oder Testsituation natürlich auch Aufnahmen mit höheren Empfindlichkeiten durch zu führen, in einem sinnvollen Rahmen. Die besten Fotos des letzten Jahrhunderts sind mit teilweise so niedrigen Filmempfindlichkeiten entstanden, dass wir es uns heute kaum vorstellen können. Freunde der 3200 und 6400 ASA-Restlichtfraktion sind sowieso bei Kameras mit einem möglichst großen Sensor mit nicht allzu vielen Pixeln hervorragend aufgehoben und werden mit spiegellosen Systemkameras, so wie wir sie jetzt kennen, nicht unbedingt glücklich. Die Obergrenze für Testberichte sehe ich im Augenblick bei 1600 ASA. Darüber hinaus halte ich einen Vergleich für wenig sinnvoll und würde beim aktuellen Stand der Technik bei spiegellosen Systemkameras auch eher einen Kunstfachmann zur Beurteilung der Fotos zu Rate ziehen.

Die acht genannten Punkte sind der kleinste gemeinsame Nenner, auf dessen Basis zukünftige Tests stattfinden. Ich bemühe mich um eine neutrale Beurteilung, besonders hinsichtlich Bedienung, Ergonomie und anderer Merkmale der Kameras und deren Bedienung. Subjektive Erfahrungen mit den verschiedensten Hersteller fließen aber natürlich ein, also kann ich ebenso wenig wie andere Tester immer eine absolute Neutralität garantieren. Ich hoffe, die zukünftigen Tests werden für Euch dennoch eine Hilfe zur Beurteilung der einzelnen Modelle sein. Und dass Ihr hoffentlich Spaß beim Lesen habt.

Jens Michael Schuh
Admin Systemkamera-Forum