Verbrauchertests: Prüfmethoden mangelhaft?
Verreißt die Stiftung Warentest eine Zahnpasta, wird der Hersteller nervös. Vergibt die Zeitschrift Öko-Test ein Ungenügend für Wurzelkanalsealer, fragt man sich: warum? Richtig verwirrend wird es, wenn die Testorganisationen ein und dasselbe Produkt mit Befriedigend und Mangelhaft benoten. Stimmen die Prüfmethoden? Wie bewerten Zahnmediziner und Hersteller diese Prüfverfahren? Was sagen die verantwortlichen Redaktionen der Tester? Das DENTAL MAGAZIN hat nachgefragt.
Stiftung Warentest, Öko-Test, fotolia
Qualitätsurteil: sehr gut – das sehen Verbraucher sofort, wenn sie die Dentalux Complex 3 Mint Fresh beim Discounter Lidl in die Hand nehmen. Mit hauchdünnem Vorsprung, einer Zehntelnote, ging die Zahncreme, die nur 39 Cent pro Tube kostet, als Sieger aus dem Zahnpastatest der Stiftung Warentest im März 2013 hervor. Fünf Produkte schnitten mit Sehr Gut, zwölf mit Gut und drei mit Mangelhaft ab. In den Augen der Verbraucher haben diese Noten der teils mit Steuermitteln finanzierten Verbraucherorganisation starkes Gewicht. Doch wie genau testen die Stiftung Warentest und der Frankfurter Verlag Öko-Test Dentalprodukte, und wie relevant sind ihre Urteile für zahnmedizinische Experten?
„Technische Prüfungen, Handhabung und Reinigungsleistung – die Prüfprogramme bei elektrischen Zahnbürsten sind umfangreich“, erklärt Dr. Birgit Luther, Projektleiterin im Bereich Ernährung, Kosmetik und Gesundheit bei der Stiftung Warentest. Sie koordiniert unter anderem die Untersuchungsvorhaben zu elektrischen Zahnbürsten und beauftragt Prüfinstitute zur Evaluation ihrer Eigenschaften. „Die Produkte werden meist nach Marktbedeutung ausgewählt“, erklärt sie. „Oral-B beispielsweise kaufen die Kunden häufig – daher kommen wir an der Marke nicht vorbei.“ Zahnmediziner wirken mit im Prüfprozess, etwa bei der Einschätzung der klinischen Relevanz bestimmter Kriterien. Auch in dem Fachgremium, das den Entwurf der Prüfprogramme zu Dentalprodukten diskutiert und Änderungen vorschlägt, seien neben Verbrauchern und Herstellern Zahnmediziner vertreten, betont Dr. Ursula Loggen, Wissenschaftliche Leiterin des Bereichs bei der Stiftung Warentest.
Schulnoten für Zahnbürsten sinnvoll?
Zahnmediziner sind geteilter Meinung darüber, ob die Beurteilungskriterien der Tester Hand und Fuß haben: „In meinen Augen liefert die Stiftung Warentest solide Daten und gibt sich Mühe bei den Tests“, sagt Prof. Dr. Elmar Hellwig von der Klinik für Zahnerhaltung und Parodontologie der Uniklinik Freiburg. Anderer Ansicht ist Prof. Dr. Michael Noack vom Zentrum für Zahn-, Mund- und Kieferheilkunde der Uniklinik Köln: „Die Beurteilung eines Produkts ist komplexer als die Schulnoten Eins, Zwei und Drei“, kritisiert er. Komplizierte Produkte könne man nicht mit einer einzigen Note darstellen.
„Die Nutzerfreundlichkeit einer elektrischen Zahnbürste zu testen ist o.k., doch die Wirksamkeit ist für Verbraucher so nicht darstellbar.“ Das könne nur durch wissenschaftliche Studien erfolgen, die eindeutige Ergebnisse hinsichtlich Plaque-Kontrolle und Gingivitis-Protek‧tion aufwiesen. „Das Problem ist: Wenn ein Mindeststandard erreicht ist, sind die Unterschiede zwischen den Modellen so gering, dass nur die richtige Putztechnik entscheidet.“ Noack geht in seiner Kritik noch weiter und bezeichnet die Stiftung Warentest als „den ADAC unter den Verbraucherorganisationen. Esichnet sich ein ähnlicher Kollaps ab wie beim ADAC als ehemals unantastbare Bastion.“
In der Tat wird die Kritik an den negativen Urteilen von Deutschlands bekanntestem Tester immer lauter: Hersteller von Holzspielzeug und quadratischer Schokolade echauffierten sich über mangelhafte Bewertungen, und sogar Ex-Gesundheitsminister Daniel Bahr bezeichnete die Methoden der Stiftung Warentest in einem Interview in Zusammenhang mit seinem „Pflege-Bahr“ im April 2013 als „unsachlich und unseriös“. Ungebrochen ist dagegen die Marktmacht der staatlichen Stiftung. „Unser Ziel ist die Aufklärung der Verbraucher“, sagt Luther. „Wir wollen ihnen die Grundlage für eine fundierte Kaufentscheidung liefern.“ Noack kontert: „Ihre Kaufentscheidungen sollten Verbraucher von solchen Ergebnissen unabhängig machen.“ Die Stiftung refinanziere sich durch die Test-Label an den Produkten, und der Verbraucherschutz stehe hinter ökonomischen Interessen zurück, mahnt er.
Auch die Zeitschrift Öko-Test hat schon mehrmals Dentalprodukte, etwa elektrische Zahnbürsten für Kinder oder Sensitiv-Zahnpasten, untersucht und bewertet. Der Hauptunterschied bei den Zahnbürstentests: „Die Stiftung Warentest überprüft die Wirksamkeit, Öko-Test tut das nicht“, erklärt Hellwig. „Daher müssen Verbraucher bei der Einordnung eines Testurteils genau schauen, was eigentlich bewertet wurde.“
Bei Öko-Test bilden Umweltverträglichkeit, Inhaltsstoffe und Handhabung die Eckpfeiler für die Beurteilung, die ausschließlich in ganzen Noten von Sehr Gut bis Ungenügend erfolgt. „Unsere Einkaufsabteilung achtet bei der Auswahl auf gängige Produkte und strebt eine große Marktabdeckung an“, betont Öko-Test-Redakteur Dr. Jürgen Steinert gegenüber dem DENTAL MAGAZIN.
Gleiche Zahnpasta – anderes Urteil
Einig sind sich Öko-Test, Stiftung Warentest und zahnmedizinische Experten darüber, dass eine Zahncreme ohne Fluorid mit Mangelhaft oder sogar Ungenügend (Öko-Test) bewertet werden sollte. „In klinischen Studien hat sich bisher nur Fluorid als kariesprotektiv erwiesen“, erklärt Hellwig. Die Wirkungsweise aller weiteren Inhaltsstoffe, etwa Kaliumverbindungen, Strontiumsalze, Aminfluorid oder Hydroxylapatit, die zur Verringerung der Schmerzempfindlichkeit bei freiliegenden Zahnhälsen in diversen Sensitiv-Zahncremes eingesetzt werden, sei nicht eindeutig in klinischen Studien nachgewiesen worden, so das einhellige Fazit von Testern und Wissenschaftlern. Daraufhin bewertete die Stiftung Warentest im November 2013 acht von 19 Sensitiv-Zahncremes mit Gut, sieben mit Befriedigend und vier mit Mangelhaft. Öko-Test verteilte beim Sensitiv-Zahncreme-Test im Juni 2013 sogar siebenmal die Note Ungenügend, teilweise aufgrund von bedenklichen Inhaltsstoffen wie dem aggressiven Tensid Natriumlaurylsulfat oder Polyethylenglycol (PEG). Auffällig: Einzelne Produkte schnitten unterschiedlich gut in den beiden Tests ab; Colgate Total Sensitiv sowie Oral-B Sensitive erreichten bei der Stiftung Warentest ein Befriedigend, wurden jedoch von Öko-Test mit Ungenügend bewertet.
„Alle Aspekte bei Zahncremes, die zahnmedizinische Relevanz haben, wie Abrieb oder Inhaltsstoffe, werden von Zahnmedizinern begutachtet“, betont Loggen von der Stiftung Warentest. Das gelte auch für Werbeaussagen und Deklarationen. Noack stören bei den Bewertungen der Stiftung Warentest vor allem die Nuancen, die über Sehr Gut, Gut oder Befriedigend entscheiden: „Alle Pasten mit einer adäquaten Fluoridkonzentration sind o.k. Und die, die den Verbrauchern am besten schmeckt, erzielt die beste Wirkung.“
In das Urteil der Stiftung Warentest flossen neben der Kariesprophylaxe (50 Prozent) ein Test zur Entfernung von Verfärbungen (25 Prozent), eine mikrobiologische Untersuchung zum Keimgehalt (5 Prozent), die Verpackung (5 Prozent) sowie Werbeaussagen und die Deklaration von Inhaltsstoffen (15 Prozent) mit ein. Die Öko-Test-Bewertung berücksichtigt den Kariesschutz, Wirkstoffe gegen schmerzempfindliche Zähne, bedenkliche Inhaltsstoffe und weitere Mängel, etwa einen Umkarton. Bei beiden Organisationen umfasst die Prüfung der Zahncremes weder einen Praxistest noch eine eigene Wirksamkeitsstudie.
Wirksamkeitsstudien bei Herstellern Standard
Letztere werden von den Herstellern durchgeführt oder in Auftrag gegeben, bevor neue Inhaltsstoffe in einer Zahnpasta eingesetzt werden. „Die Markteinführung eines neuen Wirkstoffs oder einer Wirkstoffgruppe erfolgt nur, wenn zwei hochwertige klinische Studien die Wirksamkeit belegen“, sagt Dr. Oliver Haß, Medical Affairs Manager für Nord- und Westeuropa bei GlaxoSmithKline Consumer Healthcare. So etwa bei der Entwicklung der neuen „Sensodyne Repair & Protect, die sich seit Juni 2014 auch in deutschen Regalen befindet. Ihr neues Wirkstoffsystem mit Zinnfluorid und Natriumtripolyphosphat in einer wasserfreien Formulierung wurde in Zusammenarbeit mit externen Forschungsunternehmen in mehreren Studien, beispielsweise in Kanada und England, getestet, die teilweise im Journal of Clinical Dentistry veröffentlicht wurden.
Bei Procter & Gamble arbeiten mehrere Hundert Mitarbeiter an der Optimierung der Produkte, „damit sie immer dem aktuellen Stand der Wissenschaft entsprechen“, sagt Alexander Hilscher, Abteilungsleiter Forschung & Entwicklung von Procter & Gamble in Kronberg. „Allein im Rahmen der Neuentwicklung der OralB/blendamed PRO-EXPERT-Linie wurden mehr als 85 klinische und wissenschaftliche Studien berücksichtigt.“ Einige davon untersuchten den Anti-Karies-Effekt, andere die Wirkung gegen Erosionen oder Hypersensibilitäten oder den Schutz der Gingiva, erklärt Hilscher. An der 15-jährigen Entwicklung dieser Zahncreme-Familie seien 10.000 Wissenschaftler, Zahnärzte und Konsumenten beteiligt gewesen. Die Tests von Stiftung Warentest und Öko-Test, sagt er, bestätigten die Produktqualität des Unternehmens, „wenngleich dort teilweise andere Schwerpunkte gesetzt werden als im unternehmenseigenen Forschungszentrum. Denn bei der Entwicklung sowohl von Zahncremes als auch von elektrischen Zahnbürsten haben klinische Stu‧dien oberste Priorität.“
Diese Prämisse gilt auch bei GABA, dem Hersteller der elmex Kariesschutz-Zahnpasta. Diese kostet 2,99 Euro pro Tube und ist im Verhältnis etwa zum Testsieger Dentalux Complex 3 Mint Fresh teurer: „CP GABA und unsere Konzernzentrale Colgate Palmolive führen umfangreiche klinische Studien durch, insbesondere vor Einführung einer neuen Technologie“, sagt Marianne von Schmettow, Scientific Affairs Manager bei CP GABA. „Dafür nehmen wir uns auch die erforderliche Zeit. So haben wir beispielsweise in der Entwicklung von elmex Kariesschutz Professional klinische Studien an insgesamt 12.000 Patienten durchgeführt. Bei Untersuchungen im Labor achten wir darauf, dass die Situation im Mund so gut wie möglich simuliert wird.“
Öko-Test: Endodontie im Fokus
Neben Pasten und Bürsten rückte Öko-Test im Oktober 2013 spezielle zahnmedizinische Produkte ins Blickfeld der Verbraucher. Der Test von Wurzelkanalfüllungen mit dem Titel „Entnervt“ wurde von der Dentalwelt kontrovers diskutiert: „Endlich mal Aufklärung für die Patienten“, schreibt die Zahnarztpraxis Dr. Mila Rohlfs aus dem fränkischen Muhr am See auf facebook. „Stellungnahmen von Hochschullehrern oder Mitgliedern der (endodontischen) Fachgesellschaften…. sind in dem Artikel nicht zu finden“, kritisierte dagegen Prof. Dr. Michael Hülsmann von der Universität Göttingen in einem Beitrag zu dem Öko-Test-Artikel.
„Die Bewerter sind keine Experten und die negative Bewertung nicht wissenschaftlich belegt“, kommentiert Wilfried Beyele, Direktor Qualitätssicherung bei Dentsply Detrey, das Ungenügend des Wurzelkanalfüllmaterials AH 26 seiner Firma. Grund für die schlechte Note war der Formaldehydzusatz Methenamin. In toxikologischen Gutachten zu AH 26 seien unter anderem mögliche gesundheit‧liche Risiken durch die Freisetzung von Formaldehyd bewertet worden. „In Rela‧tion zur durchschnittlich aufgenommenen Menge an Formaldehyd durch Umwelteinflüsse ist die durch unser Produkt AH 26 freigesetzte Menge an Formaldehyd zu vernachlässigen“, bemerkt Beyerle.
„Die Verbraucher wissen wenig darüber, was in den Tiefen ihres Zahns geschieht“, erklärt Steinert von Öko-Test zur Beurteilung der Materialien, die im Grunde nie in Verbraucherhände geraten. Nach Erhalt der Labor-Testergebnisse schicken sowohl Stiftung Warentest als auch Öko-Test diese an die Hersteller aller getesteten Produkte. „Das ist Bestandteil unserer Qualitätssicherung“, erklärt Luther von der Stiftung Warentest.
Obwohl Öko-Test sechs Produkte im Endodontie-Test aufgrund „bedenklicher Inhaltsstoffe“ mit Ungenügend abstrafte und dazu riet, diese „nicht mehr zur Wurzelkanalfüllung zu verwenden“, hat sich kein Hersteller auf das Testurteil hin beim Verlag gemeldet oder unter der Rubrik „Nachwirkungen“, wo sich Firmen äußern können, ein Statement veröffentlicht. „Die Dentalbranche war erstaunlich ruhig“, bemerkt Steinert.
„Wir haben nicht reagiert, weil der Behandler den Patienten berät und die Auswahl der Materialien trifft. Darauf sollte der Kunde eher vertrauen“, sagt Sandra von Schmudde, Marketing-Managerin bei der Septodont GmbH, dem Hersteller von Endomethasone N, einem von Öko-Test mit der Note Ungenügend bewerteten Zement für Wurzelkanalfüllungen. „Das Urteil ist zwar ärgerlich, doch wir sehen es nicht als Anlass für einen Aufschrei.“
Auch Hager & Werken, die den wegen eines Formaldehydzusatzes mit Ungenügend bewerteten „Endodontic Cement N2“ von Dr. Sargenti produzieren, zeigt sich unbeeindruckt. „Seit vielen Jahren wird das Produkt kontrovers diskutiert und von zahnwissenschaftlichen Universitäten abgelehnt“, sagt Heiko Krantz, Prokurist bei Hager & Werken. „Jedoch ist durch das Formaldehyd das Spülen des Wurzelkanals überflüssig“, was nicht von Öko-Test erklärt wurde, fügt er an. Auch lege artis weist hin auf fehlende Informationen zu der mangelhaften Bewertung ihres Produkts HERMETIC Lösung/Pulver. Geurteilt wurde unter anderem wegen des Inhaltsstoffs Eugenol, der laut Öko-Test-Bericht „umliegendes Gewebe schädigen und in Einzelfällen Kontaktallergien auslösen kann“: „Im Regelfall wird auf das allergische Potenzial etwa von Eugenol in den Gebrauchsanweisungen der Produkte hingewiesen“, sagt lege-artis-Geschäftsführerin Dr. Brigitte Bartelt. „Im endodontischen Bereich werden aufgrund der Komplexität der Situation im Wurzelkanal bewährte Produkte meist neuen Produkten vorgezogen, da eine Wurzelbehandlung gegenüber beispielsweise einer Zahnfüllung sehr aufwendig und eine Revision nochmals deutlich aufwendiger ist und bei neuen Materialien in der Regel keine Langzeiterfahrungen vorliegen“, fügt sie an.
Für den komplexen Test der temporären Einlagen, Guttaperchastifte und Sealer hat Öko-Test Lutz Höhne, den Vorsitzenden der Deutschen Gesellschaft für Umweltmedizin, zu Rate gezogen und nach dem Durchkämmen etlicher zahnmedizinischer Studien eine Nutzen-Risiko-Abschätzung erstellt, erklärt Redakteur Steinert.
Putzmaschine statt Probandentests
Beim Test der elektrischen Zahnbürsten überprüft die Stiftung Warentest die Zahnreinigung, die 60 Prozent des Qualitätsurteils ausmacht, mittels einer „elektronisch gesteuerten Putzmaschine“. Diese befreit Modellzähne von künstlichen Belägen. „Das ist ein gängiger Versuchsaufbau für die Evaluation der Reinigungsleistung“, erklärt Luther. „Wir stehen im Spannungsfeld zwischen Standardisierung und Realitätsnähe. Daher ist die Putzmaschine ein guter Kompromiss.“ Früher habe es Probandentests gegeben, bei denen jedoch immer die Gefahr bestehe, dass die Probanden die Schwächen einer weniger guten Zahnbürste durch eine gute Technik ausgleichen. Darunter könne die Vergleichbarkeit zwischen den Produkten leiden, sagt Luther.
Im Dezember 2013 schafften es die besten Bürsten, 70 Prozent der künst‧lichen Plaque zu entfernen. „Solche standardisierten Tests sind gut, um zu schauen, wie viel Plaque die Bürste wegschafft“, sagt Hellwig. Allerdings seien solche Ergebnisse nicht verifizierbar. Die 70 Prozent Plaque-Entfernung bezeichnet er als „guten Wert“. Somit sei die sehr gute Bewertung etwa der Oral-B Professional Care im Test 12/2013 in diesem Praxistest gerechtfertigt.
„Eine trockene Zahnbürste, die Kreidestaub wegbürstet – das ist nicht das, was im Alltag passiert“, hält Noack dagegen. Denn eine Zahnbürste entwickle ihre Wirksamkeit erst im Zusammenhang mit Zahnpasta. „Außerdem ist die Wirksamkeit einer Zahnbürste nicht so einfach zu testen, wenn man nicht warten will, bis Karies entsteht.“ Um eine neue Zahnbürste zu entwickeln, sei dieser Test dagegen „keine schlechte Sache“.
Er selbst sei von der Stiftung Warentest bereits mehrmals als Experte beziehungsweise Gutachter gebucht worden, ebenso wie Prof. Dr. Stefan Zimmer, Leiter der Zahnklinik der Universität Witten/Herdecke. Zimmer gab ein Experten-Interview im Zahnseide-Test 2012, bei dem „ein Zahnarzt“ im Labor normale und erweiterte Zahnzwischenräume von Modellzähnen von Zahnbelag befreite, so die Information von der Stiftung Warentest. Anschließend wurde der Anteil der gereinigten Zahnzwischenraumfläche im Vergleich zur ungereinigten Fläche ermittelt. Dieser Test zur Reinigungswirkung bestimmte das Testurteil zu 60 Prozent. Weitere Bewertungsgrößen: Handhabung (30 Prozent) sowie Deklaration und Gebrauchshinweise (10 Prozent). In dem Test schnitten gleich sieben von acht Zahnseiden mit Gut ab. „Wissenschaftlich gibt es keinen Beweis dafür, dass die Verwendung von Zahnseide vor Karies schützt“, gibt Hellwig dazu zu bedenken. „Lediglich Zahnfleischentzündungen könnten verhindert werden.“
Fazit
Die Zahnmediziner sind uneins über die Angemessenheit der Testprotokolle und die Aussagekraft der Benotung – wohl auch, weil sie nur bedingt in die spezia‧lisierten Prozesse der Prüfungen einbezogen werden. Um in der Sprache der Tester zu bleiben: Die Prüfmethoden erhalten die Note Drei bis Vier.
Infokasten
Stiftung Warentest: Im staatlichen Auftrag untersucht und vergleicht Deutschlands bekannteste Stiftung mit Sitz in Berlin seit 50 Jahren Produkte und Dienstleistungen. Die Verbraucherorganisation wird mit Steuermitteln gefördert. 2013 lagen die Umsatzerlöse unter anderem aus Heftverkäufen und Werbelizenzen bei rund 40,5 Millionen Euro; weitere 5,5 Millionen Euro steuerte das Bundesministerium für Ernährung, Landwirtschaft und Verbraucherschutz bei. Die verkaufte Auflage der Zeitschrift test liegt bei 455.000.
Öko-Test: Das monatlich erscheinende Verbrauchermagazin mit einer verkauften Auflage von 172.000 und einer monatlichen Reichweite von 1,77 Millionen Lesern existiert seit 1985. Herausgeber ist der Öko-Test-Verlag Frankfurt. Die Mehrheit der Aktien der Öko-Test Holding AG (64,02 Prozent) sind im Besitz der Deutschen Druck- und Verlagsgesellschaft (DDVG), einer Medienbeteiligungsgesellschaft, die zu 100 Prozent der SPD gehört.
