Lo spettro di un panel eretico

Il tema che abbiamo lanciato settimana scorsa (LEGGI QUI), intorno alle problematiche che un panel deve gestire in merito al CVr%, viene ora affrontato da Maria Maddalena Bevitori, in rappresentanza degli assaggiatori professionali della Repubblica di San Marino, e da Giuseppe Di Lecce, assaggiatore esperto abilitato a capo panel dal 2008. Leggiamo.

MARIA MADDALENA BEVITORI

Riguardo a quanto osservato dal dott. Lorenzo Cerretani (CLICCA QUI) circa l’elaborazione statistica dei punteggi che ogni esperto assaggiatore assegna nella valutazione organolettica dell’olio vergine di oliva, e in particolare circa il significato che assume il coefficiente di variazione CVr%, costato una piena rispondenza tra quanto evidenziato in maniera scientifica sulla base di oggettive simulazioni statistiche, e quanto effettivamente emerge in maniera pragmatica dall’esperienza diretta.

Premetto che l’attività del gruppo panel al quale appartengo va considerata distinta dal contesto europeo. Siamo nella Repubblica di San Marino, un paese extra comunitario circondato dall’Europa e che quindi, quotidianamente, inevitabilmente, deve rapportarsi con regolamenti e direttive comunitarie.

La nostra normativa interna nel 2009 ha aggiornato, con un Decreto Delegato alla Legge Quadro che disciplina la materia di igiene e sicurezza alimentare, l’attribuzione delle categorie merceologiche dell’olio di oliva, recependo tutte le definizioni, i parametri chimico-fisici e organolettici europei, compresi i metodi di analisi e introducendo l’analisi organolettica, nel rispetto delle disposizioni del COI, quale evidenza scientifica obbligatoria per l’attribuzione della categoria merceologica degli oli vergini di oliva.

Il nostro Comitato di assaggio, per Decreto, prende un nome che rimanda più alle delizie del palato che a un metodo di analisi scientifica, “Commissione di Degustazione”, e considerata la complessità dei procedimenti burocratici da attuare per ottenere il riconoscimento comunitario, nonché i modesti volumi di olio vergine di oliva che un territorio con meno di 200 ettari di oliveti può produrre, non siamo un Comitato Ufficiale.

All’occorrenza, per motivi di commercio internazionale, i produttori locali si avvalgono delle certificazioni rilasciate dai Comitati ufficialmente riconosciuti in Europa, ma quando le esigenze restano tutte interne al territorio, siamo una Commissione operativa, e, di fatto, operiamo con la massima serietà, oggettività, e il massimo rigore scientifico che ci è possibile. Abbiamo una formazione equivalente a quella degli esperti assaggiatori di oltre confine, l’idoneità fisiologica all’assaggio degli oli vergini di oliva e le successive sedute di allenamento.

Operiamo sotto la guida di un capo-panel della provincia di Rimini, Stefano Cerni, che è per noi un preziosissimo punto di riferimento, e quando ci alleniamo e ci cimentiamo nell’assaggio dei più disparati campioni di olio, ci ritagliamo anche momenti particolari di confronto, di analisi e studio, per confrontarci e soprattutto per capire, approfondire e migliorarci.

Dopo questa premessa, necessaria per presentarci e per definire con chiarezza i limiti entro i quali ci collochiamo, è per noi evidente che quando assaggiamo oli di intensità debole (che rientrano in quell’intervallo di scala decimale compresa tra 0 e 2, il rischio di apparire “inattendibili” è maggiore, perché riscontriamo che a piccoli scostamenti nei nostri punteggi da quello che si rivelerà essere il valore mediano, corrispondono CVr% alte, prossime anche a 20, cosa che non si verifica quando ci troviamo ad attribuire punteggi intorno ad altri intervalli della scala decimale, neppure con scostamenti relativi maggiori dal valore mediano.

Prendiamo il foglio di calcolo quasi come uno strumento che ha un valore dogmatico e ci affidiamo all’elaborazione numerica, senza metterne in discussione l’impostazione statistica.
E alla fine, vorremmo dare quasi per scontato che al di sotto della soglia di 20, tutti i valori di CVr% fossero statisticamente equivalente, per cui analisi organolettiche supportate da CVr% comprese tra 0 e 20 andrebbero considerate identiche nella loro validità scientifica. Tuttavia, resta difficile ignorare la ragionevole percezione, fosse anche solo a livello di sensazione personale, che una CVr% prossima a 20 possa avere un peso diverso rispetto ad una CVr% molto più bassa: difficile non considerarla come un voto di merito o demerito sulla formazione degli assaggiatori, sulla loro idoneità personale di essere correttamente “tarati”, quindi, oggettivamente allineati nelle loro attribuzioni olfattive e gustative a valori standard di riferimento.

A livello di percezione “umana”, come senso comune, la CVr% viene approssimata allo scarto quadratico medio, come se la tolleranza dell’errore, insito in ogni misura, fosse dello stesso ordine di grandezza del valore misurato, restituendo l’idea di una misura troppo imprecisa e grossolana.
Constatiamo che la definizione di quei valori assoluti dello zero nella percezione dei difetti e degli attributi positivi, che segna il passaggio tra categorie merceologiche diverse, alle quali corrispondono valori qualitativi ed economici altrettanto diversi, richiede un rigore ed una precisione nell’analisi che forse può liberalmente attenuarsi quando ci si muove ben al centro della stessa categoria merceologica.

Le criticità si presentano, come è ragionevole comprendere, nei margini delle categorie merceologiche, margini che analiticamente sono definiti con punti precisi, numeri assoluti, ma che in realtà si presentano all’analisi organolettica, non come punti o linee senza dimensione, ma come frange, fasce concrete di transizione, dotate di uno spessore proprio, oggettivamente irriducibile, e che l’idoneità fisiologica e l’oggettiva standardizzazione del metodo che gli assaggiatori applicano, può solo delimitare convenzionalmente attraverso rapporti numerici. Col rischio che si cela sempre dietro l’angolo, che gli assaggiatori appaiano imprecisi, poco allenati, poco attendibili.

Forse è una debolezza umana in generale e non solo del nostro gruppo panel, ma a volte un po’ delusi dal giudizio della CVr% sulle nostre performance, ipotizziamo eresie, ipotizziamo che quando difetti e attributi sono appena appena rilevabili, bisognerebbe che chi di noi è dotato oggettivamente di organi di senso più fini, in grado di percepire soglie più basse, si astenesse dal rilevarli, o, altra eresia, che qualsiasi olio di oliva, a prescindere, non possa avere l’attributo del fruttato uguale a zero.

Naturalmente non abbiamo mai preso in considerazione l’applicazione di indicazioni così fuorvianti, e continuiamo, nei limiti delle nostre possibilità ad applicare il metodo dell’analisi sensoriale così come viene descritto e impostato e a misurarci con il responso oracolare e inappellabile della CVr%.

Maria Maddalena Bevitori, assaggiatrice professionale della Repubblica di San Marino

GIUSEPPE DI LECCE

Come già sottolineato dal Dr. Lorenzo Cerretani (CLICCA QUI), il panel test è uno strumento importante, da cui attualmente non si può prescindere, vista l’influenza che ha avuto negli anni per la crescita qualitativa del prodotto olio, delle aziende produttrici e degli stessi consumatori. Infatti l’analisi sensoriale, congiuntamente ai parametri chimico-fisici, seppur tanto criticata, è uno strumento molto utile per attribuire la classe di appartenenza degli oli vergini.

Riprendendo l’esempio riportato dal Dr. Cerretani, è possibile estremizzare il concetto relativo all’utilità del CVr% quando siamo in presenza di oli con attributi positivi o negativi molto leggeri e lievemente percepiti, con valori molto vicini allo 0. Ripetendo la simulazione, in cui sono riportati scostamenti analoghi dal valore centrale, e quindi un valore della mediana di 0,5 (5 giudici assegnano un valore di 0,5, 2 giudici un valore di 1,5 e 1 giudice un valore di 2,5), il risultato mostra un CVr% di ben 62,5. Per cui, come espressamente citato dal Dr. Cerretani, il CVr% risulta fortemente influenzato dal valore della mediana piuttosto che dalla variabilità dei singoli dati, a conferma della bassa attendibilità dell’indice statistico nel valutare la performance del panel.

A mio avviso comunque, seppur con i limiti mostrati, non si può certamente fare a meno dell’analisi sensoriale ma bisognerà lavorare insieme per perfezionare il metodo e gli indici ad esso associati.

Giuseppe Di Lecce, PhD, assaggiatore esperto dal 2005 e abilitato a capo panel dal 2008

I contributi dei lettori che si occupano di analisi sensoriale concordano sull’effetto “penalizzante” del CVr% sui bassi valori. Addirittura, i valori molto bassi (si veda la nota del Dr. Di Lecce) esasperano l’effetto della dispersione e della distanza dei giudici.

Torno a ribadire che a mio avviso è comprensibile l’applicazione di un indice che discrimini la dispersione, tuttavia il CVr% sembra che non sia il più adatto in quanto è influenzato dal valore della mediana più che dalla dispersione effettiva delle risposte. Tutti gli esempi dimostrano infatti che a parità di dispersione il risultato del CVr% risente soltanto della mediana.

Da analista sensoriale non comprendo il motivo dell'”accanimento” verso i bassi valori di questo indice scelto per la valutazione della dispersione. Infatti se ci focalizziamo soltanto sui difetti sappiamo che anche il rilevamento di un minimo difetto compromette l’appartenenza alla categoria merceologica di “extravergine di oliva”.

Infatti, gli esempi mostrati evidenziano che la presenza di basse difetti rischiano di inficiare l’analisi sensoriale portandola a ripetere con il rischio che la risposta nelle sessioni successive determini la scelta del giudice ad eliminare il difetto.

Infatti, quando le presenze dei difetti sono basse il lavoro dei giudici è più difficile e purtroppo lo strumento statistico “giudica” con maggiore severità proprio in questo caso.

La foto di apertura è di Luigi Caricato

Lorenzo Cerretani