Statistiques: Relation entre alpha et bêta

$ \ alpha $ et $ \ beta $ sont liés. Jessaierai dillustrer ce point avec un test de diagnostic. Supposons que vous ayez un test diagnostique qui mesure le niveau dun marqueur sanguin. On sait que les personnes atteintes dune certaine maladie ont des taux inférieurs de ce marqueur par rapport aux personnes en bonne santé. Il est immédiatement clair que vous devez décider dun seuil valeur en dessous de laquelle une personne est classée comme «malade» alors que les personnes dont les valeurs sont supérieures à ce seuil sont considérées comme en bonne santé. Il est cependant très probable que la distribution du marqueur de sang varie considérablement même au sein des malades et des personnes en bonne santé. Certaines personnes en bonne santé peuvent avoir des taux de marqueurs sanguins très bas, même si elles sont en parfaite santé. Et certaines personnes malades ont des taux élevés de marqueurs sanguins même si elles sont atteintes de la maladie.

Il y en a quatre possibilités qui peuvent survenir:

1. une personne malade est correctement identifiée comme malade (vrai positif = TP)
2. une personne malade est faussement classée comme saine (faux négatif = FN)
3. une personne en bonne santé est correctement identifiée comme étant en bonne santé (vrai négatif = TN)
4. une personne en bonne santé est faussement classée comme malade (faux positif = FP)

Ces possibilités peuvent être illustrées par un tableau 2×2 :

 Sick Healthy Test positive TP FP Test negative FN TN 

$ \ alpha $ indique le taux de faux positifs, qui est $ \ alpha = FP / (FP + TN) $. $ \ beta $ est le taux de faux négatifs, qui est $ \ beta = FN / (TP + FN) $. Jai simplement écrit un script R pour illustrer graphiquement la situation.

alphabeta <- function(mean.sick=100, sd.sick=10, mean.healthy=130, sd.healthy=10, cutoff=120, n=10000, side="below", do.plot=TRUE) { popsick <- rnorm(n, mean=mean.sick, sd=sd.sick) pophealthy <- rnorm(n, mean=mean.healthy, sd=sd.healthy) if ( side == "below" ) { truepos <- length(popsick[popsick <= cutoff]) falsepos <- length(pophealthy[pophealthy <= cutoff]) trueneg <- length(pophealthy[pophealthy > cutoff]) falseneg <- length(popsick[popsick > cutoff]) } else if ( side == "above" ) { truepos <- length(popsick[popsick >= cutoff]) falsepos <- length(pophealthy[pophealthy >= cutoff]) trueneg <- length(pophealthy[pophealthy < cutoff]) falseneg <- length(popsick[popsick < cutoff]) } twotable <- matrix(c(truepos, falsepos, falseneg, trueneg), 2, 2, byrow=T) rownames(twotable) <- c("Test positive", "Test negative") colnames(twotable) <- c("Sick", "Healthy") spec <- twotable[2,2]/(twotable[2,2] + twotable[1,2]) alpha <- 1 - spec sens <- pow <- twotable[1,1]/(twotable[1,1] + twotable[2,1]) beta <- 1 - sens pos.pred <- twotable[1,1]/(twotable[1,1] + twotable[1,2]) neg.pred <- twotable[2,2]/(twotable[2,2] + twotable[2,1]) if ( do.plot == TRUE ) { dsick <- density(popsick) dhealthy <- density(pophealthy) par(mar=c(5.5, 4, 0.5, 0.5)) plot(range(c(dsick$x, dhealthy$x)), range(c(c(dsick$y, dhealthy$y))), type = "n", xlab="", ylab="", axes=FALSE) box() axis(1, at=mean(pophealthy), lab=substitute(mu[H[0]]~paste("=",m, sep=""), list(m=mean.healthy)), cex.axis=1.5,tck=0.02) axis(1, at=mean(popsick), lab=substitute(mu[H[1]]~paste("=",m, sep=""), list(m=mean.sick)), cex.axis=1.5, tck=0.02) axis(1, at=cutoff, lab=substitute(italic(paste("Cutoff=",coff, sep="")), list(coff=cutoff)), pos=-0.004, tick=FALSE, cex.axis=1.25) lines(dhealthy, col = "steelblue", lwd=2) if ( side == "below" ) { polygon(c(cutoff, dhealthy$x[dhealthy$x<=cutoff], cutoff), c(0, dhealthy$y[dhealthy$x<=cutoff],0), col = "grey65") } else if ( side == "above" ) { polygon(c(cutoff, dhealthy$x[dhealthy$x>=cutoff], cutoff), c(0, dhealthy$y[dhealthy$x>=cutoff],0), col = "grey65") } lines(dsick, col = "red", lwd=2) if ( side == "below" ) { polygon(c(cutoff,dsick$x[dsick$x>cutoff],cutoff),c(0,dsick$y[dsick$x>cutoff],0) , col="grey90") } else if ( side == "above" ) { polygon(c(cutoff,dsick$x[dsick$x<=cutoff],cutoff),c(0,dsick$y[dsick$x<=cutoff],0) , col="grey90") } legend("topleft", legend=(c(as.expression(substitute(alpha~paste("=", a), list(a=round(alpha,3)))), as.expression(substitute(beta~paste("=", b), list(b=round(beta,3)))))), fill=c("grey65", "grey90"), cex=1.2, bty="n") abline(v=mean(popsick), lty=3) abline(v=mean(pophealthy), lty=3) abline(v=cutoff, lty=1, lwd=1.5) abline(h=0) } #list(specificity=spec, sensitivity=sens, alpha=alpha, beta=beta, power=pow, positiv.predictive=pos.pred, negative.predictive=neg.pred) c(alpha, beta) } 

Regardons un exemple. Nous supposons que le niveau moyen du marqueur sanguin chez les personnes malades est de 100 avec un écart type de 10. Chez les personnes en bonne santé, le taux sanguin moyen est de 140 avec un écart type de 15. Le clinicien fixe le seuil à 120.

alphabeta(mean.sick=100, sd.sick=10, mean.healthy=140, sd.healthy=15, cutoff=120, n=100000, do.plot=TRUE, side="below") Sick Healthy Test positive 9764 901 Test negative 236 9099 

Vous voyez que le grisé sont en relation les unes avec les autres. Dans ce cas, $ \ alpha = 901 / (901+ 9099) \ environ 0,09 $ et $ \ beta = 236 / (236 + 9764) \ environ 0,024 $. Mais que se passe-t-il si le le clinicien avait défini le seuil différemment? Régulons-le un peu plus bas, à 105, et voyons ce qui se passe.

 Sick Healthy Test positive 6909 90 Test negative 3091 9910 

Notre $ \ alpha $ est maintenant très bas parce que presque aucune personne en bonne santé nest diagnostiquée comme malade. Mais notre $ \ beta $ a augmenté, car les personnes malades avec un taux élevé de marqueurs sanguins sont maintenant faussement classées comme saines.

Enfin, voyons comment $ \ alpha $ et $ \ beta $ changent pour différents seuils:

cutoffs <- seq(0, 200, by=0.1) cutoff.grid <- expand.grid(cutoffs) plot.frame <- apply(cutoff.grid, MARGIN=1, FUN=alphabeta, mean.sick=100, sd.sick=10, mean.healthy=140, sd.healthy=15, n=100000, do.plot=FALSE, side="below") plot(plot.frame[1,]~cutoffs, type="l", las=1, xlab="Cutoff value", ylab="Alpha/Beta", lwd=2, cex.axis=1.5, cex.lab=1.2) lines(plot.frame[2,]~cutoffs, col="steelblue", lty=2, lwd=2) legend("topleft", legend=c(expression(alpha), expression(beta)), lwd=c(2,2),lty=c(1,2), col=c("black", "steelblue"), bty="n", cex=1.2) 

Vous peut immédiatement voir que le rapport de $ \ alpha $ et $ \ beta $ nest pas constant. Ce qui est également très important, cest la taille de leffet. Dans ce cas, ce serait la différence des moyennes des taux de marqueurs sanguins chez les personnes malades et en bonne santé. Plus la différence est grande, plus les deux groupes peuvent être séparés facilement par une limite:

Ici, nous avons un  » parfait « test dans le sens où le seuil de 150 distingue les malades des sains.

---

Ajustements de Bonferroni

Les ajustements de Bonferroni réduisent lerreur $ \ alpha $ mais gonflent lerreur de type II ($ \ beta $) .Cela signifie que lerreur de prendre une décision faussement négative est augmentée tandis que les faux positifs sont minimisés. Cest pourquoi lajustement de Bonferroni est souvent qualifié de conservateur. Dans les graphiques ci-dessus, notez comment le $ \ beta $ a augmenté lorsque nous avons abaissé le seuil de 120 à 105: il est passé de 0,02 $ à 0,31 $. Dans le même temps, $ \ alpha $ est passé de 0,09 $ à 0,01 $.

Commentaires

• @COOLSerdash Wow, belle réponse! Merci. Dans votre exemple, le choix du un niveau significatif peut être fait sur des distributions connues. En biologie par exemple, vous ne pouvez pas connaître la distribution de votre variable dépendante si le traitement a un effet. En dautres termes, en choisissant un niveau de signification, vous choisissez le taux de faux positifs mais vous navez presque aucune idée comment le taux de faux négatifs est défini. Comme vous navez aucune idée de la façon dont les taux vrais positifs et négatifs sont définis. Est-ce exact?
• @ Remi.b Merci. Je pense que vous avez raison. Habituellement, vous choisissez simplement $ \ alpha $ comme niveau de signification ou faites un calcul de puissance avant (en faisant des hypothèses sur la taille de leffet, $ \ alpha $ a nd pouvoir ($ 1- \ beta $). Mais vous ‘ avez raison: vous pouvez contrôler $ \ alpha $ en le choisissant, mais $ \ beta $ est souvent inconnu. Ce document est un très bon point de départ sur les valeurs $ p $ et ce que signifient réellement les niveaux $ \ alpha $.

Pour dautres à lavenir:

Dans lestimation de la taille de léchantillon, le Ztotal est calculé en ajoutant le Z correspondant à alpha et Z correspondant à la puissance (1-beta). Donc, mathématiquement, si la taille de léchantillon est maintenue constante, augmenter Z pour alpha signifie que vous diminuez le Z pour la puissance du MÊME quantité, par exemple, augmenter Zalpha de 0,05 à 0,1 diminue la puissance Z de 0,05.

La différence est le Z pour alpha est bilatéral tandis que le Z pour bêta est unilatéral. Ainsi, bien que la valeur Z change du même montant, mais la probabilité% à laquelle cette valeur Z correspond ne change pas du même montant.

Exemple:

5% alpha ( 95% de confiance) avec 80% de puissance (20% bêta) donne la même taille déchantillon que

20% alpha (80% de confiance) avec 93,6% de puissance (6,4% bêta) au lieu de 95% de puissance que nous aurait si la relation était 1: 1.

Il ny a pas de relation générale entre alpha et bêta.

Tout dépend de votre test, prenez lexemple simple:

(Wikipedia)

Dans le type dutilisation familière, lerreur I peut être considérée comme « condamner une personne innocente » et erreur de type II « laisser un coupable se libérer ».

Un jury peut être sévère: pas derreur de type II, certains jurés de type IA peuvent être « gentils »: pas de type I mais des jurés de type II A peut être normal: certains types I et certains types II Un jury peut être parfait: pas derreur

En pratique, il y a deux effets antagonistes:

Quand la qualité du test augmente, t Les erreurs ype I et de type II diminuent jusquà un certain point. Lorsquun jury saméliore, il a tendance à donner un meilleur jugement sur les innocents et les coupables.

Après un certain temps, le problème sous-jacent apparaît dans la construction du test. Le type I ou II est plus important pour celui qui exécute le test. Avec lexemple du jury, les erreurs de type I sont plus importantes et donc le processus juridique est construit pour éviter le type I. En cas de doute, la personne est libre. Intuitivement, cela conduit à une augmentation des erreurs de type II.

Concernant Bonferroni:

(Wikipedia encore)

La correction de Bonferroni contrôle la probabilité de faux positifs uniquement. La correction se fait généralement au prix dune augmentation de la probabilité de produire de faux négatifs et par conséquent dune réduction de la puissance statistique. Lorsque vous testez un grand nombre dhypothèses, cela peut entraîner des valeurs critiques importantes.

Commentaires

• Merci pour votre réponse, cest utile mais quand même quelque chose nest pas clair pour moi. Jai mis à jour mon message en ajoutant une nouvelle question.