Jeg har to forskellige måleinstrumenter, A og B, begge måler den samme fysiske størrelse, men med forskellige måleenheder: $ u_A $ og $ u_B $.
A er et referenceinstrument.
Jeg målte en referencedel $ L $ $ n $ gange med A, og jeg får $ n $ -værdierne $ L_ { Ai} $ ($ i = 1 \ dots n $) udtrykt i mål for måleenheden $ u_A $.
Derefter måler jeg den samme referencedel, $ L $, $ m $ gange med B og jeg får $ m $ -værdierne $ L_ {Bj} $ ($ j = 1 \ dots m $) udtrykt i løbet af måleenheden $ u_B $.
I fremtiden vil jeg lave min måler med B, men jeg vil være interesseret i målingen udtrykt i løbet af måleenheden $ u_A $.
Jeg antager, at jeg kan konvertere $ u_B $ til $ u_A $ ved hjælp af kun en multiplikativ konverteringsfaktor $ k $.
Nu har jeg tre spørgsmål:
-
Er det muligt at vurdere gyldigheden af ovenstående antagelse ud fra værdierne $ L_ {Ai } $ og $ L_ {Bj} $?
-
Hvis antagelsen er gyldig, hvordan kan jeg beregne konverteringsfaktoren $ k $ for at konvertere målingen fra $ u_B $ til $ u_A $, dvs. $ L_A = k L_B $?
-
Sådan styres sagen, hvor jeg har mere end en del, dvs. $ L_1 $, $ L_2 $ osv.
Mit første forsøg er at antage antagelsen som gyldig og beregn derefter $ k $ som $ k = \ frac {m \ sum_ {i = 1} ^ n LA_i} {n \ sum_ {j = 1} ^ m LB_i} $ men det er mere baseret på ” sund fornuft “snarere end på noget korrekt statistisk grundlag.
Kan du give mig nogle tip til den del af statistikken, der dækker denne slags problemer? Måske lineær regression?
Kommentarer
- Din metode (på udkig efter ” en multiplikativ konverteringsfaktor “) fungerer ikke mellem Fahrenheit og Celsius.
- @Henry Ja jeg ved, det er af den grund, at jeg stillede spørgsmål nummer 1.
- Fortæller du os, at du ved, at den samme fysiske mængde måles i forskellige enheder, men at du ikke ved, hvordan enhederne konverteres?
- @cbeleites Ja.
- Men gør du kender enhederne?
Svar
Baseret på dine kommentarer, hvad du vil gøre er et kalibrering , som du også vil validere :
du har
- referencemålinger af en temperatur ( termometer A) og
- målinger af instrument B, som endnu ikke er et termometer, da du ikke får svar af de fysiske størrelsestemperaturer, men af en fysisk mængde som f.eks. elektroner / s.
Kameralæsning er ikke den samme fysiske størrelse som en temperatur.
Så faktisk er din opgave at finde konverteringen mellem elektroner / s og temperatur, dvs. kalibrer kameraets output til temperaturer.
Jeg er kemometriker, jeg foretager kalibreringer for at relatere instrumentudlæsning til kemiske mængder. Der er hele bøger skrevet om emnet for, hvordan man opnår en god kalibreringsmodel (dit spørgsmål 2 ) og derefter hvordan man validerer denne metode (dit spørgsmål 1).
Så:
Spørgsmål 1: hvordan man beregner parameteren $ k $ ?
Dette kaldes montering af kalibreringsmodellen.
Og denne del starter faktisk med at beslutte, hvilken slags model der er passende. Dette er din antagelse (multiplikativ) er.
I kemometri bruges undertiden udtrykkene bløde og hårde modeller undertiden til at skelne mellem:
- hårde modeller: at aflede ansatz for modellen fra de første (globale) principper ,
f.eks. beskriver g kameraaflæsning som funktion af temperatur (f.eks. sort kropsstråling, kameraets kvanteeffektivitet ved forskellige bølgelængder, …) og derefter løse temperaturen og forenkle så meget som muligt ved at flette så mange parametre som muligt til færre parametre, der skal bestemmes eksperimentelt. - soft modeller: modellering af kalibreringsfunktionen ved tilnærmelser, der er uafhængige af den nøjagtige fysiske forbindelse.
F.eks. Du kan antage, at hvis dit temperaturområde er smalt nok, kan du tilnærme det ukendte hårde ansatz ved en lineær model. Hvis det ikke er nok, kan kvadratisk være passende osv. Eller du kan forvente en sigmoid opførsel osv.
Anbefaling 1: tænk lidt over og beslut dig groft, hvilken type forhold du forventer.
Blød modellering er en gyldig og udbredt mulighed, men du skal være i stand til at give begrundelse for, at multiplikativt forhold er fornuftigt sammenlignet med andre familier af funktioner som sigmoid eller eksponentiel eller logaritmisk.
Spørgsmål 3: Hvad skal man gøre med mere $ L $ s?
Jeg er ikke sikker på, om jeg forstår korrekt, hvad de forskellige $ L $ er.
-
hvis det er målinger af dele med anden temperatur, har du brug for dem som Peter Flom og gung allerede sagde.
Normalt betragtes ekstrapolering uden for det kalibrerede interval (dvs. det temperaturinterval, der er spændt af dine modeldata) . Du kan argumentere for en undtagelse, hvis du validerer (se nedenfor) metoden til et bredere interval; men hvis du kan få en bred vifte af valideringsdata, er der ingen grund til, at du ikke også kunne få træningsdata for dette interval. -
hvis du henviser til kameraet har mange pixels: det afhænger af kameraets egenskaber, om du med rimelighed kan antage, at alle pixels følger den samme kalibrering, eller om du skal kalibrere hver pixel.
Spørgsmål 1: Hvordan ved jeg, om multiplikativt forhold er passende? Del I
I kemometri udføres multiplikativ uden aflytning ikke engang i situationer, hvor den hårde model antyder kun multiplikativt forhold (f.eks. Beer-Lambert-lov) som der er normalt mange ting i konstruktionen af instrumenter, der fører til en aflytning.
Min erfaring antyder, at multiplikativt forhold uden en aflytningsbetegnelse næppe nogensinde er passende for kameraudlæsning.
F.eks. har arbejdet med hidtil haft en bias eller mørk strøm som ville være en aflytning i modellen.
Anbefaling 2: Hvis du beslutter dig for en multiplikativ model uden aflytning, skal du være i stand til at give meget gode grunde til, at der muligvis ikke kan opfanges noget. Det kan være lettere omvendt: prøv at opfinde situationer, der kan føre til en aflytning for kameralæsningen. Hvis du kan komme med en aflytning, skal du medtage en i modellen.
Den såkaldte regressionsdiagnostik for lineære modeller fortæller dig, om aflytningen ikke kan skelnes fra nul . Det ville være bevis, der giver dig mulighed for at montere en model uden aflytning. På samme måde kan du tilpasse en kvadratisk model og se, om det kvadratiske udtryk kan skelnes fra nul.
Spørgsmål 1: Hvordan ved man, om multiplikativt forhold er passende? Del II
Mens du kan se, at visse ting går galt inden for det sæt af målinger, der bruges til opbygning af kalibreringsmodellen, er ” gyldig ” betyder mere end det. Normalt betyder det at demonstrere, at din kalibrering med succes kan anvendes til kameralæsning af helt ukendte prøver (muligvis målt et stykke tid efter, at kalibreringen var udført). Igen er der en hel litteratur til validering , og afhængigt af hvad dit nøjagtige felt er, er der også normer, som du skal følge.
Kort fortalt har du brug for et andet sæt målinger til validering, der på ingen måde var involveret i opbygningen af kalibreringen. Derefter sammenligner du referenceinstrumentets output med forudsigelserne for kalibreringen. Ser du på afvigelserne, kan du vurdere flere aspekter af rigtigheden af din kalibrering:
- bias (dvs. din model har en systematisk afvigelse)
- varians (tilfældig usikkerhed)
- drift (dvs. $ k $ ændringer over tid; kræver passende planlægning af målinger )
Litteratur
- IUPAC-anbefalinger: Retningslinjer for kalibrering i analytisk kemi. Del I. Grundlæggende og kalibrering af enkeltkomponenter
Dette er som en norm. - American Laboratory har en serie kaldet ” Statistik i analytisk kemi ”
masser af ting her, inklusive casestudier - Richard G. Brereton: Introduktion til multivariat kalibrering i analytisk kemi, Analyst, 2000, 125, 2125-2154.
synes også at dække univariat kalibrering. - Esbensen, KH & Geladi, P. Principper for korrekt validering: brug og misbrug af re-sampling til validering J. Chemometrics, John Wiley & Sons, Ltd., 2010, 24 , 168-187
giver en god diskussion, hvad du skal huske på, når du vælger valideringseksempler.
Kommentarer
- Mange tak. Har du forslag til en god online tutorial eller en bog?
- @uvts_cvs: Jeg tilføjede nogle links til litteratur. De sidstnævnte 2 er journalpapirer, der kan være bag en lønmur for dig. Derudover kunne jeg anbefale dig nogle bøger på tysk.
Svar
Hvis du antager den mindre restriktive antagelse om, at de to målinger er relateret til en eller anden lineær ligning, så : For spørgsmål 1 kan du vurdere antagelsen ved hjælp af lineær regression. Hvis det er gyldigt, skal skæringspunktet være 0 (eller meget tæt på 0, hvis der er målefejl).
For spørgsmål 2 vil koefficienten fortælle dig den konstant, der skal bruges
Jeg er ikke sikker på spørgsmål 3, men at gøre flere multiple tilbageslag burde give meget ens resultater, medmindre der er meget målefejl.
F.eks. for Fahrenheit og Celsius:
set.seed(1919187321) LAbase <- c(0, 10, 20) LBbase <- LAbase*9/5 + 32 #Add error LA <- LAbase + rnorm(3) LB <- LBbase + rnorm(3) #regress m1 <- lm(LB~LA) summary(m1)
og i det mindste med dette frø er resultaterne ret tætte.
I betragtning af at du får mere end tre målinger med hvert instrument, kan du vurdere den indledende antagelse ved at tegne et spredningsdiagram over de to målinger og derefter bruge en glat kurve som løss eller splines. Hvis antagelsen er korrekt, vil den glatte kurve være næsten lige.
Kommentarer
- Tak. Din kodeeksempel er meningsfuld, fordi du bruger tre forskellige værdier til
LAbase
, min sag ligner mereLAbase <- c(10, 10, 10)
hvorL=10
ogn=3
og i så fald er den beregnede modelm1
ikke meningsfuld for mig. - Hvis du får de samme værdier hele tiden til LAbase, er der ingen måde at gøre noget på.
Svar
- Din antagelse om, at målene kun vil adskille sig ved en multiplikationskonstant, synes mig helt sikkert falsk. Det faktum, at dette ikke ville fungere for at konvertere fra Fahrenheit til Celsius, viser det.
- (A.k.a. nr. 3) Du bliver nødt til at vurdere mere end en del. Du har ikke nok frihedsgrader til at bestemme konverteringen mellem de to målinger, hvis du kun bruger en del. Desuden skal du prøve at få dele, hvor målingernes sande værdier spænder over et så stort område som muligt, og bestemt spænder over det område, inden for hvilket du vil foretage konverteringen i fremtiden.
-
(A.k.a. nr. 2) Du kan bestemme konverteringsligningen ved hjælp af en regressionsanalyse. Med flere foranstaltninger kan du bruge en model på flere niveauer, men jeg formoder, at dette er mere end nødvendigt. Hvis du laver flere mål for hver del med hvert måleinstrument, kan du bare bruge gennemsnittene, som du beskriver, for at få et mere robust mål. Så kan du bare bruge disse to midler som dine $ x $ og $ y $ værdier for den del. Beta-estimaterne fra regressionsligningen giver dig det nødvendige skift.
Bemærk, at disse ikke vil være de samme værdier, som du kunne få via andre konverteringsstrategier, men fordi proceduren er forskellig; for eksempel for at konvertere fra Fahrenheit til Celsius, kan du trække 32 og dele med 1,8 , men for at bruge en regressionsligning, $ \ beta_0 \ approx18 $ og $ \ beta_1 \ approx.6 $. Dette betyder ikke noget, så længe du ved, hvilken procedure du bruger.
En anden fordelen ved regressionsmetoden er forresten konverteringen mellem to måleinstrumenter, der ikke nødvendigvis vil være lineære i det mulige interval, hvilket en regressionsanalyse muligvis giver dig mulighed for at modellere.
Svar
Hvis du har flere målinger af det samme mængde flere gange i de to enheder, er der generelt ingen måde at estimere transformationen fra den ene enhed til den anden.
Men hvis du vidste at der er et multiplikativt forhold mellem de to, og at støj i de to sæt, hvis målingerne er nul- betyder normal (med lige store afvigelser eller forskellige men kendte afvigelser), så kan du estimere multiplikationsfaktoren $ k $ med maksimal sandsynlighed.
Hvis du antager ovenstående antagelser, kan du gå frem som følger. Lad $ X_B $ være den faktiske værdi af den mængde, du gentagne gange måler i enheder på $ B $. Derefter $ L_ {Ai} = k X_B + e_i $, $ i = 1, \ prikker, n $ og $ L_ {Bj} = X_B + f_j $, $ j = 1, \ prikker, m $.
$ e_i $ og $ f_j $ er normale i.i.d., normale tilfældige variabler med gennemsnit 0 og varians $ \ sigma ^ 2 $. Du kan skrive log-sandsynligheden for dataene som
$$ L (data; k, X_B) = const – \ frac {1} {\ sigma ^ 2} \ sum_i (L_ {Ai} – k X_B) ^ 2 – \ frac {1} {\ sigma ^ 2} \ sum_i (L_ {Bi} – X_B) ^ 2 $$
Du skal være i stand til at maksimere denne mængde i form af $ k $ og $ X_B $ for at opnå din transformation (og et skøn over mængden).
Faktisk, hvis du går gennem algebraen til at indstille delderivaterne af log-sandsynlighedsfunktionen med hensyn til $ k $ og $ X_B $ til nul, skal du få udtrykket for $ k $, du har i dit spørgsmål.
$ X_B = \ frac {\ sum_j L_ {Bj}} {m} $ og $ k = \ frac {m \ sum_i L_ {Ai}} {n \ sum_j L_ {Bj}} $
Svar
Det nøgledokument, du har brug for, er GUM (Guide til usikkerhed i måling) – JCGM 100: 2008 (GUM 1995 med mindre korrektioner) Bureau International de Poids et Mesures / guides / gum , som giver de fulde (internationale standard) detaljer om, hvordan man vurderer udførelsen af en foranstaltning i forhold til en reference (din reference vil allerede have en vurderbar usikkerhed). De amerikanske NIST-dokumenter er også direkte baseret på dette.
GUM giver dig mulighed for at træffe dit valg om vurderingsmetode, men kræver derefter, at du angiver en fejlbetegnelse for alle antagelser, såsom troen på, at de to instrumenter har ingen forskydning.
Du vil have både systematiske udtryk og tilfældige udtryk. De systematiske udtryk er normalt den større fejl og vurderes almindeligvis (se på de tidlige 1900ers skøn for lysets hastighed og deres fejlbjælker – hvilket ikke overlappede!).
Fordi du har kun en referencedel, alt hvad du indtil videre kan gøre er at vurdere de relative størrelser af de to tilfældige målefejl (inklusive lokal systematisk variation som temperatur, operatør, tid på dagen ..)
I slutningen vil du være i stand til at angive en fejl og en dækningsfaktor for dine nye aflæsninger over en vis gyldighedsperiode.