Bästa svaret
ett prov t-test är en statistisk procedur där du ville testa det där din befolkningsmedelvärde är annorlunda än ett konstant värde (fixnummer). Till exempel vill en skola testa det genomsnittliga genomsnittet av GPA för elever som är elever är 3,0. De kommer att använda ett prov t-test och kan få resultatet.
Två prov t-test är också ett statistiskt förfarande där du är intresserad av att testa om dessa två populationer har samma medelvärde eller olika medelvärde. I samma exempel, om skolan är intresserad av att testa, är den genomsnittliga GPA för naturvetenskap och huvudämne densamma. Då skulle de ha använt t-test med två prov.
Svar
T-testet ger insikt i om skillnaden mellan medel för två grupper beror på slump eller är tillförlitlig (dvs återfinns i en annan mätning från samma population). Till skillnad från en beskrivande statistik , som beskriver provet som mäts, är t-testet en inferentiell statistik , som beskriver provet som mäts och ger en generalisering för hela befolkningen från vilken urvalet togs.
I mitt arbete använder jag vanligtvis t-testet när jag utvärderar resultaten av ett A / B-test – dvs en grupp användare presenteras med en variant av en produktfunktion och en annan grupp av samma storlek från samma befolkning är presenteras med ”kontrollen” (den befintliga produktfunktionen). Anledningen till att t-testet är användbart i det här scenariot är att det ger mig inblick i huruvida skillnaden mellan de två gruppernas beteende (mätt med medelvärdet för vissa mått; intäkter eller kvarhållning) beror på en slump eller kan bero på att det händer konsekvent. huruvida dessa två grupper är desamma i ett nytt urval från samma population? ”
Resultaten av ett t-test utvärderas genom förhållandet mellan skillnaden mellan grupperna och skillnaden inom grupperna. Detta förhållande är känt som t-värde ; t-värdet har ett motsvarande p-värde , vilket representerar sannolikheten att det som observeras kan produceras av slumpmässiga data. Ju lägre p-värdet är, desto mer säker kan vi vara på att skillnaden inte produceras av en slump och verkligen är en tillförlitlig skillnad mellan de två gruppernas medel. I forskning anses ett p-värde på 0,05 eller mindre i allmänhet vara tillförlitligt (statistiskt signifikant), men i en mer entreprenöriell miljö kan du bestämma att ett högre p-värde är acceptabelt. P-värden motsvarar t-värden baserat på storleken på proverna; ju större provstorlek (fler frihetsgrader), desto lägre är p-värdet för samma t-värde (förhållandet mellan skillnader).
Du frågade om alternativ till t-testet, och det finns en del, men först tycker jag att jag bör identifiera några variationer av t-testet, om du trodde att t-testet bara är användbart i det scenario som jag beskrev ovan. När ett t-test mäter skillnaden mellan två prover, som beskrivs ovan, kallas det ett Oberoende prover t-test. När t-testet mäter pålitligheten av skillnaden mellan ett prov vid två olika tillfällen, det kallas ett Parat prov t-test (så om du mätte en grupp användare en gång , sedan mätt samma grupp igen en vecka senare, skulle du göra ett parat t-testprov). Och när t-testet mäter skillnaden mellan ett prov och något hypotetiskt medelvärde eller känt populationsmedelvärde (som om vi mätte genomsnittliga dagliga intäkter för vissa användarprov mot vad vi känner till den genomsnittliga dagliga intäkten för hela vår tjänst att vara), det kallas en Enprov t- testa.
När det gäller alternativ till t-testet är det mest populära Mann-Whitney U testet, vilket är en icke-parametrisk hypotes test som är bra att använda när fördelningarna av provet och populationen inte är normala (ett mjukt krav för t-testet).