Skoler bruker programvare for å velge hvem som kommer inn. Hva kan gå galt?

Innleggelsesoffiserer vender seg i økende grad til automatisering og AI med håp om å effektivisere søknadsprosessen og utjevne spillerommet.

Skoler bruker programvare for å velge hvem som kommer inn. Hva kan gå galt?

I 2011 begynte Taylor University, en liten liberal arts college i Upland, Indiana, å lete etter en ny måte å maksimere rekrutteringen på. Spesielt trengte de å selge studenter ved søknad og påmelding, delvis for å hjelpe til med undervisningsinntektsmål. Det førte til en kontrakt med programvaregiganten Salesforce, som bygger automatiserte systemer designet for å øke studentrekrutteringen. Skolen mater nå data om potensielle studenter - fra hjemby og husholdningsinntekt til tiltenkte studieområder og andre datapunkter - til Salesforces Education Cloud, som hjelper opptaksledere med å nullstille på hvilken type søkere de mener er mest sannsynlig å registrere.

Hvis vi finner en studentpopulasjon i nordvest Chicago som ser ut som den ideelle studenten for oss, er det kanskje et annet befolkningssenter i Montana som ser akkurat ut som den befolkningen, sier Nathan Baker, Taylor Universitys direktør for rekruttering og analyse.

Vi følger også studentens engasjement med oss, sier han. Så, bare fordi en studentpopulasjon ser ideell ut, hvis studenten ikke er engasjert i oss i det hele tatt under prosessen, må vi ta det i betraktning.

Algoritmer hjelper ikke bare med å orkestrere våre digitale opplevelser, men går stadig mer inn i sektorer som historisk sett var menneskets provins - ansette , utlån , og flagge mistenkelige personer ved landegrensene. Nå er det et økende antall selskaper, inkludert Salesforce, som selger eller bygger AI-støttede systemer som skoler kan bruke til å spore potensielle og nåværende studenter, mye på den måten selskaper holder orden på kunder. Programvaren hjelper i økende grad opptakspersonene med å bestemme hvem som kommer inn.

Teknologiselskapene bak opptaksprogramvaren sier at algoritmer kan forbedre suksessen til rekrutteringsarbeid og redusere kostnader. Ved Taylor University, som Salesforce fremhever som en suksesshistorie, sier opptaksavdelingen at den så forbedringer i rekruttering og inntekter etter å ha adoptert Education Cloud: Høsten 2015 ønsket skolen sin største nybegynnerklasse noensinne velkommen. Taylor bruker nå programvaren til å forutsi fremtidige studentresultater og ta beslutninger om fordeling av økonomisk støtte og stipend.

Men programvaren handler ikke bare om å effektivisere den skremmende oppgaven med å helle over tusenvis av applikasjoner, sier Salesforce. AI blir også presentert som en måte å gjøre opptakssystemet mer rettferdig, ved å hjelpe skolene med å redusere usett menneskelige skjevheter som kan påvirke opptaksbeslutninger.

Når du har et verktøy som kan bidra til å gjøre [skjevhet] eksplisitt, kan du virkelig se faktorer som kommer inn i en beslutning eller anbefaling, sier Kathy Baxter, arkitekt for etisk praksis hos Salesforce. Det gjør det tydeligere å se om beslutninger tas bare basert på denne ene eller denne faktoren. (Salesforce sier at det nå har mer enn 4000 kunder som bruker Education Cloud -programvaren, men nektet å avsløre hvilke skoler som bruker det spesielt for opptak.)

Et dashbord fra Salesforces rekrutteringsprogramvare [Bilde: Salesforce]

Vanligvis leses en potensiell students søknad og støttemateriell av en eller flere opptaksbetjenter. Karaktergjennomsnitt, testresultater, personlige egenskaper som lederegenskaper og karakter og andre kriterier vurderes mot universitetets demografiske bekymringer, inkludert mangfoldsmål og studenter som trenger økonomisk hjelp.

På et grunnleggende nivå kan AI-støttet programvare umiddelbart score en søker mot et sett med faktorer som er funnet å være en indikator på suksess basert på tidligere søkere, forklarer Brian Knotts, sjefarkitekt ved Ellucian, som bygger programvare for høyere utdanning.

Et eksempel kan være elevens beliggenhet sammenlignet med skolens beliggenhet, sier han. Opptaksledere ville bruke denne datadrevne vurderingen til å forsterke beslutningsprosessen. Etter hvert som hver klasse blir uteksaminert, blir algoritmene omskolert med jevne mellomrom, og fremtidige studenter har bare fordeler av smartere og smartere opptaksbeslutninger, sier Knotts.

For å redusere individuell skjevhet, ser komiteer på søkerne og bestemmer vanligvis ved en avstemning eller annen type konsensus. Men urettferdighet kan fortsatt krype inn i prosessen. For eksempel som nylig forskning på rekrutteringspraksis har vist, har universiteter en tendens til å markedsføre direkte til ønskelige kandidater og betale flere besøk til studenter i velstående områder, spesielt til velstående, hovedsakelig hvite studenter ved videregående skoler utenfor staten, siden disse studentene sannsynligvis vil gi mer undervisningsinntekter.

Kira Talent, en kanadisk oppstart som selger en skybasert opptaksvurderingsplattform til over 300 skoler, identifiserer ni typer vanlig menneskelig skjevhet ved universitetsopptak, inkludert gruppetenkning og rasemessige og kjønnsforstyrrelser. Men noen av de mest skadelige skjevhetene som påvirker innleggelser er ikke knyttet til rase, religion, kjønn eller andre stereotyper, ifølge en selskapspresentasjon . I stedet vokser skjevheter situasjonsmessig og ofte uventet fra hvordan innleggelsesoffiserer vurderer søkere, inkludert et inkonsekvent antall anmeldere og utmattelse av korrekturlesere.

Andre typer mer subtile skjevheter kan krype inn gjennom opptaksretningslinjene. Som en del av et pågående søksmål fra asiatisk-amerikanske studenter mot Harvard University, avslørte skolens opptakskontor bruken av en intervjuerhåndbok som understreker søkerpersonlighet i et avsnitt med tittelen The Search for Distinguishing Excellence. Særlig dyktighet, ifølge håndboken, inkluderer enestående evne til ledelse, noe som kan være en ulempe for hardtarbeidende introverte og uvanlig tiltalende personlige egenskaper, som høres ut som grobunn for menneskelig skjevhet som kan komme inn i tankene til en intervjuer.

Baxter argumenterer for at programvare kan hjelpe til med å identifisere skjevhetene som kryper inn i menneskerbaserte opptaksprosesser. Algoritmer kan gjøre systematiske analyser av datapunkter som innleggelsesoffiserer vurderer i hver søknad. For eksempel inkluderer Salesforce-programvaren som brukes av Taylor University Protected Fields, en funksjon som viser popup-varsler for å identifisere skjevheter som kan dukke opp i dataene, for eksempel etternavn som kan avsløre en søkeres rase.

Hvis en innleggelsesoffiser ønsker å unngå rase eller kjønnsskjevhet i modellen de bygger for å forutsi hvilke søkere som bør tas opp, men de inkluderer postnummer i datasettet sitt uten å vite at det korrelerer med rase, vil de bli varslet om rasen skjevhet dette kan forårsake, sier Baxter.

bygge en bjørn betale din alder regler

Molly McCracken, markedssjef i Kira Talent, sier at AI også kan bidra til å eliminere situasjoner der en opptaksbetjent kan kjenne en søker, og automatisk markere en personlig forbindelse mellom to parter. Derfra kan opptakstjenestemenn foreta en menneskelig gjennomgang av forholdet.

McCracken foreslår et hypotetisk scenario der en opptaksperson som hadde vært i debattklubben på videregående skole, kan identifisere seg med en søker som også var i debattklubben. Men hvis du trener en algoritme til å si at debattklubben er lik x er lik y, trenger du ikke ta med den slags [personlig] bakgrunn og erfaring [inn i prosessen], sier McCracken. Likevel advarer hun, du trenger også det menneskelige perspektivet for å kvalifisere disse erfaringene.

Kiras sett med forspenningsbekjempelsesverktøy er designet for å redusere virkningen en persons skjevhet kan ha under menneskelig gjennomgang. En Reviewer Analytics -funksjon har som mål å sikre at opptaksansvarlige vurderer søkere konsekvent og rettferdig: ved å beregne gjennomsnittlig vurdering for hver korrekturleser på tvers av alle applikasjoner, kan høyskoler identifisere utfallere som scorer søkere med for mye eller for lite strenghet. For å motvirke gruppetenkning, som kan gi større vekt til den høyeste stemmen i rommet, kombinerer programvaren tilbakemeldinger fra flere korrekturlesere uten at hver anmelder ser kollegas vurderinger og notater og gir en samlet gjennomsnittlig poengsum for hver søkeres svar.

Ryan Rucker, prosjektleder ved Kira Talent, sier at selskapet for tiden er i forsknings- og utviklingsfasen for å legge til AI-støttet programvare til selskapets opptaksverktøy. Etter hvert kan det også hjelpe skolene med å utføre dypere bakgrunnskontroller av søkerens personlige historie. Det kan for eksempel hjelpe til med å forhindre den typen juks som ble sett i den nyere opptakskandalen på universitetet, der velstående søkeres foreldre betalte for opptak ved å la søkerne stille som idrettsutøvere.

Når vi går videre til dette stedet hvor vi bruker mer maskinlæring og AI-aktiverte løsninger, kommer vi til å bli flinkere til å se etter bestemte ting, for eksempel om noen faktisk er medlem av mannskapsteamet på videregående skole, sier Rucker, med henvisning til den nylige opptakskandalen på universitetet. Denne informasjonen er vanligvis offentlig tilgjengelig på et nettsted, som vi kan gjennomsøke for det, legger han til. Selvfølgelig, hvis vi ønsker å komme inn på databeskyttelsesområdet, er det et helt annet tema.


I slekt: Etter rask vekst står Zuckerberg-støttet skoleprogram overfor en granskning av effektivitet, personvern


Slippe maskinens skjevhet inn?

Imidlertid, som eksperter på kunstig intelligens har advart, kan systemer som tar sikte på å redusere skjevhet gjennom AI bli komplisert av AI selv. Automatiserte systemer vil bare være like gode som de underliggende dataene, sier Rashida Richardson, direktør for politisk forskning i AI Now Institute , en tankesmie ved New York University som studerer maskinskjevhet og algoritmisk ansvarlighet. Og siden innrømmelser er innebygd med mange subjektive dommer, mener Richardson at forsøk på å automatisere det kan resultere i å legge inn og muligens skjule disse subjektive avgjørelsene, og stille replikere problemene som disse systemene påstår å løse.

Automatisering har gitt lignende alarmer på følsomme domener som politi, strafferett og barnevern. Hvis fremtidige opptaksbeslutninger er basert på tidligere avgjørelsesdata, advarer Richardson om å lage en utilsiktet tilbakemeldingssløyfe, begrense skolens demografiske sammensetning, skade dårligere elever og sette en skole ut av synkronisering med endret demografi.

Det er en samfunnsautomatisk skjevhet - folk vil anta at fordi det er et teknisk system, er det mer rettferdig enn status quo, sier Richardson. Forskning på integrering av matchende algoritmer i medisinske skoler og hvordan disse systemene bidro til å lette og forvride diskriminerende praksis og skjevhet er et bevis på at disse bekymringene er reelle og høyst sannsynlige.

Richardson sier at selskaper som Ellucian, Salesforce og Kira Talent ikke klarer å erkjenne på nettstedene sine at det er betydelige utdanningsaspekter knyttet til opptaksprosessen.

hvordan andre land ser på Trump

Det er uklart for meg hvordan du standardiserer og automatiserer en prosess som ikke bare er basert på subjektive vurderinger, men som også krever en dyp forståelse av kontekst, sier hun.

Richardson bemerker for eksempel at mange videregående skoler deltar i karakterinflasjon og heterodox -systemer. Selv om innleggelsesoffiserer kan være klar over dette og ta hensyn til det i opptaksprosessen, kan det hende at et AI -system ikke gjør det.

På samme måte kan et AI-system ikke sette pris på de ekstra utfordringene en lavere inntekt eller første generasjons studenter står overfor, sammenlignet med en mer velstående arv, advarer Richardson. Det er mulig at et AI -system eller en automatisert prosess kan forverre eksisterende skjevheter.

Programvare kan også føre til ytterligere klasseskille i opptaksprosessen, bekymrer Richardson. Akkurat som folk prøver å spille den eksisterende menneskedrevne opptaksprosessen, kan søkere prøve å gjøre det samme hvis faktorene som brukes av automatiserte systemer er kjent. Høyere ressursgrupper, som de velstående og tilkoblede, kan finne måter å forbedre applikasjoner for det mest gunstige resultatet. Richardson sier at AI Now allerede har sett dette skje med mer grunnleggende algoritmer som tildeler studenter til K-12 skoler.

Familier som har tid til å lage kompliserte regneark for å optimalisere valgene sine, vil sannsynligvis ha en bedre sjanse til å matche sine beste skoler, sier Richardson, mens familier med mindre ressurser kanskje ikke har tid eller nok informasjon til å gjøre det samme.

Baxter sier at maskinens forspenningstiltak er innebygd i Salesforces Einstein AI, en AI-basert teknologi som ligger til grunn for selskapets programvare. En funksjon som heter Predictive Factors lar opptaksbrukere gi tilbakemelding til AI -modellen, slik at de kan identifisere om en forspenningsfaktor var inkludert i resultatene. Og Education Clouds Model Metrics -funksjon hjelper til med å måle ytelsen til AI -modeller, sier Baxter, slik at brukerne bedre kan forstå alle tidligere uforutsette utfall som kan være skadelige. Modellene våre oppdateres jevnlig og lærer av den pågående bruken, så det er ikke en statisk ting, sier Baxter.

For å sikre at data ikke er partisk fra start, velger Ellucian passende funksjoner, datatyper og algoritmer, og planlegger å undersøke dem gjennom et rådgivende styre med teknologer, dataforskere og andre AI-eksperter. Det er en del av grunnen til at vi har tatt lang tid, sier Knotts. Vi vil sørge for at vi bruker like mye tid på dette som vi har på teknologien.

AI Now’s Richardson sier at ethvert rådgivende styre uten domenekompetanse, som lærere, administratorer og utdanningsforskere og talsmenn - spesielt de med erfaring innen diskriminering, utdanningsrettferdighet og segregering - ville være utilstrekkelig.

Richardson er også bekymret for at selskaper som tilbyr automatiserte opptaksløsninger kanskje ikke forstår hvor subjektiv prosessen er. For eksempel veier innleggelsesoffiserer allerede elite internatstudenter høyere enn en valedictorian fra en under-sourced, segregerte skole, noe som skaper en sosioøkonomisk skjevhet. Hun tviler på at AI kan løse dette problemet, for ikke å si noe om å nærme seg det med nok sofistikasjon til å forstå både følsomheten som bør gis for sosioøkonomisk og raseanalyse.

Å forutsi elevsuksess er også en delikat utfordring. Noen studenter er sene blomstrere. Andre utmerker seg på videregående, men av en eller annen grunn kommer det til kort på og etter college. Så mange forskjellige variabler - sett og usett, målbare og ikke - spiller inn på elevens prestasjoner.

Det faller innenfor denne trenden innen teknologi å tro at alt er forutsigbart og at det er en forhåndsbestemt forestilling om suksess, sier hun. Det er mange variabler som tradisjonelt har blitt brukt til å forutsi elevsuksess som har vist seg å være unøyaktige eller innebygd med skjevhet (f.eks. Standardiserte testresultater). Samtidig er det en rekke uforutsigbare problemstillinger som kan påvirke individuell eller kollektiv studentsuksess.

Disse tradisjonelle suksessmålingene kan også være partiske mot marginaliserte studenter og tar ikke hensyn til institusjonelle forstyrrelser, som rådgivere fra videregående som ignorerer eller ikke klarer å tjene fargerike studenter.


I slekt: NYC -studenter tar sikte på segregering ved å hacke en algoritme


På noen skoler er til og med litt automatisering i opptak et nei-nei. I motsetning til mange andre høyskoler og universiteter, bruker vi ikke AI eller andre automatiserte systemer i vår beslutning, sier Greer Davis, assisterende direktør for markedsføring og kommunikasjon ved University of Wisconsin-Madison. Alle søknader og alt støttemateriale leses av flere rådgivere som bruker en helhetlig tilnærming, og vi har ikke eller bruker noen minimum, rekkevidde eller formler.

UC-Berkeley motsetter seg også maskindrevne innleggelser. Janet Gilmore, UC-Berkeleys senior direktør for kommunikasjon og offentlige anliggender, sier at universitetet ikke har automatiserte prosesser, og at søkerens komplette fil blir evaluert av utdannede lesere. Det er opptaksprosessen nettsted sier at rase, etnisitet, kjønn og religion er ekskludert fra kriteriene, og at skolen bruker en helhetlig gjennomgangsprosess som ser på både faglige (kursvansker, standardiserte testresultater) og ikke -akademiske faktorer. I sistnevnte tilfelle kan det være personlige egenskaper som karakter og intellektuell uavhengighet, eller aktiviteter som frivillig tjeneste og ledelse i samfunnsorganisasjoner.

Richardson ser imidlertid et sted for automatisering for å redusere arbeidsmengden ved behandling av innleggelser. Programvare kan for eksempel bidra til å eliminere dupliserte dokumenter eller flagge manglende dokumenter fra søkere.

Den nyeste opptaks- og rekrutteringsprogramvaren tar sikte på å gjøre langt mer enn å flagge ufullstendige filer. Men Knotts, fra Ellucian, insisterer på at målet ikke er å automatisere beslutningene selv, i hvert fall ikke ennå. Vi ønsker ikke å ta datamaskinbeslutninger med disse søkerne, sier han. Og jeg tror ikke utdanningssektoren ønsker det heller.