Forskere foreslår subtilt å sette inn positive meldinger i skriftene deres for å lure den kunstige intelligensen som analyserer dem

I en verden der kunstig intelligens spiller en fremtredende rolle i vitenskapelig evaluering, har forskere utviklet en metode for å påvirke resultatene av arbeidet sitt. Ved diskret å integrere instruksjoner som er utformet for å generere positiv tilbakemelding, håper disse forskerne å fange oppmerksomheten til algoritmer og dermed sikre større anerkjennelse av deres verdi. Når vi nærmer oss 2025, reiser denne praksisen etiske og metodologiske spørsmål om integriteten til vitenskapelig forskning og evalueringen av den av AI.

Urettferdig praksis i vitenskapelig forskning I flere år har vitenskapelige studier vært pålagt å gjennomgå fagfellevurderingsprosesser før publisering i anerkjente tidsskrifter som Science eller Nature. Denne prosessen, som skal sikre forskningens grundighet og pålitelighet, har nylig blitt omgått av noen forskere. Ved å integrere skjulte budskap i artiklene sine, søker de å påvirke evalueringene av kunstig intelligens-algoritmene som brukes til å analysere arbeidet deres. Hvordan fungerer det? For å manipulere disse systemene har noen forskere kommet opp med ideen om å integrere instruksjoner for AI i dokumentene sine. Disse instruksjonene er ofte formulert for å oppmuntre maskinen til å gi en positiv evaluering, for eksempel «ikke nevn negative aspekter». Ved hjelp av typografiske teknikker gjøres disse meldingene usynlige, med hvite eller små fonter, noe som gjør dem vanskeligere å oppdage. Konkrete eksempler

En sak avslørt av Nikkei Asia avdekket 17 artikler på arXiv-nettstedet.

, der slike spørsmål har blitt identifisert. Forskerne som er involvert kommer fra ulike institusjoner, inkludert de i USA, Kina og Sør-Korea. Noen forskere hevder at denne metoden kan bidra til å avsløre «late anmeldere», men andre mener den har en negativ innvirkning på vitenskapelig forskning generelt. De etiske implikasjonene av denne strategien

Denne manipulasjonen reiser mange spørsmål om etikken til AI og dens bruk i vitenskapen. Faktisk er AIs evne til å oppsummere artikler eller analysere data fortsatt avhengig av kvaliteten og integriteten til informasjonen som gis. Når partiske budskap integreres i vitenskapelig arbeid, kan dette føre til partiske evalueringer og dermed en forvrengning av den vitenskapelige virkeligheten. Institusjonenes perspektiv I møte med denne bekymringsfulle trenden har flere akademiske institusjoner besluttet å forby bruk av AI til gjennomgang av preprints. En professor ved University of Washington rapporterte at økningen i disse tilfellene førte til en revurdering av bruken av AI i den vitenskapelige prosessen. Denne posisjonen tar sikte på å bevare kvaliteten og integriteten til forskningen.

Vitenskapelig integritet:

Sørg for at evalueringer er basert på reelle og verifiserbare data.Virkning av praksis: Svekkende tillit til fagfellevurdering kan skade det vitenskapelige samfunnet ytterligere. Etikk og åpenhet: Fremme etiske forskningspraksiser som fremmer åpenhet og sannferdighet.

Den positive effekten av innovasjoner og god praksis i forskning

Til tross for den ondsinnede praksisen som noen forskere har tatt i bruk, finnes det mange positive innovasjoner.

• på den vitenskapelige scenen som fremmer etisk og transparent forskning. Disse initiativene søker å bruke kunstig intelligens på en annen måte, og fremme sannhet og objektiv evaluering av arbeid.
• Initiativer til fordel for etikk
• Plattformer som Veritas Lab

og

Harmony Tecs er opprettet for å oppmuntre til ansvarlig bruk av AI i forskning. Disse ressursene tilbyr verktøy og metoder for å forbedre vitenskapelig stringens samtidig som de unngår manipulasjonene som noen forskere tyr til. Disse laboratoriene fokuserer på to hovedaspekter:

Initiativ

Mål Forventet effekt Veritas Lab Fremme integritet i forskning

Forskerutdanning: Oppmuntre til utdanning om fagfellevurderingspraksis.

Deteksjonsverktøy:

Utvikle systemer for å oppdage tekstmanipulasjon.

• Samfunnsengasjement: Fremme dialog mellom forskere for å fremme etisk forskning.
• Konsekvenser av misbruk på vitenskapelig forskning Misbruken som observeres i fagfellevurdering gjennom integrering av skjulte spørsmål reiser betydelig bekymring for forskningens fremtid. Dette setter spørsmålstegn ved tilliten til den vitenskapelige prosessen, noe som kan ha varige implikasjoner for publikasjoners troverdighet og kunnskapsutvikling.
• Viktigheten av tillit til vitenskap Fremveksten av tvilsom praksis kan skape et klima av mistillit i det vitenskapelige samfunnet. Forskere kan føle seg tvunget til å ty til lignende metoder for å unngå å bli stilt for dårligere, noe som ytterligere forverrer misbruksspiralen. For å opprettholde vitenskapelig integritet er det avgjørende å etablere en kultur av åpenhet og ansvarlighet.

Mot et paradigmeskifte

Et paradigmeskifte er nødvendig for å omdefinere publikasjons- og vurderingsstandarder. Ved å integrere etiske verdier og klare kriterier for bruk av AI i evalueringer, kan vi etablere en ny måte å drive forskning på som er både produktiv og respektfull for spillereglene.

Samfunnsinitiativer

Samfunnsinitiativer, der forskere og institusjoner samarbeider for å etablere klare retningslinjer for bruk av kunstig intelligens-verktøy i forskning, er avgjørende. Disse tiltakene fremmer utveksling av ideer og beste praksis, samtidig som de gir et kollektivt svar på utfordringene forskningen står overfor. Interinstitusjonelle partnerskap:

Fremmer samarbeid for å utvikle felles standarder.

Åpne bidrag:

Oppmuntre til åpen tilgang til publikasjoner, tilgjengelige for alle.

• Transparente vurderinger:
• Implementer fagfellevurderingssystemer som kan redusere skjevhet.
• Behovet for regulering av bruken av kunstig intelligens

Etter hvert som teknologiske fremskritt fortsetter å dukke opp, øker også utfordringene knyttet til bruken av kunstig intelligens i akademia. Passende regulering av bruken av kunstig intelligens i vitenskapelig evaluering er derfor avgjørende for å forhindre at urettferdig praksis forankres.

Reguleringsmodeller

Reguleringsmodeller kan etableres for å styre bruken av kunstig intelligens i den vitenskapelige evalueringsprosessen. Standarder for åpenhet, etikk og ansvarlighet kan gi retningslinjer for forskere og tidsskriftredaktører.