ABC Science

주제: 컴퓨터 과학

1시간 전
돋보기 아래에 있는 위키백과 홈페이지.
자원봉사자들이 만든 무료 온라인 백과사전인 위키백과는 현재 영어로만 약 700만 개의 문서를 보유하고 있습니다. (게티 이미지: zmeel)

약 700만 개의 문서를 보유한 영어 위키백과는 여러 측면에서 세계 최대 규모의 백과사전입니다.

두 번째로 큰 위키백과 버전은 600만 개가 조금 넘는 문서를 자랑합니다. 프랑스어, 스페인어, 중국어 위키백과는 다릅니다.

세부아노어는 주로 필리핀 남부에서 사용되는 언어입니다.

하지만 세부아노어 위키백과는 영어 위키백과처럼 수천 명의 자원봉사 편집자들의 도움으로 성장하지 않았습니다. 대부분의 문서는 스웨덴 언어학자 스베르케르 요한손 한 사람에게서 나왔습니다.

요한손 박사는 “lsjbot”이라는 프로그램을 설계했는데, 이 프로그램은 여러 언어, 특히 세부아노어로 수백만 건의 문서를 생성했습니다.

또한 이 프로그램은 위키백과가 설립 이후 끊임없이 씨름해 온 논쟁의 실체를 드러냈으며, 인공지능(AI)이 이 논쟁의 심각성을 더욱 부각시키고 있습니다.

lsjbot이 문서를 ‘작성’하는 방식
위키백과의 일부 기능을 자동화하는 프로그램은 웹사이트 자체만큼이나 오래되었습니다.

이러한 봇들은 사이트를 크롤링하며 끊어진 링크를 수정하는 등의 작업을 수행하지만, 많은 경우 한두 문장 정도의 짧은 문서를 생성합니다.

스베르케르 요한손은 안경을 쓰고 짙은 빨간색 셔츠, 황갈색 재킷, 청바지를 입은 중년 남성입니다.
Lsjbot 개발자 스베르케르 요한손. (제공: 로렐리 요한슨)

요한슨 박사는 2010년대 초, 직접 기사를 작성하고 편집하던 중 이러한 기사 생성 봇들을 접하게 되었습니다.

“‘나도 할 수 있어. 더 잘할 수 있어.’라고 생각하기 시작했습니다.”라고 그는 말합니다.

Lsjbot은 주로 생물학과 지리학에 관한 온라인 데이터베이스에서 정보를 가져와 미리 작성된 몇 개의 문장에 맞춰 기사를 생성합니다.

“핵심 언어 모델은 수백 개의 문장 템플릿이며, 봇은 어떤 정보가 사용 가능한지 확인합니다.”라고 요한슨 박사는 말합니다.

예를 들어, 동물에 대한 기사는 “X는 Z족에 속하는 Y이다”라는 문장으로 시작하고, lsjbot은 빈칸을 채워줍니다. 사자, 포유류, 고양이.

사람들이 위키백과에 수천 페이지를 기고하게 만드는 원동력은 무엇일까요?
사진은 위키백과가 열린 노트북 옆에 앉아 있는 남성을 보여줍니다. 위키백과가 열린 노트북 옆에 앉아 있는 남성
서호주에서 무료 온라인 백과사전에 헌신하는 열정적인 취미 활동가들을 만나보세요.

lsjbot은 어떤 언어로든 작동할 수 있지만, 대부분의 결과물은 세부아노어로 작성되었습니다. 지금까지 식물과 동물에 대한 문서 수백만 개, 지리학에 대한 문서 400만 개, 그리고 화학 원소와 같은 더 작은 범주에 대한 문서 몇 개를 생성했습니다.

요한슨 박사는 아내의 모국어인 세부아노어에 집중하기로 했습니다. 아내는 그가 문장 템플릿을 작성하는 것을 도왔습니다.

“저는 아내의 모국어에 유창하지는 않지만, 어쨌든 돕고 싶었고, 이것이 제가 할 수 있는 방법이라고 생각했습니다.”라고 그는 말합니다.

그는 또한 필리핀의 또 다른 언어인 와라이어와 모국어인 스웨덴어로도 봇을 운영했습니다.

lsjbot을 둘러싼 논란
Lsjbot은 필리핀 위키백과 커뮤니티에 큰 파장을 일으켰지만, 모두가 긍정적인 반응을 보인 것은 아닙니다.

위키백과를 만들고 유지하는 자원봉사자들, 즉 위키피디언들은 세부어 문서의 많은 부분에서 문법적 오류와 때로는 사실과 관련된 오류가 발견되었는데, 이는 불완전한 번역 때문이었습니다.

문서의 엄청난 양 또한 또 다른 문제였습니다. 편집자가 소수인 커뮤니티에서는 문서의 품질을 유지하거나 개선하는 데 어려움이 있었습니다.

2018년에는 사람이 직접 작성한 문서의 일부를 포함하여 세부어 위키백과 전체를 삭제하자는 제안까지 있었습니다. 하지만 이는 공식 필리핀 위키미디어 커뮤니티의 강력한 반대에 부딪혀 거부되었습니다.

무늬 셔츠와 랜야드를 착용한 어빈 스토 토마스라는 남성이 다른 사람들로 둘러싸인 회의실에 앉아 있습니다.

2025년 인도네시아 위키문헌 회의에 참석한 어빈 스토 토마스. (위키미디어 커먼즈: 메모라 프로덕션, CC BY-SA 4.0)

어빈 스토. 해당 커뮤니티의 일원인 토마스는 소규모 지역 위키백과 사용자 그룹이 요한슨 박사와 함께 lsjbot을 개발하는 등 세부아노어 문서의 질적 향상을 위해 노력해 왔다고 말합니다.

“안타깝게도 자원봉사 편집자들만으로는 할 수 없는 일이 너무 많습니다.”라고 다른 필리핀어 위키백과에서도 활동하는 토마스 씨는 말합니다.

세부아노어가 아닌 필리핀어 위키백과도 편집하는 조쉬 림은 lsjbot이 등장하기 훨씬 전부터 자동화된 봇이 평판 문제를 야기했다고 말합니다.

초기 세부아노어 위키백과는 다른 봇이 만든 수천 개의 프랑스 코뮌 관련 문서로 주로 구성되었습니다. 세부아노어 사용자와 관련된 주제에 대한 문서는 거의 없었습니다.

“얼마나 부끄러운 일인지 아세요?” 림 씨가 말합니다.

그는 또한 봇이 생성한 문서의 엄청난 수가 필리핀어 위키백과 사이에 “하향 경쟁”을 야기했으며, 편집자들이 질보다 양을 중시한다고 생각합니다.

타갈로그어, 가장 널리 사용되는

필리핀의 오켄어 위키백과가 이러한 경쟁의 일환으로 규모가 커진 것을 목격했습니다. 최대 규모였을 때는 약 8만 개의 문서를 자랑했습니다.

이제 페이지 수는 예전의 절반으로 줄었습니다. 림 씨와 동료 편집자들은 유지 관리의 편의를 위해 짧은 문서를 줄여왔습니다.

그럼에도 불구하고 그는 요한슨 박사의 의도는 좋았다고 생각합니다.

“저는 그가 한 일이 위키백과를 위해 옳았다고 생각합니다.”라고 림 씨는 말합니다.

회색 재킷과 파란색 랜야드를 착용한 조쉬 림이 회의실에 앉아 있습니다.

2024년 폴란드 위키매니아 회의에 참석한 조쉬 림. (위키미디어 커먼즈: 니콜로 카란티, CC BY-SA 4.0)

그는 또한 위키백과 사용자들이 봇과 자동화 도구를 완전히 거부해서는 안 된다고 생각합니다.

“이것은 위키백과 사용자들이 변화를 평가하고 수용할 수 있는 역량, 또는 그 역량의 부족을 보여줍니다.”

한편 스웨덴 위키백과 커뮤니티는 처음에는 lsjbot 사용에 동의했지만, 이후 철회했습니다.

Lsjbot은 2021년 이후 거의 활동이 없었습니다. 요한슨 박사는 Lsjbot 사용을 둘러싼 논쟁이 자신이 lsjbot을 폐기한 이유 중 하나라고 말합니다.

모국어의 가치 하락
요한슨 박사가 lsjbot을 폐기한 또 다른 이유는 세부어 위키백과에 독자와 편집자를 “임계 수준”으로 끌어들여 더욱 풍부한 백과사전을 구축하려는 자신의 목표 중 하나를 달성하지 못했기 때문입니다.

위키미디어 통계에 따르면, 세부어 위키백과는 현재 매달 필리핀에서 수만 건의 페이지 뷰를 기록하고 있습니다.

한편, 영어 위키백과는 매달 1억 명 이상의 필리핀 사용자가 접속합니다.

림 박사는 이것이 비영어 위키백과에서 더 광범위한 문제라고 말합니다. 예를 들어 타갈로그어 위키백과는 매달 약 200만 건의 현지 조회수를 기록합니다.

림 씨는 “그저 일반적인 식민지 경험일 뿐입니다. 우리 모국어의 가치가 평가절하된 것이죠.”라고 말합니다.

“그 결과, 해당 언어로 제공되는 정보의 양에 영향을 미칩니다.”

이러한 “평가절하”는 인터넷 곳곳에서 발견됩니다. 예를 들어 구글 번역의 초기 버전은 여러 과학 용어를 필리핀어로 욕설로 번역했는데, 정확한 번역을 위한 더 나은 데이터가 부족했던 것으로 보입니다.

하지만 림 씨는 “언어적 자부심의 고조”가 더 많은 필리핀 사람들이 모국어를 사용하도록 이끌고 있으며, 위키백과와 같은 사이트가 도움이 될 수 있다고 생각합니다.

“위키백과는 사람들이 모국어로 자신을 표현하고 복잡한 생각을 표현할 수 있도록 하는 해결책의 일부입니다.”

세부아노어 위키백과는 다른 용도로도 사용되었는데, 때로는 예상치 못한 곳에서 사용되기도 했습니다.

파란색과 흰색 셔츠를 입은 여성, 헤더 포드
시드니 공과대학교 커뮤니케이션학부 부교수 헤더 포드(사진 제공: 에반젤린 아구아스)

시드니 공과대학교 연구원 헤더 포드는 영어 위키백과에서 호주가 어떻게 묘사되는지 조사하는 연구팀의 일원입니다.

작년에 연구팀은 세부어 위키백과를 비교 대상으로 삼아 호주의 장소들이 어떻게 묘사되는지 살펴보았습니다.

연구진은 세부어 위키백과의 데이터베이스 기반 항목과 비교했을 때, 영어 위키백과는 호주의 도시에 더 중점을 두고 자연 경관에는 덜 중점을 두고 있음을 발견했습니다.

포드 박사는 “어떤 백과사전을 보는지가 [제공되는 정보의 측면에서] 중요하다는 점을 강조하고 싶었습니다.”라고 말합니다.

생성 AI 시대의 위키백과
요한슨 박사는 자신의 봇과 ChatGPT, 마이크로소프트의 Copilot과 같은 생성 AI 모델 사이에 명확한 경계를 그립니다.

“[Lsjbot]은 새로운 텍스트를 생성하지 않고, 기존 정보를 기존 템플릿에 패키징할 뿐입니다. 그 외 다른 작업은 할 수 없고, 아무것도 만들어내지 못합니다.”라고 그는 말합니다.

한편, AI 대규모 언어 모델은 무언가를 만들어냅니다. 신뢰할 수 있는 정보를 생성하는 것이 아니라 설득력 있게 들리도록 설계되었습니다.

“사실에 기반한 정보를 원한다면 매우 위험합니다. 허구이기 때문입니다.”라고 요한슨 박사는 말합니다.

포드 박사와 림 씨 모두 이 구분에 동의합니다.

“[lsjbot] 번역의 질에 대해서는 논쟁의 여지가 있지만, 근본적인 사실은 여전히 ​​사실입니다. 생성 AI에 대해서는 그렇게 말할 수 없습니다.”라고 림 씨는 말합니다.

하지만 그는 완전한 글을 쓰는 것에 대해서는 경고하면서도, 일부 위키피디언, 특히 모국어가 아닌 언어로 작업하는 사람들이 생성 AI의 활용법을 찾았다고 말합니다.

“생성 AI는 실제로 위키백과 문서를 다듬어 더욱 백과사전적인 느낌을 주고, 읽고, 그 진지함을 갖도록 도울 수 있습니다.”

OpenAI의 최신 GPT 정확성에 대한 의문 제기
사진: ChatGPT 홈페이지를 보여주는 노트북. ChatGPT 홈페이지를 보여주는 노트북.
OpenAI는 자체 개발한 측정 시스템을 기반으로 최신 챗봇이 “환각” 오류를 줄일 수 있다고 밝혔습니다. 그렇다면 이 시스템은 어떻게 작동하며, 무엇을 보여줄까요?

그는 AI가 생성한 텍스트를 포함할지 여부는 여전히 정확성을 확인할 수 있는 인간 편집자에게 달려 있다고 강조했습니다.

림 씨는 “저는 위키백과 사용자들이 이 문제에 대해 훨씬 더 신중하게 생각하고 있다고 생각합니다. 우리는 생성 AI가 하는 말을 무조건 믿지 않습니다.”라고 말했습니다.

위키백과에서 AI가 생성한 부분이 정확히 얼마인지는 알 수 없지만, 연구자들은 이를 알아내려고 노력했습니다.

최근 사전 인쇄본에서는 백과사전의 1~2%가 AI일 수 있다고 제안했고, 다른 논문에서는 최대 5%까지 AI가 포함될 수 있다고 주장했습니다.

포드 박사는 이 비율이 증가하면 lsjbot이 세부아노어를 사용했던 것처럼 모든 버전의 위키백과를 유지하기가 너무 어려워질 수 있다고 우려합니다.

“위키백과 사용자들이 백과사전에 무엇을 포함해야 하고 무엇을 포함해서는 안 될지 결정할 때, 그것은 단순히 저명성 문제만이 아닙니다.”라고 그녀는 말합니다.

“또한 노동의 문제이기도 합니다.”
위키백과는 대규모 언어 모델을 훈련하는 데 사용되기 때문에 AI가 생성한 자료를 추가하면 모델 붕괴의 위험도 있습니다.

AI 모델에서 발생하는 오류는 훈련에 사용되고 향후 AI 모델에 통합되어 오류를 더욱 심화시킬 수 있습니다. 림 씨가 요약했듯이, ‘쓰레기가 들어가면 쓰레기가 나온다’는 것입니다.

그는 “위키백과 문서를 생성하는 이 재귀 엔진을 사용하는 것이 반드시 우리에게 최선의 이익이 된다고 생각하지 않습니다.”라고 말합니다.

자동화는 위키백과에 있어 새로운 개념이 아닙니다. 하지만 생성적 AI는 새로운 위험과 이점을 가져다줍니다.

림 씨는 위키백과가 신뢰할 수 있는 자료로서의 위상을 유지하려면 위키백과 사용자들이 이러한 문제들을 조속히 해결해야 한다고 말합니다.

“저는 위키백과가 신뢰할 만하다고 믿지만, 동시에 오류가 있을 수 있다고 생각하며, 사실을 가지고 신의 뜻대로 행동해서는 안 된다고 생각합니다.”

받은 편지함으로 과학을
ABC 전체의 최신 과학 기사를 받아보세요.
귀하의 정보는 ABC 개인정보 수집 방침에 따라 처리됩니다.
이 사이트는 reCAPTCHA의 보호를 받으며, Google 개인정보처리방침과 서비스 약관이 적용됩니다.

이메일 주소
ozilbo07@gmail.com
구독
1시간 전 게시

Wikipedia’s largest non-English version was created by a bot. Generative AI poses new problems

• By Ellen Phiddian
• ABC Science
• Topic:Computer Science

1h ago1 hours ago

abc.net.au/news/wikipedia-cebuano-lsjbot-ai-article-generation-non-english/105123090

Link copiedShare article

With nearly 7 million articles, the English-language edition of Wikipedia is by many measures the largest encyclopedia in the world.

The second-largest edition of Wikipedia boasts just over 6 million articles. It isn’t French, or Spanish, or Chinese Wikipedia.

It’s Cebuano: a language spoken mostly in the southern Philippines.

But Cebuano Wikipedia didn’t grow with the help of thousands of volunteer editors, as its English counterpart did. Most of the articles come from one person: Swedish linguist Sverker Johansson.

Dr Johansson designed a program, dubbed “lsjbot”, which generated millions of articles in several languages, but particularly Cebuano.

It also laid bare a debate which Wikipedia has been grappling with since its inception, and which artificial intelligence (AI) is making ever more pressing.

How lsjbot ‘writes’ articles

Programs that automate parts of Wikipedia are nearly as old as the website itself.

These bots crawl the site, doing jobs such as fixing dead links, but many generate articles only a sentence or two long.

It was these article-producing bots that Dr Johansson encountered in the early 2010s, when he was writing and editing articles himself.

“I started thinking: I can do that. I can do better,” he says.

Lsjbot generates articles by taking information from online databases, mostly on biology and geography, and fitting the data into a set number of pre-written sentences.

“The core language model is a few hundred sentence templates, and then the bot will check which information is available,” Dr Johansson says.

An article about an animal, for instance, might start with the sentence “The X is a Y that belongs to the Z family”, with lsjbot filling in the blanks: lion, mammal, cat.What drives someone to contribute thousands of pages to Wikipedia?

Photo shows A man sitting next to a laptop with Wikipedia open

Meet the dedicated hobbyists from Western Australia  who commit their time to the free online encyclopedia.

While lsjbot could work in any language, most of its output has been in Cebuano. It’s so far generated a couple million articles on plants and animals, 4 million articles on geography, and a few articles on smaller categories such as chemical elements.

Dr Johansson chose to focus on Cebuano because it’s his wife’s native language. She helped him write the sentence templates.

“I’m not really fluent in her language, but I wanted to help anyway, and I figured this is a way I can do it,” he says.

He has also run the bot in Waray, another language from the Philippines, and his native Swedish.

The controversy around lsjbot

Lsjbot caused huge ripples through the Philippine Wikipedia community, and not all of them good.

Volunteers who create and maintain Wikipedia, called Wikipedians, found many of the Cebuano-language pages had grammatical and sometimes factual errors, thanks to imperfect translations.

The sheer number of articles was another problem. In a community of few editors, it was difficult to maintain or improve their quality.

In 2018, there was even a proposal to delete the entire Cebuano Wikipedia, including the small fraction of human-generated articles. It was rejected and strongly opposed by the official Philippine Wikimedia Community.

Irvin Sto. Tomas, a member of that community, says a small group of local Wikipedians has been trying to improve the quality of the Cebuano pages, including working with Dr Johansson on lsjbot.

“Unfortunately, there is so much to be done that volunteer editors alone cannot do,” Mr Tomas, who works with other Philippine-language Wikipedias, says.

Josh Lim, who also edits non-Cebuano Philippine Wikipedias, says automated bots caused reputation problems long before lsjbot.

An early version of Cebuano Wikipedia was composed mostly of thousands of articles on French communes, created by another bot. Articles on topics relevant to Cebuano speakers were sparse.

“You know how embarrassing that is?” Mr Lim says.

He also believes the huge number of bot-generated articles caused a “race to the bottom” among Philippine-language Wikipedias, with editors valuing quantity over quality.

Tagalog, the most widely spoken language in the Philippines, saw its Wikipedia grow in size as part of this race. At its largest, it boasted about 80,000 articles.

It now has half the number of pages it used to. Mr Lim and his fellow editors have been culling short articles for ease of maintenance.

Nevertheless, he believes Dr Johansson’s intentions were good.

“I think that what he did was right in the service of Wikipedia,” Mr Lim says.

He also thinks Wikipedians should not reject bots and automation tools outright.

“It speaks to this capacity, or lack thereof, on the part of Wikipedians to assess and embrace change.”

The Swedish Wikipedia community, meanwhile, first agreed to, and then pulled back from, lsjbot’s use.

Lsjbot has been largely inactive since 2021. Dr Johansson says that the debate around its use was part of his reason for retiring it.

Native languages devalued

Another reason Dr Johansson retired lsjbot was that it wasn’t achieving one of the aims he’d hoped it might: bringing a “critical mass” of readers and editors to Cebuano Wikipedia, catalysing a richer encyclopedia.

According to Wikimedia Statistics, Cebuano Wikipedia currently reels in tens of thousands of page views from the Philippines each month.

English Wikipedia, meanwhile, gets more than 100 million Filipino viewers per month.

Mr Lim says this is a broader problem with non-English Wikipedias. The Tagalog Wikipedia, for instance, receives about 2 million local hits per month.

“It’s just general colonial experience — our native languages have been devalued,” Mr Lim says.

“That, in turn, impacts the amount of information that is available in those languages.”

This “devaluing” appears all over the internet. An early version of Google Translate, for instance, translated a number of scientific terms into profanities in Filipino, apparently lacking better data to do it accurately.

But Mr Lim says an “upswell of linguistic pride” is drawing more Filipinos to use their native languages, and he believes sites like Wikipedia can help.

“Wikipedia is part of that solution to allow people to express themselves, and to express complicated thoughts, in their native language.”

Cebuano Wikipedia has had other uses — sometimes from unusual corners.

Heather Ford, a researcher at University of Technology Sydney, is part of a team investigating how Australia is depicted on English Wikipedia.

Last year, the team used Cebuano Wikipedia as a point of comparison to see how Australian places were portrayed.

They found that, compared to Cebuano’s database-generated entries, the English Wikipedia focused more on Australian cities, and less on natural features.

“We wanted to really make the point that it matters which encyclopedia you’re looking at [as to the information presented],” Dr Ford says.

Wikipedia in the age of generative AI

Dr Johansson draws a clear line between his bot and generative AI models, such as ChatGPT and Microsoft’s Copilot.

“[Lsjbot] does not produce any new text; it only packages existing information into existing templates. It can’t do anything else. It doesn’t invent anything,” he says.

AI large language models, meanwhile, do invent things — they’re designed to sound convincing, not to produce reliable information.

“They are very risky if you want factual information, because it’s fiction,” Dr Johansson says.

It’s a distinction both Dr Ford and Mr Lim agree with.

“We can debate the quality of the translations [of lsjbot], but the underlying facts are nevertheless true. We cannot say the same with generative AI,” Mr Lim says.

But while he cautions against writing whole articles, Mr Lim says some Wikipedians have found uses for generative AI — particularly those working in their non-native languages.

“Generative AI can actually help … polish Wikipedia articles so that they look, read and have that gravitas of being something that is more encyclopedic.”Accuracy of OpenAI’s newest GPT questioned

Photo shows A laptop showing the homepage of ChatGPT.

OpenAI says its latest chatbot should make fewer “hallucination” errors based on a measurement system the company devised. So how does it work, and what does it show?

He emphasises that the decision to include AI-generated text should still rest with a human editor, who can check its accuracy.

“I generally trust Wikipedians are much more thoughtful about this — that we don’t just believe what generative AI says, hook, line and sinker,” Mr Lim says.

It’s hard to tell exactly how much of Wikipedia has been AI-generated, although researchers have made attempts to find out. One recent preprint suggested the encyclopedia may now be one or two per cent AI, while another proposed as much as five per cent.

If this proportion grows, Dr Ford fears it may make all versions of Wikipedia too big to maintain, as lsjbot did with Cebuano.

“When Wikipedians make decisions about what should be on the encyclopedia and what shouldn’t, it’s not only about questions of notability,” she says.

“It’s also a question of labour.”

Because Wikipedia is used to train large language models, adding AI-generated material to it also runs the risk of model collapse.

Mistakes made by AI models would be used to train and be incorporated into future AI models, entrenching the errors. Or, as Mr Lim summarises: garbage in, garbage out.

“I don’t think that having this recursive engine to generate Wikipedia articles is necessarily in our best interest,” he says.

Automation is not a new concept for Wikipedia. But generative AI brings a new host of risks and benefits.

Mr Lim says Wikipedians will need to address these questions sooner rather than later if the site is to maintain its status as a trusted resource.

“I believe we are reliable, but I also believe that we are fallible, and we should not be playing God with facts.”

Science in your inbox

Get all the latest science stories from across the ABC.

Your information is being handled in accordance with the ABC Privacy Collection Statement.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

https://www.google.com/recaptcha/api2/anchor?ar=1&k=6LcNjL8lAAAAAB3chG8dvYH2LKi33r9xFw0kihjQ&co=aHR0cHM6Ly93d3cuYWJjLm5ldC5hdTo0NDM.&hl=ko&type=image&v=hbAq-YhJxOnlU-7cpgBoAJHb&theme=light&size=invisible&badge=bottomright&cb=du42elfracshEmail addressSubscribe

Posted 1h ago