snimek-obrazovky-2024-01-09-095912

Testování chatbotů pro učení se cizích jazyků

Zajímá vás, jak chatboti obstáli jako virtuální zkoušející při výuce španělštiny? Nový článek na Učím s AI zkoumá výkon čtyř nejznámějších jazykových modelů. Přečtěte si podrobné srovnání a podělte se s námi o své zkušenosti s chatboty při učení jazyků!


Představme si následující situace:

1) Učíte se sami nějaký cizí jazyk a potřebujete si procvičit studovanou látku – třeba skloňování podstatných jmen, časování sloves nebo členy.

2) Jste rodič a vaše dítě školou povinné zítra píše z němčiny. Němčina mu moc nejde a vy byste mu chtěli pomoct, ale sami německy neumíte.

3) Jste učitel a ve třídě máte několik žáků, kterým byste rádi poskytli individualizovanou péči, ale není ve vašich silách se jim všem zvlášť věnovat.

Lze v takových případech použít chatbota jako virtuálního zkoušejícího? Protože nás samotné v ucimsAI.cz zajímalo, jak by v této roli jazykové modely obstály, otestovali jsme je pro vás. 

Do zkušebního klání jsme zapojili čtyři nejvyužívanější chatboty, tedy ChatGPT 3.5, ChatGPT 4, Bard a Bing, a předmětem testu byl španělský minulý čas pretérito indefinido.

Prompt

Majíce na paměti, že do požadavku je třeba zahrnout informaci o požadované roli chatbota i nás samotných a instrukce popsat co nejpřesněji, prompt jsme zformulovali následovně:

“Jsi učitel španělštiny a já jsem mírně pokročilý student španělštiny, který se učí španělsky druhým rokem na střední škole. Potřebuji procvičit minulé tvary sloves, to znamená pretérito indefinido de indicativo. Procvičovat můžeme následujícím způsobem: Ty mi napíšeš větu v češtině, a počkáš, až ji přeložím do španělštiny. Potom mi napíšeš vyhodnocení, tedy jestli byl překlad správný, a opravíš případné chyby. Opravuj mi veškeré chyby, které v překladu udělám, včetně členů, diakritiky, dělení slov nebo slovosledu.”

Výsledek testu

1. ChatGPT 3.5

Je fajn, když učitel umí sem tam přimhouřit oko, ale být ChatGPT 3.5 člověkem, uhnal by si snad ze samého mhouření oční vadu. Jako učitel/zkoušející je ChatGPT zkrátka až příliš benevolentní. Nevadí mu chybějící diakritika (která ovšem může ve španělštině měnit význam), často ani nesprávný slovosled nebo přebývající člen a když už se vyjádří k použitému lexiku, jeho komentář nedává tak docela smysl ([reakce na překlad věty “Včera jsem se vrátila z dovolené”]: “Vaše odpověď je téměř správná, ale použili jste sloveso „volvimos,“ což znamená „vrátili jsme se“. Správnější by bylo použít sloveso „regresamos,“ což je běžnější v tomto kontextu. Takže správně by to mělo být: „Regresamos de las vacaciones ayer.“)

Jako spolehlivého zkoušejícího tedy ChatGPT 3.5 nelze doporučit.

Ukázka z testu ChatuGPT 3.5

Odkaz na test:

  1. pokus https://chat.openai.com/share/17af8c81-761b-4ef0-bba8-eed511fc1b0e
  2. pokus https://chat.openai.com/share/810d4664-5653-4271-b9cb-5af0d2fd92d6 

2. ChatGPT4

Oproti svému bezplatnému bratrovi 3.5 byl ChatGPT 4 přesnější a na chyby častěji reagoval relevantním komentářem. Ani on však nebral ohled na nesprávně užité lexikum či kolokace, přehlédnul odlišnou osobu v překladu a ve větách umožňujících více interpretací (“Dědeček mi vyprávěl o svém dětství”) dostatečně nevysvětlil, v jakém kontextu přesně lze uvedený čas použít. Mezi věty fikaně začlenil i “chyták” v podobě věty s použitím imperfecta, což může být vítané, ale taky nemusí, neboť žák uvedený čas možná ještě vůbec nezná.

Kdyby nebylo zbytí, nad ChatemGPT 4 bychom tedy mohli přimhouřit oko zase my. Ale jelikož existují lepší alternativy, ChatGPT jako virtuálního zkoušejícího nedoporučujeme

ukázka z testu ChatuGPT 4

Odkaz na test: https://chat.openai.com/share/2832c737-c557-4ef6-a2ac-f133bdadef8c 

3. Bard

Bardovi bychom při testování rozhodně nemohli upřít snaživost. Skoro bychom ho mohli nazvat Plhou. Bard totiž svůj úkol splnil tak “dokonale”, že nabízené věty rovnou sám překládal – ba co víc, svůj vlastní překlad si následně hodnotil, a nám tím pádem nedal sebemenší prostor si cokoliv procvičit. Nepomohlo ani přeformulování promptu, ve kterém jsme zdůraznili, že nemá věty překládat sám. 

O takového zkoušejícího by patrně nikdo svědomitý příliš nestál. Bard tedy naším filtrem též neprošel.

Odkazy na testovací konverzace:

https://bard.google.com/chat/6149ecfca3150eed

https://bard.google.com/chat/8ff7f00ff8d97656

https://bard.google.com/chat/80f6d3153692a119

4. Bing

A máme tu posledního rytíře, který z celého testu vyšel jako jednoznačný vítěz. Bing se projevil jako přesný, věcný a spolehlivý učitel a naše představy splnil na jedničku. Jedinou jeho nevýhodou je limit dotazů, respektive replik (počítají se totiž odpovědi či dotazy obou stran, tedy váše i Bingovy) – ten činí 10 v anonymním režimu a 30 po přihlášení přes Microsoft účet. (Poznámka: V prosinci, kdy test probíhal, to bylo ještě 5 a 20, proto se na screenshotu zobrazuje “1 of 5”).

Abyste dosáhli stejně uspokojivých výsledků jako my, zvolte režim “Precise” / “Přesný” a poproste Binga rovnou o více vět najednou, čímž ušetříte dotazy.

Test: Bing

Shrnutí

Jediný model, který lze v současné době považovat za důvěryhodného asistenta, jenž by žákovi či studentovi pomohl učit se cizí jazyk bez chyb, je Bing. Jeho drobnou nevýhodou je limit dotazů v jedné konverzaci (10 bez přihlášení, 30 po přihlášení), což vylučuje vysoce interaktivní “tenisovou” konverzaci, kdy chat servíruje věty v samostatných promptech a my je jednu po druhé překládáme. Pokud však prompt naformulujeme tak, aby nám Bing nabídl více vět najednou, účel splní skvěle. 

Už jste taky zkoušeli využít chatbota k podobným účelům? Podělte se s námi a ostatními kolegy-učiteli o své zkušenosti v komentářích!

Autor článku: Veronika Löw


Komentáře

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *