Rychlé shrnutí:

 

• Mistral je čerstvý vítr na poli AI
• Je zdarma
• Snadno se k němu dostanou i čeští učitelé
• Určitě stojí za to vyzkoušet

 

Severní vítr je krutý, to asi ví každý obyvatel naší rodné kotliny.  Málokdo ale asi ví, že tak by mohl znít i český překlad francouzského slova Mistral. A na závan svěžího větru z Francie netrpělivě čeká celý AI svět. Mistral AI je totiž název pařížského startupu, který přichází s vlastní odpovědí na velké jazykové modely, jako je například známější GPT, Gemini (dříve Bard) nebo Claude.

Pojďme se podívat, jestli je to vítr, vánek nebo jen vyčpělý závan.

Chlubí se tím, že svůj model trénoval mj. také na francouzštině, němčině, italštině a španělštině, a může tak konkurovat jiným modelům, které jsou nejsilnější třeba jen v angličtině. Takže Evropané už se těší, že konečně někdo porozumí jejich jazykovým a kulturním finesám. A protože celý systém údajně běží na „železe“ umístěném v sedmadvacítce, očekává se také větší porozumění takovým kulturním finesám jako je GDPR.

Dosud mohli služeb Mistralu využívat zejména tvůrci aplikací, kteří k němu přistupovali přes rozhraní API. Nyní ale firma spustila vlastní chatbot s francouzsky šarmantním názvem „Le Chat“, který nabízí velmi podobné rozhraní a služby jako chatboti od Open AI, Google a dalších.

 

JAK CHATBOT VYPADÁ?

Registrace: Služba je zatím k dispozici pouze jako beta k testování, nicméně nám se registrace podařila na tři kliknutí bez potíží na této adrese: https://chat.mistral.ai/

Rozhraní:  Jakoby z oka vypadlo ChatGPT. Uprostřed je konverzační okno, kam můžete napsat svůj dotaz (prompt) a nalevo je historie konverzací:

Přepínání mezi modely:  Zajímavý je ale horní pravý roh, kde je přepínač mezi třemi modely. Podobá se tak přepínači např. u Chat GPT, kde vybíráte mezi modelem GPT 3.5 (dnes už asi není důvod, proč ho učitel měl používat) a placeným modelem GPT 4.

 

MODELY

Vlajkovou lodí je model Large, který se dle vyjádření Mistralu téměř vyrovná GPT 4:

Model Large:

• je vycvičen na textech v angličtině, francouzštině, španělštině a němčině a slibuje velmi dobré porozumění jazykovému a kulturnímu kontextu
• nabízí kontextové okno 32K tokenů (pro srovnání GPT 3,5 má 2K tokenů, GPT 4 128K tokenů). Kontextové okno si představme např. jako velikost konverzace, po kterou vás bude systém schopen „usledovat“.

Model Small:

• slibuje kratší prodlevy a nižší náklady

Mistral Next:

• prototyp, který by měl být více přesný. Bohužel mnoho informací o tomto modelu zatím neuvádí ani jeho tvůrci na svých stránkách.

 

 

MISTRAL VE ŠKOLE

Nás pochopitelně zajímalo, jak si chatbot povede v typických „školních“ úlohách.

Zkusili jsme stejný prompt ve všech třech modelech:

 

Test 1 : Připrav hodinu

Standardní popis hodiny, čeština na přijatelné úrovni, bez zásadních faktických chyb. V ostatních modelech (Small, Next) byly výsledky srovnatelné.

 

Test 2 : Uprav článek z webu do hodiny

Poté jsme vyzkoušeli úlohu, na které si většina chatbotů láme zuby: Vezmi článek XY na webu, a uprav ho tak, aby … (zadání).

Není to špatné. Model Large se s úlohou popasoval obdobně, jako konkurenční Gemini nebo GPT4. Důležité ale je, že chatbot dokázal jít na web a článek si tam přečíst (i když dle informací na stránkách Mistralu by to umět neměl..).

 

Výsledek v modelu Small byl ale prachbídný:

Nejenže nesplnil zadání (resp. stejně špatně jako ostatní chatboti), ale dost na frak dostala i čeština a v dalších iteracích se nám chatbot snažil namluvit, že Elon Musk je ruský prezident.. 🙂

 

Test 3. : Hraní rolí

Vyzkoušeli jsme také, jak dobře dokáže chatbot hrát role a dávat zpětnou vazbu. Použili jsme prompt: „Budeme simulovat rozhovor žáka agresora a učitele. Ty jsi agresivní žák a já jsem učitel.

1. Napiš mi výrok žáka v přímé řeči a napiš kontext výroku.

2. Až dopíšeš výrok žáka v přímé řeči a kontext, tak počkej na moji odpověď! Moje odpověď se bude snažit být empatická. 3. Zhodnoť mou odpověď.“

Zde je odpověď v modelu Large:

Odpovědi v modelu Next byly srovnatelné. Model Small má opět mizernou češtinu:

 

Test 4 : Znalostní báze

Dále jsme si vyzkoušeli, kam až sahá znalostní báze chatbota:

V tom tedy Mistral výrazně zaostává za svými konkurenty, kteří mají databáze aktuálnější (např. GPT po duben 2023).

 

Test 5 : Tvorba obrázků

Zajímalo nás také, jestli chatbot umí kreslit:

 

Test 6 : Práce s rozsáhlými texty

Jaké poslední úlohu jsme si připravili práci s kontextovým oknem. Vzali jsme text Utopie od Thomase Moora v originále a požádali chatbota, aby nám z něj připravil hodinu:

 

Vstupní text má 43921 slov (133 normostran textu). Při pokusu nakopírovat do konverzačního okna všech 133 stran, se mi dostalo pochopitelné odpovědi, že text je příliš dlouhý. Ale když jsem do textu nakopíroval přibližně 40% textu, chatbot si s ním už poradil velmi dobře:

 

ZÁVĚR

Toto byla jenom rychlá ochutnávka, nikoliv skutečný test, nicméně už teď se nám zdá, že na premianty v oboru (GPT4, Copilot, Gemini, Claude) zatím ještě asi úplně nestačí, ale v modelu Large se jim velmi blíží. Pokud hledáte nástroj, který je zdarma (zatím) a z nějakého důvodu vám třeba nevyhovuje Copilot nebo Gemini, pak Mistral určitě stojí za to vyzkoušet.

+ zdarma

+ vcelku svižná rychlost

+ dokáže pracovat i s rozsáhlejšími texty, i když na premianty zatím nestačí

+ dokáže přistupovat na web

+ čeština s lehce francouzským nádechem, nicméně přijatelná

– neumí generovat obrázky

– starší znalostní báze

– absence pokročilejších funkcí

 

 

Vyzkoušel a sepsal: Andrej Novik

P.S.: Pokud vás testování různých modelů baví, zkuste použít https://chat.lmsys.org/, kde jich najdete asi dvacet dalších. (Za tip děkujeme Petře Dovhunové).