Czy zrobimy robota menedżera z ChatGTP?

Posted by

W ostatnich miesiącach dużo mówi się o efektach rozwoju technologii, która powstała w firmie OpenAI i dzięki której powstał ChatGPT-4. Ogromne sukcesy tego przedsięwzięcia otwarły oczy wielu zwolennikom rozwoju sztucznej inteligencji, że może ona zagrozić wielu procesom społecznym, podszywać się pod realnych ludzi i tworzyć sztuczne, medialne byty zmieniające funkcjonowanie społeczeństw, a nawet grup państw.

Skoro jest to tak obiecująca technologia, długo zastanawiałem się, czy można ją wykorzystać do budowy robota menedżera. Aby odpowiedzieć sobie na pytanie, czy jest to możliwe, trzeba najpierw zrozumieć, jak działa ChatGTP w wersji 4.

Spójrzmy najpierw na histogram rozwoju tej technologii, który Guodong (Troy) Zhao zamieścił w swoim artykule zatytułowanym How ChatGPT really works, explained for non-technical people. Znajdziesz go tutaj:

https://bootcamp.uxdesign.cc/how-chatgpt-really-works-explained-for-non-technical-people-71efb078a5c9

W roku 2016 powstała firma OpenAI, której jednym z fundatorów był Elon Musk. Na początu zajmowała innymi rozwiązaniami w sztucznej inteligencji, ale w 2018 roku opracowała pierwszą wersję technologii GTP. Bazowała ona na modelach językowych oraz NLP (natural language processing). Podejście NLP dodało do typowych modeli językowych, opartych na prawdopodobieństwie wystąpienia słów w zdaniu, element losowy. Nawiasem mówiąc mamy dwa główne takie modele, polegające na uzupełnianiu kolejnego słowa w zdaniu (next-token-prediction) oraz brakującego słowa w pewnym ciągu słów (masked language modeling). A więc dzięki NLP zdania mogły być bardziej „ludzkie”, pełne synonimów i przypadkowych słów.

Technologia GPT (generative pre-trained transformer) zakładała, że model musi „rozumieć” kontekst sytuacji poprzez dwa mechanizm uwagi (attention), która uwzględnia jeszcze podobieństwo słów i ich wymienność. Jak to się działo? Mechanizm generowania zdań został „zasilony” treścią 7000 niepublikowanych książek. Pierwszy ChatGPT sam „przeczytał” te książki i starał się nauczyć reguł stosowania języka. Taka metoda nazywa się „unsupervised learning”, czyli bez nauczyciela człowieka.

Wersja GPT-2 z 2019 roku była wzbogacona o miliony stron internetowych, które zostały „przeczytane” przez mechanizm (transformer), a sam model językowy zawierał aż 1,5 miliona parametrów. Było to jeszcze lepsze rozwiązanie, zwłaszcza, że nadal stosowano metodę „unsupervised learning”.

Rok później powstał GPT-3. Użyto wtedy 175 milionów parametrów użycia języka naturalnego, a mechanizm został zasilony dodatkowo całą Wikipedią. Jednak okazało się, że jeśli nadal będzie stosowana metoda „unsupervised learning”, czyli bez nauczyciela człowieka, liczba błędnych odpowiedzi w konwersacji z człowiekiem wzrosła, a nie spadła. Dlatego naukowcy wpadli na pomysł, aby zmniejszyć liczbę parametrów do 1,3 miliona i jednocześnie zastosować jednak „supervised learning”, czyli wykorzystać ludzi jako ekspertów do wykalibrowania obrazu świata mechanizmu językowego. W ten sposób powstał GPT-4, czyli ChatGPT. Warto jednak zauważyć, że nadal GPT-3 ma przewagę nad ChatGPT w zakresie tworzenia długich i bardziej kreatywnych opowieści (prawdopodobnie dlatego, że nie jest ograniczona strukturą myślenia ludzkich nauczycieli).

Znając zatem drogę technologii GPT oraz jej sens można się zastanowić, czy z można z niej zrobić robota menedżera. Oczywiście, byłoby bardzo inspirujące, gdyby robot menedżer potrafił porozmawiać na każdy temat, był elokwentny i wiedział więcej niż wszyscy pracownicy firmy razem wzięci. Takie są cechy ChatGPT. Ale skąd taka gadająca głowa ma wiedzieć, co naprawdę robi menedżer? Nadal musiałby mechanizm ChatGPT w jakiś sposób śledzić, co robią ludzie menedżerowie. Ale w jaki sposób ma to wiedzieć z tysięcy książek, milionów stron internetowych czy od ekspertów ludzi? Nie jest to możliwe. Dlatego z ChatGPT prawdziwego robota menedżera nie zbudujemy. Szerzej, dlaczego tak właśnie jest, napiszę w kolejnym wpisie.