{"id":4399,"date":"2024-04-03T19:06:09","date_gmt":"2024-04-03T19:06:09","guid":{"rendered":"http:\/\/architeles.eu\/ethics\/?p=4399"},"modified":"2024-04-05T10:54:14","modified_gmt":"2024-04-05T10:54:14","slug":"chatgpt-w-pracy-data-scientista-mozliwosci-automatyzacji-w-analizie-danych-jak-interpretowac-wyniki-i-jaka-jest-ich-jakosc","status":"publish","type":"post","link":"https:\/\/architeles.eu\/ethics\/index.php\/2024\/04\/03\/chatgpt-w-pracy-data-scientista-mozliwosci-automatyzacji-w-analizie-danych-jak-interpretowac-wyniki-i-jaka-jest-ich-jakosc\/","title":{"rendered":"ChatGPT w pracy data scientista. Mo\u017cliwo\u015bci automatyzacji w analizie danych. Jak interpretowa\u0107 wyniki i jaka jest ich jako\u015b\u0107."},"content":{"rendered":"

Jako model j\u0119zykowy, nie jestem wstanie przeprowadza\u0107 analiz jednak wed\u0142ug mojej wiedzy… Czy widzia\u0142e\u015b kiedy\u015b tekst opublikowany przez cz\u0142owieka b\u0119d\u0105cy tak naprawd\u0119 napisany przez sztuczn\u0105 inteligencj\u0119 a ludzkiemu „autorami” zapomnia\u0142o si\u0119 nawet usun\u0105\u0107 zdania w kt\u00f3rym model przyznaje si\u0119 do autorstwa? W poni\u017cszym wpisie chcemy przedyskutowa\u0107 jak data scientist mo\u017ce korzysta\u0107 z ChataGPT oraz jak powinien robi\u0107 to w spos\u00f3b etyczny.<\/strong><\/p>\n

Wprowadzenie<\/span><\/h2>\n

W ostatnim czasie praca data scientista cieszy si\u0119 coraz wi\u0119kszym zainteresowaniem. Zajmuj\u0105 si\u0119 oni zbieraniem, przetwarzaniem i analizowaniem a tak\u017ce tworzeniem modeli m.in. machine learningowych w celu odkrycia wzorc\u00f3w czy wykonywania predykcji. W tym artykule chcemy poruszy\u0107 temat wsp\u00f3\u0142pracy analityk\u00f3w w jednym z najwa\u017cniejszych innowacji ostatnich lat czyli z du\u017cymi modelami j\u0119zykowymi jak ChatGPT. ChatGPT pozwala u\u017cytkownikowi na uzyskiwaniu odpowiedzi na przer\u00f3\u017cne pytania poprzez zadawanie pyta\u0144 w j\u0119zyku naturalnym. Umiej\u0119tno\u015b\u0107 ta wraz z posiadaniem ogromnej ilo\u015bci wiedzy pozwala na generowanie odpowiedzi na skomplikowane pytania z niespotykan\u0105 do tej pory dok\u0142adno\u015bci\u0105. W poni\u017cszym wpisie przedstawimy jak analityk mo\u017ce wykorzysta\u0107 du\u017ce modele j\u0119zykowe w swojej pracy i jakie korzy\u015bci mo\u017ce z tego osi\u0105gn\u0105\u0107. Wska\u017cemy r\u00f3wnie\u017c zagro\u017cenia i limitacje generatywnej sztucznej inteligencji.<\/span><\/p>\n

\"\"
Data scientist working with ChatGPT by DALL\u00b7E<\/figcaption><\/figure>\n

Wyja\u015bnianie koncepcji<\/span><\/h2>\n

W pracy analityka danych poza umiej\u0119tno\u015bciami zwi\u0105zanymi w przetwarzaniem i analiz\u0105 danych wa\u017cn\u0105 rol\u0119 pe\u0142ni r\u00f3wnie\u017c wiedza domenowa danego projektu. Wiedza ta jest zale\u017cna od projektu i bardzo cz\u0119sto bywa skomplikowana b\u0105d\u017a jest bardzo specjalistyczna co powoduje \u017ce ludzie spoza bran\u017cy, w tym analityk danych nie s\u0105 z ni\u0105 zaznajomieni. Jednocze\u015bnie znajomo\u015b\u0107 tej wiedzy bardzo cz\u0119sto pozwala na zrozumienie czego oczekuje od analityka klient czy lepsze zrozumienie badanego problemu co bardzo pomaga w realizacji projektu. Wymaga to od analityka zaznajomienie si\u0119 z wiedz\u0105 domenow\u0105, co niekiedy bywa trudne. W tym celu analityk mo\u017ce skorzysta\u0107 z ChataGPT, kt\u00f3ry mo\u017ce pom\u00f3c w wyja\u015bnieniu niezrozumia\u0142ych element\u00f3w wiedzy domenowej. Dodatkowo, dzi\u0119ki swojej interaktywno\u015bci analityk mo\u017ce wykorzysta\u0107 go do zapytania o kolejne niezrozumia\u0142e aspekty danej dziedziny co pozwala na szybkie zapoznanie si\u0119 z nieznanym tematem.<\/span><\/p>\n

Dawanie pomys\u0142\u00f3w<\/span><\/h2>\n

ChatGPT jako model generatywny stanowi \u015bwietne \u017ar\u00f3d\u0142o pomys\u0142\u00f3w i inspiracji. B\u0119d\u0105c analitykiem danych mo\u017cna w ka\u017cdej chwili opisa\u0107 stan projektu na jakim si\u0119 znajdujemy i poprosi\u0107 o sugestie dotycz\u0105ce w\u0142asnych krok\u00f3w. ChatGPT bardzo ch\u0119tnie udzieli odpowiedzi sugeruj\u0105c nast\u0119pne kroki, zadaniem analityka b\u0119dzie wtedy wybranie tych krok\u00f3w kt\u00f3re uzna za potencjalnie pomocne i odrzucenie tych kt\u00f3re nie znajd\u0105 zastosowania w dziedzinie. Nie jest to jednak jedyny spos\u00f3b w jaki du\u017ce modele j\u0119zykowe mog\u0105 pom\u00f3c w pracy analitykowi. Kolejnym mo\u017cliwym zastosowaniem jest zdobywanie informacji na temat danych potrzebnych w danym projekcie. Zaczynaj\u0105c projekt jednym z pierwszych etap\u00f3w jest znalezienie jak najwi\u0119kszej ilo\u015bci jak najlepszych danych kt\u00f3re dostarcz\u0105 nam jak najwi\u0119cej informacji. W tym celu mo\u017cemy zapyta\u0107 Chata jakie dane mog\u0105 okaza\u0107 si\u0119 przydatne. O ile analityk posiadaj\u0105c pewn\u0105 wiedz\u0119 domenow\u0105 wie jakich danych b\u0119dzie potrzebowa\u0142 ChatGPT mo\u017ce tutaj stanowi\u0107 \u015bwietne uzupe\u0142nienie i zaoferowa\u0107 nowe typy danych kt\u00f3re mog\u0105 okaza\u0107 si\u0119 przydatne. Poza wy\u017cej wymienionymi mo\u017cliwo\u015bciami wsparcia ChatGPT mo\u017ce r\u00f3wnie\u017c sugerowa\u0107 co w danym projekcie b\u0119dzie warte uwagi. Warto doda\u0107 tutaj \u017ce korzystanie w generatywnej sztucznej inteligencji wymaga od analityka umiej\u0119tno\u015bci filtrowania jej odpowiedzi i bardzo cz\u0119sto aplikowania tylko niewielkiej cz\u0119\u015bci jego odpowiedzi gdy\u017c wi\u0119kszo\u015b\u0107 b\u0119dzie bardzo cz\u0119sto b\u0142\u0119dna.<\/span><\/p>\n

Eksploracyjna Analiza Danych<\/span><\/h2>\n

Eksploracyjna analiza danych to nic innego jak podchodzenie do danych z ciekawo\u015bci\u0105 i umiej\u0119tno\u015bciami detektywistycznymi. To proces, w ramach kt\u00f3rego zastanawiamy si\u0119, co te dane w\u0142a\u015bciwie m\u00f3wi\u0105 i jakie histori\u0119 skrywaj\u0105. Przy pomocy r\u00f3\u017cnych technik staramy si\u0119 zg\u0142\u0119bi\u0107 ich tajemnice, odkrywa\u0107 wzorce, zale\u017cno\u015bci, trendy, anomalie, a czasami nawet kwestie, kt\u00f3re wymagaj\u0105 dalszej naprawy – takie jak brakuj\u0105ce warto\u015bci czy b\u0142\u0119dy.<\/span><\/p>\n

J\u0119zyk SQL jest tutaj niezmiernie wa\u017cny. Dlaczego? Poniewa\u017c jest to j\u0119zyk, kt\u00f3ry pozwala „rozmawia\u0107” z bazami danych. SQL pozwala na realizacj\u0119 szeregu operacji potrzebnych do przeprowadzenia eksploracyjnej analizy – takich jak wyb\u00f3r konkretnych kolumn, filtrowanie rekord\u00f3w, sortowanie danych, a tak\u017ce zaawansowane operacje, jak \u0142\u0105czenie tabel, agregacja czy transformacja danych.<\/span><\/p>\n

Potencja\u0142 wykorzystania du\u017cych modeli j\u0119zykowych (Large Language Models – LLM), takich jak ChatGPT, w kontek\u015bcie pracy z SQL jest ogromny. Te inteligentne systemy s\u0105 w stanie zrozumie\u0107 pytania zadane w naturalnym j\u0119zyku i przet\u0142umaczy\u0107 je na zapytania SQL. Dzi\u0119ki temu analityk, zamiast samodzielnie pisania z\u0142o\u017conych zapyta\u0144, mo\u017ce skupi\u0107 si\u0119 na formu\u0142owaniu pytania dotycz\u0105cego danych, a model j\u0119zykowy wygeneruje odpowiednie zapytanie. To nie tylko przyspiesza zadania zwi\u0105zane z analityk\u0105, ale tak\u017ce sprzyja efektywno\u015bci, tym bardziej, gdy stajemy przed wyzwaniem analizy du\u017cych zbior\u00f3w danych.<\/span><\/p>\n

R\u00f3wnie wa\u017cne jest, \u017ce techniki takie jak RAG (Retrieval-Augmented Generation), s\u0105 w stanie zasili\u0107 te modele informacj\u0105 specyficzn\u0105 dla danego przedsi\u0119biorstwa. Poprzez konkretn\u0105 faz\u0119 wyszukiwania, RAG skanuje dost\u0119pn\u0105 baz\u0119 wiedzy, szukaj\u0105c relewantnych dokument\u00f3w dla zadanego pytania i zasila nimi kontekst LLMa w celu wygenerowania odpowiedzi. Dzi\u0119ki temu, odpowiedzi generowane przez model s\u0105 nie tylko powi\u0105zane z og\u00f3lnodost\u0119pn\u0105 wiedz\u0105, na kt\u00f3rej model zosta\u0142 nauczony, ale tak\u017ce z wiedz\u0105 specyficzn\u0105 dla danej organizacji.\u00a0<\/span><\/p>\n

\"How<\/a>
Vanna AI. \u0179r\u00f3d\u0142o https:\/\/vanna.ai\/docs\/<\/figcaption><\/figure>\n

Aktualnie na rynku pojawia si\u0119\u00a0coraz wi\u0119cej rozwi\u0105za\u0144 kt\u00f3re umo\u017cliwiaj\u0105 komunikacj\u0119 z bazami danych w j\u0119zyku naturalnym, kt\u00f3re wykorzystuj\u0105 RAG w celu zaopatrzenia modelu w dodatkowe informacje, jak przyk\u0142adowe zapytania SQL, opisy schemat\u00f3w danych i dokumentacja. Przyk\u0142adem takiego systemu jest <\/span>Vanna AI<\/b><\/p>\n

Kolejnym wa\u017cnym narz\u0119dziem szeroko stosowanym do eksploracji danych, jest j\u0119zyk Python, oraz biblioteka Pandas. Pandas umo\u017cliwia swobodne manipulowanie danymi, zapewniaj\u0105c te same mo\u017cliwo\u015bci co j\u0119zyk SQL i du\u017co wi\u0119cej, b\u0119d\u0105c przy tym te\u017c bardziej skomplikowana. Pandas AI<\/strong> natomiast to rozszerzenie biblioteki pandas, kt\u00f3re wykorzystuje sztuczn\u0105 inteligencj\u0119 do u\u0142atwienia interakcji z danymi. Pozwala na wprowadzanie zapyta\u0144 do danych w j\u0119zyku naturalnym, co u\u0142atwia eksploracj\u0119 danych osobom, kt\u00f3re nie maj\u0105 du\u017cego do\u015bwiadczenia w pisaniu kodu. Oferuje wszystkie funkcjonalno\u015b\u0107 do wst\u0119pnego przetwarzania danych, tak\u0105 jak czyszczenie danych i generowanie nowych cech. <\/span>Potrafi tak\u017ce generowa\u0107 r\u00f3\u017cne wykresy kt\u00f3re opisuj\u0105\u00a0zadan\u0105 analiz\u0119, oraz mo\u017ce \u0142\u0105czy\u0107 si\u0119 z wieloma formatami i \u017ar\u00f3d\u0142ami danych, jak lokalne pliki CSV, czy zdalne hurtownie danych takie jak BigQuery.<\/span><\/p>\n

<\/p>\n

\n
import<\/span> os<\/span>\r\nfrom<\/span> pandasai<\/span> import<\/span> SmartDataframe\r\n\r\n# You can instantiate a SmartDataframe with a path to a CSV file<\/span>\r\nsdf =<\/span> SmartDataframe(\"data\/Loan payments data.csv\"<\/span>)\r\n\r\nresponse =<\/span> sdf.<\/span>chat(\"How many loans are from men and have been paid off?\"<\/span>)\r\nprint<\/span>(response)\r\n# Output: 247 loans have been paid off by men.<\/span><\/pre>\n<\/div>\n
Oba z wymienionych rozwi\u0105za\u0144 s\u0105 bezpieczne w u\u017cyciu, poniewa\u017c \u017cadne nie ma wgl\u0105du bezpo\u015brednio do danych, a jedynie do ich schematu, a \u017ceby odpowiedzie\u0107 na zadane pytania generuj\u0105\u00a0kod kt\u00f3ry nast\u0119pnie jest uruchamiany na naszej maszynie.<\/span><\/p>\n
Generowanie raport\u00f3w<\/span><\/h2>\n
Ostatni\u0105 rzecz\u0105 omawian\u0105 w tym wpisie do kt\u00f3rej data scientist mo\u017ce u\u017cy\u0107 generatywnej sztucznej inteligencji jest generowanie raport\u00f3w. W pracy analitycy bardzo cz\u0119sto otrzymuj\u0105 zadanie napisania raportu na dany temat. ChatGPT mo\u017ce pe\u0142ni\u0107 tutaj bardzo du\u017c\u0105 rol\u0119. Jedn\u0105 z najwa\u017cniejszych jest oszcz\u0119dno\u015b\u0107 czasu gdy\u017c chat potrafi w bardzo kr\u00f3tkim czasie wygenerowa\u0107 du\u017c\u0105 ilo\u015b\u0107 dobrego tekstu. W po\u0142\u0105czeniu z dobrym promptem wype\u0142nionym np. wypunktowanymi informacjami jakie u\u017cy\u0107 w raporcie, przygotowanie takiego raportu zajmie dos\u0142ownie chwil\u0119. Dodatkowo maj\u0105c napisan\u0105 jak\u0105\u015b wersj\u0119 raportu mo\u017cemy bez problemu zada\u0107 chatowi zmieni\u0107 jego styl. Do takich polece\u0144 mo\u017cemy zaliczy\u0107 wypunktowanie wniosk\u00f3w czy przepisanie raportu aby bardziej skupia\u0142 si\u0119 na okre\u015blonej kwestii a pomija\u0142 inne a tak\u017ce uczynienie go bardziej anga\u017cuj\u0105cym lub bardziej formalnym.<\/span><\/p>\n
Podsumowanie<\/span><\/h2>\n
Podsumowuj\u0105c, ChatGPT jest bardzo przydatnym narz\u0119dziem dla data scientista i potrafi znacz\u0105co zwi\u0119kszy\u0107 jego produktywno\u015b\u0107. Jego u\u017cytkownik musi jednak umie\u0107 z niego korzysta\u0107 i pami\u0119ta\u0107 o kilku elementach. Po pierwsze ChatGPT jako model sztucznej inteligencji mo\u017ce cechowa\u0107 si\u0119 pewnymi uprzedzeniami i biasami, nasz\u0105 rol\u0105 jest sprawdzenie jego odpowiedzi pod tym kontem. Warto przyzna\u0107 \u017ce poczyniono du\u017c\u0105 prac\u0119 nad niepozwalaniem modelowi na generowanie takich odpowiedzi. Kolejn\u0105 rzecz\u0105 jak\u0105 warto mie\u0107 na uwag\u0119 s\u0105 prawa autorskie i o ile model nie powinien pope\u0142nia\u0107 plagiat\u00f3w – zdarza\u0142y si\u0119 sytuacje w kt\u00f3rych powtarza\u0142 z kosmetycznymi zmianami d\u0142ugie fragmenty tekstu bez podania autora.<\/span><\/p>\n
Kolejna cecha ChataGPT potrafi przy stworzy\u0107 du\u017co problemu osobie niezaznajomionej z metod\u0105 dzia\u0142ania modelu, mowa tutaj o halucynacjach kt\u00f3re objawiaj\u0105 si\u0119 b\u0142\u0119dnymi odpowiedziami zwracanymi przez model, co gorsze model b\u0119dzie twierdzi\u0142 \u017ce dana odpowied\u017a jest poprawna. Czasem takie b\u0142\u0119dy s\u0105 proste do wykrycia jak link kt\u00f3ry nie prowadzi do \u017cadnej strony jednak czasem b\u0142\u0105d mo\u017ce by\u0107 bardziej subtelny. Ka\u017cdy u\u017cytkownik a w szczeg\u00f3lno\u015bci data scientist musi umie\u0107 wykrywa\u0107 takie b\u0142\u0119dy \u017ceby nie otrzyma\u0107 b\u0142\u0119dnej czy bezsensownej odpowiedzi.<\/span><\/p>\n
Nast\u0119pn\u0105 rzecz\u0105 na jak\u0105 nale\u017cy zwr\u00f3ci\u0107 uwag\u0119 korzystaj\u0105c z Chata jest to \u017ce by\u0142 trenowanych na archiwalnych danych i nie b\u0119dzie z tego powodu posiada\u0142 informacji o artykule wydanym tydzie\u0144 temu czy o najnowszych odkryciach w badanej przez analityka dziedzinie. Z tego powodu w momencie gdy pracujemy w dynamicznie zmieniaj\u0105cej si\u0119 bran\u017cy to musimy sami zaznajomi\u0107 si\u0119 z najnowszymi informacjami tak jak robili\u015bmy to w erze poprzedzaj\u0105cej pojawienie si\u0119 du\u017cych modeli j\u0119zykowych.<\/span><\/p>\n
Ograniczenia te wymagaj\u0105 aby traktowa\u0107 du\u017ce modele j\u0119zykowe nie jako wyrocznie ale jako kolejne narz\u0119dzie kt\u00f3re jest wstanie pope\u0142nia\u0107 b\u0142\u0119dy. Jako cz\u0142owiek stoimy na stra\u017cy tego aby wykorzystywa\u0107 now\u0105 technologie w spos\u00f3b rozwa\u017cny oraz etyczny tak aby s\u0142u\u017cy\u0142a nam oraz reszcie spo\u0142ecze\u0144stwa.<\/span><\/p>\n
 <\/p>\n
Bibliografia<\/span><\/h2>\n
Abid, A.A. (2023, Marzec). A Guide to Using ChatGPT For Data Science Projects. datacamp. https:\/\/www.datacamp.com\/tutorial\/chatgpt-data-science-projects<\/p>\n
John, P. (2023, Czerwiec, 28). How To Use ChatGPT: Data Analyst & Data Scientist Use Cases. Medium. https:\/\/medium.com\/learning-data\/how-to-use-chatgpt-data-analyst-data-scientist-use-cases-f8055bbdfdfc<\/p>\n
Lisa, K. (2023, Maj, 3). Explained: ChatGPT Automation for Data Science. Medium. https:\/\/data-analysis-lisa-kim.medium.com\/explained-chatgpt-automation-for-data-science-aa6906d51328<\/p>\n
Gaurav, A. (2023). ChatGPT: your secret weapon for data science success.<\/p>\n
Algirdas, J. (2023, Kwiecie\u0144, 10). Step-by-step Guide to Using ChatGPT to Write a Report, Thesis and Dissertation. wps. https:\/\/www.wps.com\/blog\/step-by-step-guide-to-using-chatgpt-to-write-a-report-thesis-and-dissertation\/<\/p>\n
Parashar, S. Harkanwal, B. (2024, Luty, 14). Context-aware code generation: Retrieval augmentation and Vertex AI Codey APIs. https:\/\/cloud.google.com\/blog\/products\/ai-machine-learning\/context-aware-code-generation-rag-and-vertex-ai-codey-apis\/<\/p>\n
Michael, M. G. (2023, Grudzie\u0144, 27). The Times Sues OpenAI and Microsoft Over A.I. Use of Copyrighted Work. The New York Times. https:\/\/www.nytimes.com\/2023\/12\/27\/business\/media\/new-york-times-open-ai-microsoft-lawsuit.html<\/p>\n
(2024, Kwiecie\u0144, 3). How Vanna Works. https:\/\/vanna.ai\/docs\/<\/p>\n
(2024, Kwiecie\u0144, 3). PandasAI. https:\/\/docs.pandas-ai.com\/en\/latest\/<\/p>\n","protected":false},"excerpt":{"rendered":"
Jako model j\u0119zykowy, nie jestem wstanie przeprowadza\u0107 analiz jednak wed\u0142ug mojej wiedzy… Czy widzia\u0142e\u015b kiedy\u015b tekst opublikowany przez cz\u0142owieka b\u0119d\u0105cy tak naprawd\u0119 napisany przez sztuczn\u0105 inteligencj\u0119 a ludzkiemu „autorami” zapomnia\u0142o si\u0119 nawet usun\u0105\u0107 zdania w kt\u00f3rym model przyznaje si\u0119 do autorstwa? W poni\u017cszym wpisie chcemy przedyskutowa\u0107 jak data scientist mo\u017ce korzysta\u0107 z ChataGPT oraz jak […]<\/p>\n","protected":false},"author":211,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[351],"tags":[15,246,43,279,229],"class_list":["post-4399","post","type-post","status-publish","format-standard","hentry","category-agh-2023-24","tag-ai","tag-chatgpt","tag-data-science","tag-llm","tag-openai"],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts\/4399","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/users\/211"}],"replies":[{"embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/comments?post=4399"}],"version-history":[{"count":11,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts\/4399\/revisions"}],"predecessor-version":[{"id":4477,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/posts\/4399\/revisions\/4477"}],"wp:attachment":[{"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/media?parent=4399"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/categories?post=4399"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/architeles.eu\/ethics\/index.php\/wp-json\/wp\/v2\/tags?post=4399"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}