Sprawdź czy jesteś gotowy do NIS2!

Podcast – Czy Twoja firma przetrwa? – IBM WatsonX AI

Zapraszamy do wysłuchania rozmowy dwóch ekspertów z branży technologicznej: Mariusza Jażdżyka z firmy ESKOM oraz Michała Wojtkowiaka z Arrow, dystrybutora rozwiązań IBM. W tym odcinku pochylamy się nad kluczowymi wyzwaniami i możliwościami, jakie niesie za sobą rozwój sztucznej inteligencji, w szczególności w kontekście dużych modeli językowych oraz platform takich jak IBM Watson X. Zastanowimy się, jak efektywnie wdrażać AI w firmach, jakie problemy wiążą się z harmonizacją i zabezpieczeniem danych oraz jak technologia może wspierać osiąganie celów biznesowych. Posłuchajcie, jakie praktyczne wskazówki mają nasi goście dla przedsiębiorców i liderów, którzy chcą skutecznie wykorzystać potencjał AI w swoich organizacjach.

Mariusz Jażdżyk: Dzień dobry. Nazywam się Mariusz Jażdżyk, reprezentuję firmę ESKOM. Dzisiaj mamy przyjemność porozmawiać z Michałem z firmy Arrow. Firma Arrow jest dystrybutorem rozwiązań IBM. Powiedz, Michał, więcej o tym czym się zajmujesz.

Michał Wojtkowiak: W Arrow jestem odpowiedzialny za dystrybucję właśnie oprogramowania IBM i dzisiaj od strony technicznej przyjrzymy się i odpowiemy sobie na niektóre problematyki na podstawie doświadczenia Mariusza, jak możemy pozycjonować Watson X w problemach właśnie pracy i to na modelach sztucznej inteligencji oraz po prostu pracy w data analityce. Zanim do tego przejdziemy, jeszcze tutaj chciałbym nawiązać do samego początku, ponieważ wiemy po wszystkich prezentacjach i naszym doświadczeniu, że sztuczna inteligencja nie jest z nami od półtorej roku, tylko od dekad. Ciekawi mnie właśnie ten element burzy, która w przeciągu ostatnich dwóch lat rozpętała się na rynku, gdzie patrzymy dookoła – wszędzie co widzimy to reklamy, że wszystkie usługi wszyscy vendorzy zaimplementowali w swoich środowiskach sztuczną inteligencję. Dlaczego to się tak rozniosło?

Mariusz Jażdżyk: To prawda, wiele wydarzyło się w ciągu ostatnich miesięcy, szczególnie rozpoczęcie takiego masywnego wykorzystania dużych modeli językowych spowodowało coś, co wiele osób nazywa rewolucją. Pytanie: czy to jest rewolucja, czy to nie jest rewolucja czy to było z nami od dawna, czy to jest od zeszłego roku? Oczywiście to wszystko trwa, trwa dziesiątki lat, algorytmy były wymyślane wcześniej. Jednakże to, co wydarzyło się w zeszłym roku, spowodowało bardzo dużą zmianę. Ja osobiście, jak zobaczyłem pierwsze modele Chata, doznałem takiego olśnienia, jakiego doznałem, gdy byłem mały i zobaczyłem, jak się programuje. Po prostu możliwość programowania była dla mnie czymś genialnym i tak samo możliwość rozmawiania z modelem była czymś zaskakującym, chociaż już wiele lat wcześniej wiedziałem, jak działają te modele, ale modele na takiej ilości parametrów przeszły oczekiwania nie tylko moje, ale też wielu osób.

Michał Wojtkowiak: Ten niesamowity efekt kuli śnieżnej, gdzie jeszcze dwa lata temu firmy chwaliły się tym, że pracowały na modelach, które miały miliony parametrów i to już był sukces w takim właśnie wykonywaniu zadań generatywnej sztucznej inteligencji, a w przeciągu tych roku, dwóch mamy już modele, które mają po miliardy parametrów i to pokazuje nam, jak szybko się ta technologia rozwija. Jednak może nie martwiąc, a może i tak, że w pewnym momencie każdy przedsiębiorca stanie przed tym zadaniem, żeby musieć pogodzić się z takim przepływem tej sztucznej inteligencji w naszych środowiskach. Powiedz mi, może, jak zacząć tę przygodę, żebyśmy po prostu nie obudzili się w pewnym momencie z ręką w nocniku, że już jesteśmy zmuszeni na rynku żeby tę sztuczną inteligencję implementować.

Mariusz Jażdżyk: Tak jak mówisz, wydaje się, że nie ma od tego odwrotu i wydaje się, że firmy, które nie zastosują AI do swoich procesów odpowiednio, faktycznie pozostaną w tyle. To tak jak mówiąc 20 lat temu: kto nie ma strony internetowej albo kto nie jest obecny w social mediach. Jak zacząć? To jest bardzo dobre pytanie, wielokrotnie na nie odpowiadałem. W przypadku projektów, które mają wycisnąć wartość z danych, przede wszystkim należy rozpocząć od celu biznesowego. Jestem przekonany i widziałem to wielokrotnie, że w momencie, w którym skupiamy się tylko i wyłącznie na technologii, projekt jest porażką. To jest pewnik. Rozpoczęcie od celu biznesowego, od tego, co chcemy poprawić w danym procesie, w procesach. Czy stawiamy na wzrost liczby klientów, czy na minimalizację ubytku tych klientów, czy na czymś jeszcze innym, czy na oszczędnościach. To jest konkretny cel, który jest dobrze zrozumiały przez szefa marketingu, szefa sprzedaży, szefa finansów lub innego decydenta biznesowego. Tak więc skupienie się na celu biznesowym, a dalej pójście ścieżką, która pozwala – ja powiem, że narzędzia dobrze tutaj pomagają – i IBM, o którym tutaj wcześniej rozmawialiśmy, faktycznie na samym początku w Watsonie użytkownik biznesowy może zdefiniować use case i co się z nim dalej dzieje.

Michał Wojtkowiak: Tutaj chciałem jeszcze nawiązać samą już platformą, że poszukujemy tego łatwego startu w tym, żeby się odnaleźć w tej harmonii bazy danych. I to, jak powiedziałeś, że pracowałeś dla dużych firm, gdzie mieliście bardzo duże bazy danych komunikacyjnych, i problem pojawiał się tam, gdzie pojawił się chaos, tak, gdzie mamy te dane i one nie są oznaczone, nieustrukturyzowane i możemy się pogubić, i w budowaniu samego działania naszej sztucznej inteligencji, gdzie ona się jednak opiera na modelach, opierają się na tych danych. Potrzebujemy takich platform, gdzie po pierwsze będziemy mieli ustrukturyzowane dane, nawet jakich nie mamy ustrukturyzowanych, to nasza platforma pomaga nam w nich działać. I ten przepływ między obszarami, zespołami, tak, gdzie mamy z jednej strony dostęp do 20-30 użytkowników deweloperów kodu, może odnajdywać się w jednej platformie, którą jest na przykład Watson X.

Mariusz Jażdżyk: Bardzo wiele firm zapomina o tej warstwie danych, tymczasem tak naprawdę wszystko, co robimy, budujemy w oparciu o AI. Pod spodem ma tę warstwę. Statystyki rynkowe mówią, że 80% kosztów projektu analitycznego to zbudowanie tej warstwy danych. Chociaż często jest to pomijane, wydaje się, że warto skupić się na algorytmach. Jednakże naprawdę 80% całego wysiłku projektowego idzie właśnie tym wątek, który ma na celu zlikwidowanie chaosu, o którym powiedziałeś. Jeśli pozostawimy chaos na tej warstwie danych, niewiele dostaniemy z tego biznesowo. Wydaje się to trochę abstrakcyjne. Wydaje nam się w tej chwili, że algorytmy są w stanie zagwarantować nam pewien skrót do sukcesu. Jednakże jeśli pójdziemy tym skrótem, to wcześniej czy później trzeba będzie wrócić. I tak jak mówisz, platformy bardzo pomagają. Sam dobrze wiesz, że w Watsonie jest moduł, który ma na celu uporządkowanie tej warstwy. Jest kilka modułów, dobre, sensowne dobranie przez klienta lub przez kogoś, kto klientowi doradza odpowiedniej platformy, a także odpowiedniego wdrożenia tej platformy. To jest ten pierwszy krok, to jest ten drugi krok. Bo pierwszy to był oczywiście cel biznesowy, a drugi musimy wiedzieć, na czym pracujemy, na których danych pracujemy.

Michał Wojtkowiak: I tak jak już dobrze to sobie strukturalnie rozłóżmy, mamy najpierw cel, wybieramy go. Już tutaj na przykład platforma Watson pomaga. Watson X pomaga nam w znalezieniu i zbudowaniu właśnie tego celu i odpowiedzi na takie pytania względem implementacji sztucznej inteligencji w naszym środowisku. Potem mamy te dane, musimy odpowiedzieć sobie na pytanie, jak je harmonizować, ustrukturyzować czy zamodelować, pozyskać. Załóżmy, że mamy już tę aplikację, budujemy te modele i teraz pytanie co z kwestii bezpieczeństwa, bo tutaj często nam się zdarza na spotkaniach z klientami, że są niepewni, pojawiają się niepewności względem tego, co z moimi danymi, gdzie one wypływają, jak się je zabezpiecza, żeby nie było problemów z tym, że dane są źle wykorzystane przez naszych pracowników. I tutaj chciałem cię spytać po swoim doświadczeniu, jakie masz z tym, jak można by było tutaj działać, żeby zabezpieczać.

Mariusz Jażdżyk: Bardzo szerokie temat, znowu. To wszystko są trudne tematy. Jak mamy już dane opracowane, można powiedzieć architektonicznie, czyli rozumiemy je, mamy je odpowiednio zamodelowane w taki sposób, że są łatwe do wykorzystania. To jest już jeden z takich punktów odhaczony. Jednakże to, co mówisz, mogą być wykorzystane źle, to znaczy wykorzystane przez osoby, które nie powinny mieć do nich dostępu, lub też mogą wypływać poza firmę w niekontrolowany sposób, mogą też zostać wykorzystane niezgodnie z prawem, powiedzmy, niezgodnie z celem. I to jest duży problem w temacie data governance. Data governance w każdej firmie jest inny, ponieważ te ograniczenia w każdej firmie są inne. Jedni godzą się na luźny przepływ pomiędzy departamentami, gdzie indziej to może być już kluczowym problemem. Niektóre dane mogą swobodnie przepływać i powinny, a inne powinny zamykać się tam, gdzie w odpowiednich miejscach.

Michał Wojtkowiak: I tutaj na przykład możemy pozycjonować nasz komponent Watson X Governance, gdzie cały czas mamy w czasie rzeczywistym wgląd w to, co się dzieje z naszymi modelami. To, jak to nazwaliśmy, kolorowe wykresy pokazują nam, czy nasz model po pierwsze, nie starzeje się, jest bezpieczny. Możemy też oczywiście kształtować go w sposób taki, żeby jakieś dane cenzurze, żeby dane nam nie wyciekały albo nie zostały błędnie wykorzystane. I tutaj jednak pozycjonując IBM – jest to ważny etap, ponieważ jak wcześniej wspomniałem, przedsiębiorcy nie ufają nam tak jeszcze, jakby nie ufają – nie jako nam, tylko nie ufają samemu technologii jeszcze w taki sposób, żeby dane przepływały. I tutaj pytanie o on-premise, na przykład, o chmurę, o to, jak wygląda środowisko, też jest jednym z ważnych aspektów wychodzenia do naszych klientów, żeby znaleźć ten złoty środek, tak żebyśmy mogli spełniać ich wymagania względem bezpieczeństwa danych i to żeby jednak współpracowali. Bo myślę, że w momencie kiedy implementacja sztucznej inteligencji w naszym środowisku już się pojawi, zaczniemy odkrywać, jak bardzo dużo mogło nas pominąć wcześniej, w momencie kiedy byśmy po prostu nie zaufali tej technologii.

Mariusz Jażdżyk: To, co wspomniałeś, on-premise czy chmura, wydaje się na pierwszy rzut oka decyzją architektoniczną, jednak jest togruba decyzja biznesowa i wynikająca ze strategii firmy. Jednym firmom pasuje cloud, innym pasuje on-premises i są w pewien sposób ograniczone do posiadania danych na swoim środowisku. Nie oceniamy tego, rozumiemy cele biznesowe klientów i jesteśmy gotowi zarówno z punktu widzenia serwisów, usług, jak i IBM z punktu widzenia solution – zarówno na cloudzie, jak i na własnym sprzęcie, który stoi we własnej serwerowni. Oczywiście to nie jest jedyny wybór, możliwe są także wybory pośrednie, czyli umiejscowienie niektórych komponentów we własnej serwerowni, umieszczenie niektórych komponentów w serwerowni partnerskiej, czyli gdzieś w cloudzie.

Michał Wojtkowiak: Teraz na przykład niektórzy z dużych vendorów już współpracują z nVidią i tworzą te Power House, tak jak będziemy mieli, jak to wcześniej wspomnieliśmy, następny komponent usługi chmurowej, gdzie nie tylko będziemy korzystać już ze storage, ale z pełnoprawnej, wysokiej mocy obliczeniowej, żebyśmy mogli pogodzić ten fakt, że nasze dane są w środowisku, ale wykorzystujemy moc obliczeniową, żeby móc korzystać właśnie z takich oprogramowań.

Mariusz Jażdżyk: To jest przykład dla klientów, którym pasuje rozwiązanie takie hybrydowe, właśnie tak jak mówisz – wszystkie dane są gdzieś na własnej serwerowni, a niektóre usługi wykorzystywane są u providera chmury. Ważne jest, żeby całościowo monitorować to, co się dzieje w tym środowisku. I tak jak powiedziałeś o pięknych dashboardach, oczywiście był czas, kiedy to, co się biznesowi podobało, to nie były rozmawiające chatboty, tak jak teraz, ale piękne, kolorowe dashboardy. Oczywiście one nadal są piękne, zastosowane do monitorowania środowiska, spełniają bardzo ważną rolę i tak jak powiedziałeś, pozwalają nam zapanować nad tym chaosem, czyli zapewniają, na przykład, że dane nadal są świeże, że dane nadal są w dobrej jakości, a także pozwalają monitorować następny krok, czyli krok modelowania oraz wyniki z modeli. Wyniki z modeli to jest coś, czego nie jesteśmy w stanie przewidzieć do końca, ponieważ tam następuje pewien proces stochastyczny, który jest zamodelowany przez data scientista jest zaaprobowany do użytku produkcyjnego. Jednakże z tygodnia na tydzień te modele się pogarszają. Oczywiście platformy mają na to odpowiedź. Powiedz sam, co się dzieje w platformie Watson?

Michał Wojtkowiak: Na przykład właśnie w naszym governance, o którym teraz rozmawiamy, mamy cały czas wgląd w to, jak zmieniają się nasze modele, ponieważ jak wiemy, cały czas je developujemy i nie zawsze mamy pewność, że to, co już jest w trakcie developowania, na skutek zmiany, będzie po prostu odpowiednie. Może być tak, że doprowadzimy do tego, że wydajność naszego modelu spadnie i w tym momencie nasi deweloperzy będą poinformowani o tym, że jakość modelu spadła i musimy jednak przywrócić naszą poprzednią wersję albo po prostu wykonać następne zmiany, co doprowadza do tego, że nasze modele się nie starzeją i cały czas odpowiadają na wyzwania naszego rynku. I tutaj jeszcze dodatkową kwestią, którą chciałem jeszcze z tobą porozmawiać, nawet pokrótce, jest to, że jak wiemy, sama Unia Europejska odpowiada na to, co się teraz dzieje na naszym rynku, ponieważ często ludzie wrzucają każde rozwiązanie w obszar AI, wszystko co widzą podpisane AI, i pojawiają się takie dzikie pola, bo mówimy tutaj o usługach i o platformach, które są stworzone czysto do dewelopowania modeli – modeli tradycyjnych oraz podstawowych. I tutaj przychodzi odpowiedź od nas, powoli właśnie AI ACT, i sam Watson X też ma tę możliwość właśnie w komponencie governance, o zgodność, o zgodność z regulacjami, żeby nasi, czy to partnerzy, czy to przedsiębiorcy, mieli tą świadomość, żeby to też nie zabrzmiało tak, że to jest jakiś lek na całe zło, ale są po prostu świadomi tego, że ich model jest zgodny z regulacjami albo nie i trzeba coś poprawić, żebyśmy mogli do tego dążyć.

Mariusz Jażdżyk: Tak, żyjemy w bardzo ciekawym świecie: Ameryka jest potęgą AI, Chiny są potęgą, a nie wiemy nawet, która z tych potęg jest większa. Unia Europejska, w której żyjemy, jest potęgą regulacji. Nie będę tego oceniał. Jednakże musimy się do tego dostosować po prostu. Jak się do tego dostosować? Przez długi czas firmy ignorują te ograniczenia i regulacje, skupiają się na możliwościach technicznych. Jednakże przychodzi moment wdrożenia, przychodzi moment, w którym nasze modele stają się produkcyjne i muszą podlegać tym ograniczeniom. Jak to zrobić? Jedna odpowiedź jest taka: zatrudnić odpowiednią platformę, która będzie o to dbała, ale to oczywiście nie wszystko. Ja jestem przeciwnikiem zwalania całej odpowiedzialności na platformę. Platforma nam bardzo pomaga i to, co widzimy na przykład w przypadku Watsona, jest to bardzo dobrze usystematyzowany sposób testowania modeli – takich modeli tradycyjnych oraz modeli językowych – zgodnie z kryteriami, które tym modelom narzuca. I w ten sposób odchodzi nam bardzo dużo pracy związanej z żmudnym testowaniem i regularnym testowaniem tego samego. Dzięki temu dostajemy regularne odpowiedzi, takie raporty, które mówią nam, że nasz model nadal jest zgodny z celami biznesowymi, ale też z ograniczeniami regulacyjnymi. Watson produkuje takie raporty. Na początku mogą być trudne do zrozumienia przez osoby biznesowe, jednakże to są raporty właśnie dla nich. Ale to są bardzo ważne raporty, które mówią o tym efekcie, o którym wcześniej powiedziałeś, czyli o takim pogarszaniu się jakości modeli. Ale drugie: czy przypadkiem nie mamy sytuacji, w której naruszamy jedno z tych bardzo ważnych regulacji unijnych? Jeśli wskaźniki odpowiednie będą na niesatysfakcjonujących poziomach, to wtedy jest to miejsce dla decyzji. I to znowu nie jest decyzja data scientist, nie jest to decyzja człowieka z IT. Jest to decyzja tego kogoś, kto na samym początku definiował ten use case lub odpowiada biznesowo za ten proces. I to jest piękne, że nie IT, w którym bardzo długo pracowałem, tylko właśnie strona biznesowa decyduje o tym, czy model nadal się nadaje, czy model się nie nadaje, bo sytuacja może być złożona. Tych modeli może być dużo bo jeśli jest jeden, to jest sytuacja prosta, ale jeśli tych modeli mamy więcej jest o wiele trudniej

Michał Wojtkowiak: Tutaj chciałem jeszcze z tym elementem podsumowania, bo dużo informacji dzisiaj padło na naszym spotkaniu i tutaj, gdybyśmy mogli powiedzieć słuchaczom na takim use case gdzie jest firma, która ma 300-400 modeli zbudowanych, jak się w tym odnaleźć od początku do końca, tak żebyśmy mogli wypozycjonować sobie

Mariusz Jażdżyk: No to grubo, grubo.No, znaczy to jest normalna sytuacja. Co ja bym chciał, okej,  jakbym był osobą odpowiedzialną za analitykę w takiej firmie, która jest dość zaawansowana, jak już tutaj podałeś, ma 300 modeli dotyczących różnych procesów biznesowych, różne wersje tych modeli, modele, tak jak wcześniej powiedzieliśmy, pracujące na różnych danych, które skądś przybywają, ale mogą przestać, mogą stać się danymi mniej wiarygodnymi i tak dalej. Otóż ja bym chciał mieć pełen monitoring tego, co się dzieje. Przede wszystkim chciałbym, żeby te modele nie szkodziły biznesowi jak lekarz przede wszystkim nie zabijać pacjenta. Bo jeśli modele, które de facto podejmują decyzje mniejsze lub większe, podejmują te decyzje źle, to one po prostu prowadzą nas do strat. Nie chciałbym, żeby modele, które są tak jak na rynku modne, prowadziły firmę do upadku. Więc pełen monitoring, tak jak tutaj mówiliśmy, pełen monitoring efektywności tych decyzji, które są podejmowane. To, co mówiliśmy o tych kolorowych dashboardach, to tak od samego końca idę i zrozumiałe raporty z tych informacji płynących z tych raportów to jest jedno. Te informacje płynące nie do jednej osoby, tylko do tych osób, które są odpowiedzialne za poszczególne procesy. Jako szef analityki nie chciałbym oglądać tych rzeczy, chciałbym, żeby moi partnerzy z biznesu widzieli, jaka jest kondycja. Druga rzecz, która jest istotna, to te modele po prostu polegają na pewnych danych i chciałbym, żeby osoby odpowiedzialne za te dane widziały, czy one nadal napływają, czy są świeże, czy są prawdziwe. Jest cały proces kontrolowania różnych kontrolek i tak dalej. Niektóre rzeczy są ważne, niektóre są nieistotne, i chodzi o to, żeby kontrolować te rzeczy ważne, podobnie jak z modelowaniem, z kontrolowaniem modeli, tak samo z kontrolowaniem danych. W odpowiednich modułach Watsona jest zapewnione, o ile zostanie wdrożone sensownie. Kolejna rzecz, chciałbym mieć takich researcherów, data scientistów, którzy są w stanie dorabiać kolejne modele. Mamy 300, ale przychodzi osoba z biznesu i mówi: tutaj mamy ważną potrzebę i chciałbym, żeby taka potrzeba była zrozumiana przez kompetentne osoby. Żeby ta potrzeba była szybko spełniona. Platforma bardzo pomaga w osiągnięciu tych wszystkich celów, które wymieniłem na przykładzie tej właśnie firmy.

Michał Wojtkowiak: Nawet gdy jeszcze się cofniemy o kilka lat, jak tradycyjne modele były problematyczne w modyfikowaniu, przez to, że były budowane tylko i wyłącznie na wyznaczonych bazach danych, tak nie było takiej obszernej możliwości wykorzystania dużych zbiorów danych.

Mariusz Jażdżyk: Zakres możliwości możliwych danych, które wchodzą na wejście – to jest ta część warstwy danych – to bardzo gruby temat. Modele językowe i algorytmy, które są w Watsonie, pozwalają rozszerzyć zakres danych, które wchodzą na wejście. Kiedyś mieliśmy dużą trudność z pozyskaniem informacji ze zbiorów wideo oraz ze zbiorów tekstowych. W tej chwili dodanie takich źródeł do naszego środowiska nie powiem, że jest łatwe, ale jest możliwe. Tak, jest możliwe.

Michał Wojtkowiak: Myślę, że to naprawdę na dziś to bardzo duża ilość informacji, którą uzyskaliśmy między sobą.

Mariusz Jażdżyk: Podsumowując, uważam, że podobnie jak mnie olśniło, co można uzyskać z modeli językowych, tak te możliwości powoli trafiają do firm. Firmy, które nie zrobią tego pierwszego ruchu, będą followersami i będą musiały podjąć tę decyzję nieco później.

Michał Wojtkowiak: Już tutaj będą zobligowane do tego, żeby wykorzystywać tę technologię. Inne warunki będą przed nimi.

Mariusz Jażdżyk: Pomagamy klientom przede wszystkim zrozumieć cel biznesowy oraz zrozumieć, jak technologia może w tym pomóc, użyć odpowiedniej technologii. W czym pomagają nam dostawcy oraz partnerzy, tacy jak wy. Życzymy naszym klientom wielu korzyści wynikających. Dziękujemy, dzięki.