W jakim stopniu algorytmy pomagają, a w jakim przeszkadzają w badaniach mediów społecznościowych? Na to pytanie odpowiada dr Kuba Piwowar przytaczając z jednej strony liczne przykłady algorytmicznych wykluczeń, a z drugiej obrazując sytuacje, w których algorytmy działają na naszą korzyść.
>>
Podcast -> https://open.spotify.com/episode/27XPWokHKNgBbboqwU2lW7
Bądź na bieżąco! https://www.facebook.com/NetnographyProject
Muzyka intro/outro: Closed on Sundays (Mana Junkie)
Podcast zrealizowano przy wsparciu finansowym Priorytetowego Obszaru Badawczego Heritage w ramach Programu Strategicznego Inicjatywa Doskonałości w Uniwersytecie Jagiellońskim.
TRANSKRYPCJA:
AP: Cześć, witajcie! Moim gościem jest dzisiaj dr Kuba Piwowar z Katedry Kultury i Mediów Uniwersytetu SWPS. Cześć Kuba, witam Cię serdecznie!
KP: Cześć, dzień dobry.
AP: Kuba jest ekspertem z zakresu technologii, Big Data oraz etyki w analizie danych. Zajmuje się kulturowymi i społecznymi aspektami rozwoju sztucznej inteligencji i nowych technologii oraz algorytmiczną kulturą. I właśnie o algorytmach będziemy dzisiaj rozmawiać. Badając media społecznościowe nie można bowiem od nich uciec. W jaki zatem sposób algorytmy wpływają na to, do jakich danych mamy dostęp jako badacze, a do jakich nie?
KP: To bardzo ogólne pytanie. Rozbijemy je na dwie albo trzy części. Pierwsza część to jest oczywiście dostęp do danych, które firmy prowadzące media społecznościowe udostępniają badaczom i badaczkom. To jest oczywiście warstwa danych, które są zredagowane, ale które w jakiś sposób umożliwiają nam analizę tego, co dzieje się w badanych przestrzeniach. Druga warstwa to są dane, które nie są udostępniane, ale które są dostępne badaczom i badaczkom pracującym wewnątrz tych firm. A trzecia warstwa to z kolei te dane, które możemy sami jako badacze i badaczki ściągać, przeglądać, analizować własnoręcznie. Mam tutaj na myśli głównie kwestie tekstowe i obrazowe, na przykład na Facebooku czy na Twitterze, ale też – i to jest moim zdaniem ciekawy wątek – mamy dostęp (chociaż częściowo ograniczony) do komentarzy, na przykład pod filmami na YouTube. Można zatem powiedzieć, że jako badacze i badaczki mamy dostęp do dosyć sporej ilości danych, natomiast nie jest to zbiór, który udostępnia nam widok całości.
AP: Zatem, jak z tego wybrnąć? Wyobrażam sobie sytuację, że firmy, które przekazują dane osobom badającym mogą pewne dane ukryć, bądź też z jakichś powodów nie przekażą ich kompletu. Próba nie będzie więc reprezentatywna chociażby z tego powodu. Idealną sytuacją jest ta, w której my pracujemy w jakiejś instytucji bądź też firmie, ale takich osób nie ma wiele i to jest jednak przywilej, mogłabym powiedzieć, badawczy. W takim razie, na co powinniśmy zwrócić szczególną uwagę projektując proces badawczy i starając się, żeby nasza próba była jak najbardziej reprezentatywna? Co byś tutaj poradził, właśnie w kontekście algorytmizacji serwisów społecznościowych?
KP: Ja bym zaczął przede wszystkim od tego, aby odchodzić od myślenia, że analiza danych cyfrowych, czy tzw. Big Data przybliży nas do czegoś, co można by nazwać prawdą. I teraz powiem, co mam na myśli. Generalnie jest tak, i od tego trzeba wyjść, że badając przestrzeń Internetu, badamy tak naprawdę połowę ludzkości, bo tylko mniej więcej połowa ludzkości ma dostęp do Internetu. I to już nam mówi dużo o tym, jakiego rodzaju to jest narzędzie. To jest narzędzie, które ma charakter mocno klasowy, które ma charakter mocno rasowy, mocno płciowy i tak dalej, i tak dalej. Korzystają z niego głównie osoby młodsze, więc o osobach starszych badając przestrzeń wirtualną będziemy wiedzieć mniej. Musimy mieć te obostrzenia i myśli z tyłu głowy podejmując się badań w przestrzeni Internetu, w tym również w mediach społecznościowych. Jeśli wychodzimy z takim nastawieniem, to wtedy od razu powinno przyjść nam do głowy, że będziemy badać tylko jakiś aspekt, jakiś wymiar tego, co nas interesuje. Moim zdaniem nie ma możliwości badając media społecznościowe objąć całości życia społecznego i kulturowego. Możemy tylko wybrać jakiś jeden drobny fragmencik i też ze świadomością, że będzie on w jakiś sposób skrzywiony. Natomiast z perspektywy algorytmizacji tego, co dzieje się w przestrzeni społecznej, to jakbyś tutaj mogła doprecyzować, czy masz na myśli to, w jaki sposób użytkownicy, użytkowniczki korzystają z Internetu, z mediów społecznościowych i to, co im się wyświetla i w jaki sposób na to reagują, czy chodzi Ci raczej o algorytmicznie sterowany dostęp do danych dla osób, które potem badają media społecznościowe?
AP: To się właściwie łączy, bo tak naprawdę z jednej strony to, co my badamy bardzo mocno zależy od tego, co się wyświetli użytkownikom i jak oni zareagują na te treści. Mnie interesuje właśnie ta druga strona, czyli otwieram sobie stronę na Facebooku lub Instagramie i cały czas z tyłu głowy mam, że to nie są wszystkie treści, które badam, że stosując chociażby próbkowanie po hasztagu, które wiem, że zostało w literaturze dość mocno skrytykowane, mam świadomość tego, że wybierając jeden hasztag wiele osób po pierwsze – może go nie zastosować, po drugie – algorytm w ogóle może mi tych treści (np. mających mało lajków) nie wyświetlić, po trzecie – osoby mogły zbliżone treści do tych, którymi się interesuję oznaczyć używając zupełnie innych hasztagów, po czwarte – ktoś mógł popełnić błąd w hasztagu i już mi się ta treść nie wyświetli…. Jest bardzo dużo takich czynników, które sprawiają, że zastanawiam się jak działać, żeby chociaż uzyskać namiastkę reprezentatywności.
KP: To jest bardzo ciekawy case. Ja swojego czasu, z racji tego, że pracuję również w firmie technologicznej a wcześniej pracowałem jako analityk, miałem dostęp do danych z wyszukiwarki. Wręcz anegdotyczne było to, w jaki sposób ludzie pytają w wyszukiwarce o różne rzeczy. Potrafimy na przykład hasło „Britney Spears” napisać na kilkanaście czy kilkadziesiąt różnych sposobów. Niedoskonałość nas ludzi, użytkowników, użytkowniczek Internetu powoduje, że badanie mediów społecznościowych czy w ogóle przestrzeni internetowych jest problematyczne. Ja myślę, że z perspektywy badania Instagrama i tego, w jaki sposób możemy podejść do tematu, na przykład poprzez analizę hasztagów, to z jednej strony pomocne będzie to nastawienie, o którym mówiłem przed chwilą, czyli że wystarczająco dobre badanie Instagrama będzie w porządku, a dążenie do ideału, do perfekcji donikąd nas nie doprowadzi. Ale z drugiej strony, myślę że w przypadku maszynowej analizy treści na Instagramie, jesteśmy w stanie na przykład wykorzystać albo wyszkolić model, który będzie oparty o jakieś korpusy językowe, które zawierają w sobie literówki albo przejęzyczenia albo niejednoznaczności i na tej podstawie potem poszukiwać tych danych. Więc jestem w stanie sobie wyobrazić, że tego typu narzędzie możemy jako badacze i badaczki stworzyć i wykorzystać. Natomiast mówiąc zupełnie szczerze i tutaj przemawia przeze mnie bardziej kulturoznawca niż socjolog, nie do końca widzę powód, dla którego mielibyśmy to robić. Wydaje mi się, że w badaniu przestrzeni społecznej czy przestrzeni Internetu w szczególności, najciekawsza jest ta jej niejednoznaczność, czasami trudna do określenia charakterystyka, ulotność, tymczasowość zjawisk, które tam zachodzą. Sam fakt, że one są właśnie nie do końca uchwytne powoduje, że narzędzia którymi operujemy z definicji będą po prostu niedoskonałe. Moim zdaniem to jest bardzo ciekawe, że próbując nadążyć za tak szybkimi zmianami, wydarzeniami i trendami, my musimy cały czas dostosowywać i szlifować to narzędzie, a ono i tak nie będzie nigdy doskonałe.
AP: W swojej książce „Technologie, które wykluczają”, którą serdecznie Wam polecam, bo moim zdaniem jest to obowiązkowa lektura dla użytkowników mediów społecznościowych, zwracasz uwagę na to, że świat się zachwycił Big Data i możliwościami, jakie Big Data daje, jednocześnie zapominając o tym, że to są pewne struktury danych, które powielają klasyfikacje istniejące w społeczeństwie, że to są struktury oparte na normach, regułach, które funkcjonują w kulturze, w społeczeństwie, a tym samym też na stereotypach. Czy w takim razie postulowałbyś „powrót” do badań jakościowych? Mam wrażenie, że teraz bardzo wiele jest ilościowych badań i czasami się o tej sferze jakościowej zapomina. Nie chcę powiedzieć, że świat badawczy rezygnuje z jakościówki, bo to byłaby zbyt daleko posunięta teza, ale można zaobserwować zachwyt Big Data, podczas gdy badania na małych próbach nie zawsze są tak doceniane.
KP: Tak. Ciekawe, że używasz sformułowania „powrót”, bo moim zdaniem badania jakościowe mają się świetnie i są fantastycznym narzędziem w rękach badaczy i badaczek. Uważam, że to wszystko zależy od tego, co chcemy osiągnąć i co chcemy zgłębić. Jeśli chcemy zrozumieć skalę zjawiska, to będziemy posiłkować się badaniami ilościowymi, a jeśli chcemy zrozumieć charakter tego zjawiska, to raczej badaniami jakościowymi. Uważam, że w przypadku wielu badań warto po prostu łączyć te dwie metody, bo one z innej perspektywy naświetlają nam ten sam problem. Ale rzeczywiście jest tak, że można odnieść wrażenie, że jesteśmy zachłyśnięci możliwościami Big Data. Aczkolwiek już od co najmniej kilkunastu lat, kiedy dwie badaczki, Donna Boyd i Kate Crawford napisały swój głośny manifest krytykujący właśnie zachwyt nad Big Data. To już od wtedy wiedzieliśmy, że za ilością danych wcale nie musi iść ich jakość. Kiedyś myśleliśmy, że jeśli uda się opleść rzeczywistość społeczną możliwie jak największą ilością danych, to wtedy już w ogóle nie będziemy potrzebowali teorii, bo będziemy mieli dane, które będą bardzo precyzyjnie mówiły, jak się zjawiska mają. Szybko się okazało, że tak po prostu nie jest, że danych, które są wartościowe jest po prostu niewiele, a jeśli one są, to są – tak jak powiedzieliśmy przed chwilą – albo dostępne tylko wybranym osobom, które są za murami korporacji technologicznych zbierających i przetwarzających dane, albo są szczątkowe i w sposób szczątkowy dostępne badaczom z całego świata, albo są po prostu skrzywione, czyli na przykład dotyczą tylko i wyłącznie jakiejś konkretnej, wybranej grupy odbiorców. To jest, moim zdaniem, dobry przykład, który opowiadam swoim studentom i studentkom, kiedy mówię im, jakie konsekwencje niesie za sobą badanie poszczególnych elementów sieci. Pamiętam bardzo ciekawą dyskusję w grupie na temat możliwości wykorzystania danych z Twittera. Twitter jest dosyć wdzięcznym narzędziem do tego, żeby je analizować. Mamy tam mnóstwo słów, które możemy w bardzo ciekawy sposób przetwarzać, wizualizować, obrazować trendy. Ale w tej ciekawości i w tym potencjale narzędzia należy pamiętać, że to jest medium, które jest używane przez stosunkowo niewielką rzeszę ludzi. To jest bardzo konkretna, mała i w związku z tym bardzo skrzywiona populacja i tutaj, moim zdaniem, jest takie mocne niebezpieczeństwo, że jeśli będziemy myśleć o wypowiedziach na Twitterze jako o czymś, co jest reprezentatywne dla sentymentów opinii publicznej, to wtedy rzeczywiście możemy się zdziwić, jeśli na przykład nasze potencjalne rekomendacje czy przewidywania po prostu się nie spełnią, bo Twitter nie jest reprezentatywny dla populacji.
AP: Myślę, że przy Twitterze pojawia się też kwestia, że to są użytkownicy, którzy włączają ten serwis do swojego repertuaru medialnego z konkretnych powodów. To jest specyficzna grupa, jeśli chodzi o sposób użytkowania mediów społecznościowych, zupełnie inna niż na przykład użytkownicy TikToka, czy aplikacji BeReal. Dodałabym również, że Twitter jest dość lokalny, to znaczy „polski Twitter” versus „amerykański Twitter” – to są zupełnie dwie różne grupy odbiorców, mimo że czasami używają tych samych hasztagów na przykład. Ale to będą zupełnie inne dyskusje. Bardzo mocno wybrzmiewa w naszej rozmowie jakościowe podejście i nastawienie na charakterystykę, na wzięcie pod uwagę wszystkich aspektów kulturowych. Chciałabym teraz zapytać o pozytywną stronę algorytmizacji. Wiemy już, że algorytmy mogą wykluczać, mogą pewne treści przed nami ukrywać lub ograniczać dostęp do nich. Ale w jaki sposób algorytm może korzystnie zadziałać w procesie badawczym?
KP: Powołam się tutaj na takie dwa przykłady. Jeden dotyczy pracy Eli‘ego Parisera, czyli osoby, która stworzyła koncepcję tak zwanych baniek filtracyjnych. W skrócie bańka filtracyjna albo bańka po prostu, to jest taka przestrzeń, w której my, jako użytkownicy i użytkowniczki Internetu, zamykamy się lubiąc konkretne rzeczy, będąc znajomymi konkretnych osób, mając konkretne zainteresowania, przez co widzimy tylko wycinek Internetu. Jest to wycinek, który z dużym prawdopodobieństwem jest inny od tego, do którego ma dostęp ktoś z naszych bliskich, dalszych znajomych i osób zupełnie obcych. Ta koncepcja częściowo była skrytykowana, bo ona nie do końca oddaje rzeczywistość taką, jaką ona jest. Natomiast to, co mnie bardzo interesuje i ciekawi w tej koncepcji to jest to, że ona zainspirowała bardzo wiele różnych badań, które również przyniosły ciekawe rezultaty. Jednym z nich jest badanie, które mówi o tym, że tak na dobrą sprawę bańki filtracyjne nawet jeśli zamykają nas, to tak czy inaczej dostarczają nam bardziej różnorodnych informacji, niż byśmy mieli nie korzystając z mediów społecznościowych w ogóle. Innymi słowy, w „realu” nasz świat jeszcze bardziej jest ujednolicony, niż w rzeczywistości wirtualnej, nawet pomimo tego, że jesteśmy pozamykani w bańkach. Druga koncepcja próbuje z kolei pokazać wykluczenia. To jest koncepcja, która wywodzi się z bardzo jakościowego podejścia i mówi o tym, że wszystkie rzeczy, które nas otaczają zaczynają w pewnym momencie być dla nas niewidoczne. Jeśli rzeczy, które są wokół nas po prostu działają, to przestajemy je dostrzegać. Zaczynamy je dostrzegać w momencie, w którym przestają działać. Na przykład robiąc komuś krzywdę albo dając jakąś informację, która jest mówiąc kolokwialnie „od czapy”. I takie badanie przeprowadziła Safiya Umoja Noble, która napisała książkę o algorytmie opresji pt. „Algorithms of oppression”. Książka przygląda się, w jaki sposób wyszukiwarki internetowe mogą wzmacniać rasizm. I to jest podejście, które trudno jest obronić na poziomie czysto ilościowym – zobaczyć, w jaki sposób wyszukiwanie konkretnej rzeczy przez osobę czarnoskórą różni się od wyniku wyszukiwania osoby białej tylko po to, żeby dowiedzieć się, że na przykład osoby czarnoskóre poszukując miejsca pracy będą widziały propozycje mniej płatne niż osoby, które mają biały kolor skóry. I to jest podejście, które trudno obronić w sposób ilościowy. Natomiast moim zdaniem pokazuje w takich pojedynczych, wręcz czasami nawet anegdotycznych przykładach, potencjalne miejsce jakiegoś systemowego problemu. Jestem dużym zwolennikiem takiego badania technologii, które próbuje szukać dziury w całym. Jeśli coś nam nie zadziała, to ja bym potraktował to bardziej jako możliwość zbadania tego, dlaczego to się „wykrzaczyło”, dlaczego coś nie zadziałało, dlaczego jakaś rzecz, którą zrobiliśmy spowodowała taki, a nie inny wynik. Być może to jest sygnał czegoś, co jest głębiej w tym systemie i jest emanacją systemowego problemu. W swojej książce, o której wspomniałaś wprowadziłem taki króciutki eksperyment. To nawet nie jest eksperyment, bardziej chodziło mi o pokazanie różnicy w podejściu pomiędzy badaniem na podstawie wielkich zbiorów danych versus badania na supermałych zbiorach danych. Wziąłem zdjęcie performera, który nazywa się Gąsiu i wrzuciłem je do aplikacji do rozpoznawania twarzy. To był czas, kiedy dyskusje na temat „etycznego AI” bardzo mocno toczyły się w Dolinie Krzemowej, ale też na poziomie Unii Europejskiej i tak dalej. To był też czas, kiedy jedną z dyskutowanych w przestrzeni badawczej była kwestia płciowości i tego, czy płeć traktujemy jako zmienną binarną, czy jako zmienną niebinarną. Pamiętam, że w wyniku wrzucenia tego zdjęcia do aplikacji rozpoznawania twarzy Google dostałem informację o tym, że na zdjęciu jest prawdopodobnie kobieta, dlatego że Gąsiu miał bardzo mocny makijaż, długie włosy, dekolt odsłonięty i tak dalej. I rzeczywiście można byłoby uznać, że ktoś, kto w ten sposób się charakteryzuje, powoduje, że maszyna może zobaczyć w takiej osobie kobietę. Później, w wyniku dyskusji o płciowości, Google uznał, że nie będzie takich „lable” wrzucał. Pamiętam, że w momencie, kiedy przygotowywałem ostateczną wersję swojej książki, musiałem zmienić narzędzie, w którym przygotowałem analizę tego zdjęcia, ponieważ w Google już to nie wychodziło, ale wychodziło w innych rozwiązaniach – tutaj użyłem rozwiązania Microsoft’u, gdzie te „lable” płciowe, binarne występują. Bardzo prosty przykład, który pokazuje, że pewne kwestie, które dla wielu ludzi są bardzo istotne, jak na przykład traktowanie płci przez system rozpoznawania twarzy, mogą oznaczać albo wskazywać na bardzo konkretne dyskusje, które toczą się wewnątrz firm technologicznych, głównie amerykańskiej akademii, ale też coraz częściej, co mnie cieszy, również polskiej akademii. Więc to jest bardzo ciekawe podejście, do którego bardzo wszystkich serdecznie zachęcam, czyli wykorzystanie najmniejszych możliwie danych po to, żeby szukać dziury w całym.
AP: Szukanie dziury w całym jest mi bardzo bliskie, bo też jestem medioznawczynią i kulturoznawczynią, więc jest to perspektywa, która mnie absolutnie przekonuje. Spodobał mi się szczególnie w Twojej książce taki fragment o Facebooku, gdzie przytaczasz innych badaczy, którzy wskazują na to, w jaki sposób Facebook chce być fair, a nie do końca jest. Chodzi mi konkretnie o oznaczenie płci, gdzie teoretycznie użytkownik ma 56 opcji do wyboru, ale potem się okazuje, że ma wybrać zaimki on, ona, oni i z tych 56 robi nam się znacznie mniej. Zwracasz też uwagę, że to nie musi być koniecznie złe w kontekście marketingu, prawda?
KP: Dokładnie tak. O tym pisała Randy Bivens i tutaj nie ma jednoznacznej odpowiedzi. Wracając do Twojego pytania wcześniejszego i też odpowiadając na aktualne, kiedy myślę o tym, w jaki sposób dzisiaj badacze i badaczki mogą podchodzić do badania algorytmów, to mogą być to również badania na tzw. około. Jednym z przykładów jest badanie, które właśnie przywołałaś, czyli badanie Randy Bivens i tak naprawdę jej refleksje na temat, że owszem platformy dają nam możliwość autoidentyfikacji, ale kiedy chodzi o marketingowe wykorzystywanie naszych danych, to wtedy nasza tożsamość jest traktowana w taki sposób, w jaki była traktowana poprzednio, czyli w tym przypadku w sposób binarny. Ale ja też w badaniu do swojej książki zwróciłem uwagę na kilka innych przykładów, które moim zdaniem są bardzo ciekawe. I takim przykładem jest to, co działo się w jednej z aplikacji randkowych: Grindr, która dawała kiedyś użytkownikom możliwość filtrowania osób ze względu na rasę, czyli włączając tę aplikację możemy widzieć tylko osoby w konkretnym przedziale wiekowym, o konkretnym wzroście i na przykład konkretnego koloru skóry. I wybuchła bardzo ożywiona dyskusja na temat tego, czy to jest rasistowskie czy to nie jest rasistowskie? Przecież świat na zewnątrz jest różnorodny, kolorowy, nawet jeśli mamy taki kraj jak Polska, gdzie z punktu widzenia rasowego jesteśmy raczej homogenicznym krajem, to jednak tak czy inaczej osoby czarnoskóre w Polsce żyją. I zaczęła się poważna dyskusja na temat, co zrobić, bo z jednej strony chcemy umożliwić użytkownikom i użytkowniczkom tej aplikacji widzieć świat taki, jakim on jest, a nie chcemy im dawać możliwości, żeby oni sobie filtrowali świat po jakichś swoich preferencjach. Z drugiej strony, są to preferencje, to jest aplikacja tylko randkowa. A z trzeciej strony, dla osób czarnoskórych ten filtr był również bezpieczną przestrzenią. Oni dzięki temu, że mogli filtrować tylko i wyłącznie osoby o ciemnym kolorze skóry, mogli unikać kontaktu z osobami, które na przykład mogły być wobec nich rasistowskie. Więc tego typu przykłady pokazują jak wielowymiarowe może być podejście do badania przestrzeni społecznych, przestrzeni Internetu, przestrzeni aplikacji, przestrzeni mediów społecznościowych, czy w ogóle kwestii związanych z nowymi technologiami.
AP: Podobnie z Facebookiem, gdzie dzięki powrotowi do podziału na trzy kryteria, część osób jest chroniona przed nadmiernym targetowaniem marketingowym.
KP: Tak.
AP: Wychodzi zatem na to, że nic nie jest czarne ani białe, jak to w nauce bywa. Ostatnie moje pytanie – gdybyś miał do wyboru Instagram, Twitter, Facebook, TikTok albo jakikolwiek inny serwis społecznościowy pod kątem algorytmu, który dla Ciebie jest najbardziej przyjaznym środkiem?
KP: Bardzo trudne pytanie. Odpowiem z perspektywy użytkowania i z perspektywy badacza. Z perspektywy użytkownika jestem zafascynowany ostatnio TikTokiem, który sprawia wrażenie całkowicie demokratycznego: wyświetlają mi się treści celebrytów i osób, które mają miliony followersów, ale też wyświetlają mi się treści użytkowników, które mają konta założone dla kilku osób. Mam wrażenie, że on jest demokratyczny, chociaż wiemy, że tak naprawdę nie do końca tak jest. I możemy taki algorytm wytrenować mocno pod siebie. Więc aktualnie jestem zafascynowany jako użytkownik TikTokiem i tym, w jaki sposób on funkcjonuje i tym, w jaki sposób wciąga. A jeśli chodzi o perspektywę badawczą, to wydaje mi się, że bardzo ciekawe jest badanie Instagrama, dlatego że treści wizualne, które tam są zestawione z naszą wiedzą na temat rzeczywistości społecznej pokazują, jak wielka jest różnica, jak wielki jest rozstrzał między tym, w jaki sposób chcemy się prezentować, a tym jak wygląda rzeczywistość. Jestem też lekkim fanem Lva Manovich’a i jego pomysłu na prowadzenie analityki kulturowej, która wydaje mi się być badawczo ciekawa. Zatem z perspektywy badawczej, zdecydowanie Instagram.
AP: Czyli mamy Tik Tok z perspektywy użytkownika, a z perspektywy badawczej Instagram. Ja się przychylam do Instagrama. Jeśli chodzi o TikTok, to cały czas próbuję, próbuję i coś mi tam jeszcze nie gra, ale kto wie, może się przekonam... może algorytm jeszcze do końca mnie nie zrozumiał, kto wie... Bardzo dziękuję za tę rozmowę. Moim i Waszym gościem był dr Kuba Piwowar. Dzięki wielkie!
KP: Dziękuję.