Przycisk jest chwilowo zablokowany — strona jeszcze łączy się z serwerem. Odblokuje się sam po ułamku sekundy. Jeśli to nie mija, przeglądarka nie wczytała skryptu strony (_framework/blazor.web.js) i usuwanie nie zadziała.
0:00:00Mówca 1bo moim zdaniem wymagania są naprawdę mocne, właściwie słabe. No bo trochę dużo tego, że mają ogólnie 328 tysięcy plików, to zajmuje prawie 400, no prawie 500 gigabajtów i przy czymś takim, jak jest takie rozdrobnienie tych dokumentów, czy mają być skany, więc OCR-em przejechać
0:00:24JaKudba, to sama i guestia będzie spala stuji.
0:00:24Mówca 1z OCR-em przejechać, takie style plików, tą informację, którego pliku pobrać informację. No dokładnie, bo ty podczas ingestii tam używasz LLMA i docelowo mi się wydaje, że to trzeba by najpierw chyba robić jakieś takie, że nawet jak masz pytanie użytkownika, to próbujesz namierzyć kategorię przyczynki
0:00:48Mówca 1namierzyć kategorie, przypuśćmy jak miałbyś 50 kategorii problemów, to jak te 320 albo dzielisz na 50, to już masz jakąś bardziej znośną tą ilość plików. No nie wiem, tak trochę strzelam, ale no takie jest wymaganie klienta, bo to jest urząd miejski i mają po prostu śmietnisko, a nie bazę danych. Te pliki mogą być, że część chyba, dobrze Witek kojarzę, tam są ze strony pobrane, dlatego są to URL-y?
0:01:12JaNo, no, no.
0:01:12Mówca 1Tak.
0:01:36JaNo to są wylicz.
0:01:36Mówca 1Jeszcze jest w czasach, że odpowiedź powinna w 5 sekund. Przy takiej ilości plików to chyba czas zawsze jest największy, w sensie znajdowanie dokumentów. Teraz pominimy jakość tego, no to sama baza wektorowa działa szybko, więc chyba aż taka ilość dokumentów nie zwiększy czasu wyższukiwania fragmentu, więc chyba nie będzie tutaj, tylko dlatego,
0:02:00JaSamo przeszukanie bazy wektorowej pewnie nie będzie w wiele duszy, no ale... No właśnie. To trzeba by najpierw zrobić jakiś prób w koncept, no bo... Co to macie zrobić? Czy wychujesz by cenę?
0:02:24JaNo super, no to na samego raga pewnie dajcie wzrok, żeby przygotować to wszystko i przeprowadzić jakieś testy itd., bo nie mamy takiego raga. Nikt nie daje w ogóle żadnego zasobu na tego raga, więc on taki jak powstał tam w czerwcu, jak pokazywałem, to nic się nie zmienił prastycznie, bo nie dostają ani godzinki
0:02:24Mówca 1Mamy zrobić wycenę na już właściwie do końca dnia.
0:02:48JaNie dostają ani godzinki na niego. Więc nic się nie zmieniło. Też się boję, bo będzie, kuźwa... Biedny raz to się powtarzał do nas słowo i sam ranking będzie głupiał przy tym, bo dostanie, kuwa,
0:02:48Mówca 1Znaczy, bo ja się najbardziej boję, że 300 tysięcy plików wrzucę do jednego wora, to jakość odpowiedzi będzie znikoma. Tego się boję. I jedyny mój pomysł, żeby to rozwiązać...
0:03:12Japrzy tym, bo dostanie kwaś 100 wyników.
0:03:12Mówca 1na przykład boję się tego, że jeśli skarga, ktoś dzwoni do urzędu na skargę i nie sprecyzuje pytania typu skarga na sekretarkę w pokoju na ulicy tej, że takiego urzędu ktoś powie, że dzwoni w sprawie skargi. Będziesz miał przypuśćmy 100 dokumentów, że skarga takiego typu
0:03:36JaNo dokładnie. No, no.
0:03:36Mówca 1takiego typu na tę osobę, na procesy, na niedziałanie systemu, na niedziałanie systemu, nie wiem, że np. będziesz miał instrukcję obsługi aplikacji mobilnej, że skarga, że nie działa aplikacja mobilna, nie działa aplikacja mobilna na Androida, na iOS-a, nie działa www, nie działa formula zb.w. i teraz samą skargę możesz mieć w stu dokumentach i w tym momencie nawet jak
0:04:00Jano która nie
0:04:00Mówca 1momencie, nawet jak ktoś powie skarga, bo mi nie działa apka. No to co? Apka to co? iOS, Android? No właśnie. I tego się boję, że po prostu mnie już przytłoczył trochę ten, znaczy przytłoczył. Okazało się, że wcale dobrze DPD nie działa na 20 dokumentach. Ja to w DIFI tam robiłem. Sprawialiśmy o tym, że najpierw namierzałem kategorię, z którą
0:04:24Mówca 1z pytaniem, z którym dzwoni. Tam pisze, dzwoni nieważne i korzystam z danego cennika. U Ciebie działało to dużo lepiej jak wrzuciłeś do jednego wora, ale przez to, że Ty masz tą ingestię, która jeszcze dodatkowo opisuje te dokumenty. Więc tak naprawdę zrobiłeś z automatu coś, co ja zrobiłem ręcznie. Ale w każdym razie zobacz ile rzeczy trzeba
0:04:48JaNo masakra to jest jakaś... Czy tu jeszcze mamy korzystać?
0:04:48Mówca 1żeby to działało lepiej na 20 plikach, gdzie właściwie 3/4 ich dotyczyło tylko i wyłącznie cennika. A tutaj będziesz miał wszystko. I po prostu... I w ogóle teraz jak tak im więcej gadam, tym bardziej się zastanawiam czy w ogóle coś takiego jest szansa, żeby to dobrze działało.
0:05:12JaNo i... Wydaje mi się, że trochę przesadzili tutaj.
0:05:12Mówca 1Czy oni po prostu, to jest ich powożne życzenie, że chcieliby. Bo może trzeba, bo może by się okazać, że jeśli to jest webchat dla, bo może oni po prostu mają taką bazę danych, ale dla tego webchata, kwestia ile tam ma być spraw obsługiwanych, możliwe, że
0:05:36JaNo może tak być. Tak, potwierdzam. Potwierdzam, będzie dużo dziwnych odpowiedzi.
0:05:36Mówca 1możliwe, że tak naprawdę jakby ktoś przejrzał uczciwie tą bazę danych to się okaże, że jest 40 tysięcy plików. A reszta to śmiecie, nie? Znaczy no właśnie teraz potwierdzasz, że takie wrzucenie wszystkiego do jednego wora to nie ma szans zadziałania i jaki masz pomysł na to w sensie, że
0:06:00JaNo, no, no, wsuniałoby się mieć dostęp do jakiejś takiej bazy tych plików i jakieś testy na tym wykonać. Nie miałem takiego przypadku na razie, więc...
0:06:00Mówca 1się, że wiedziałbyś coś zrobić, ale potrzebujesz na to 50 Mendei? Czy w ogóle jak nie zobaczysz bazy DAS-u, to nie odpowiesz? No to jest najlepsza odpowiedź. Też bym tak odpowiedział, ale musimy coś dać do kontania.
0:06:24JaWięc nie mam pojęcia jak się to zachowa. Bo jeśli tak to co sam zauważasz, no te same słowa, te same pytania mogą być w różnych dokumentach jak jest trylarz, że w odpowiedzi dostaniemy już nie będę wyciągał TOP 30 tylko będę musiał wyciągnąć KUWA TOP 500 przepuszczać to przez Reranker Reranker wyciągnie z tego kolejne 30 i to nie ma gwaranty
0:06:24Mówca 1A Vitek... No właśnie.
0:06:48JaI to nie gwarantuje, że będą te najlepsze wciąż Ale tam widziałem, że bipa całego chcą wsadzić do raga Jest poprzone
0:06:48Mówca 1Pamiętasz, Witek, które pytanie dotyczyło Raga? Ale to było w tym kliku. No w tym, wyjaśnienia i zmiany. Pytanie 38. 38. Czy coś tutaj więcej było? No to dlatego...
0:07:12JaBIP robi najwięcej pewnie. No właśnie, to z BIPa jest tyle plików. Ja BIPy tworzyłem w 2006 roku w Rotach Małopolski. Bioletyn informacji publicznej
0:07:12Mówca 1No to dlatego 38, tak? I... Sorry, mógłbyś coś powiedzieć więcej, bo ja nie ogarniam tutaj w jakiej formie i co to jest za...
0:07:36JaTo jest takie kurwa, że co kilka dni wprowadzają jakieś zmiany ustawy albo jakieś informacje dla petentów i wiesz co 2-3 dni masz przyrost po kilkanaście dokumentów w BPI to cały czas puchnie.
0:07:36Mówca 1A może być tak, że 328 tysięcy plików z czego połowa jest nieaktualna, bo to są stare BIP-y?
0:08:00JaNo ale tylko, że nadal obowiązują. Tak. Bo to informacja o tym, że ona miał przetarg na coś tam i...
0:08:00Mówca 1A, nadal obowiązują, okej. A kojarzysz... Bo ja nie zdążyłem tego przejrzeć, czy się z automatu pod spodem samoaktualizować? Tak jak Jarek powiedział, że co trzy dni są nowe te te, to co trzy dni musimy skanować całego... Nie, no nie całego może tam będzie przeznaczony.
0:08:24JaBędzie przyrostował, ale to i tak jest w ch*j roboty. Moim zdaniem nierealne.
0:08:24Mówca 1może tam będzie przynajmniej AB jakoś najnowszy. Ale poczekajcie, bo przyrostowo to jest ten problem, że co trzy dni przyrostowo coś działa, a tak naprawdę bez wykonania testów to nie wiemy czy przez to, że przyrosło o 500 nowych dokumentów, nie wiemy czy nie rozwaliło wyszukiwania w tych 328, co było
0:08:48JaZnaczy, generalnie, BIPy nie nadają się do Rangów. BIP to jest kurwa system wiki, które... Oła! Kurwa, pać udręczyłem się. To jest system wiki, które trzeba przeszukiwać normalnie tekstowo, a nie... Są ogromne bazy danych tekstowych.
0:08:48Mówca 1co było wcześniej w tysiącach, tak? No bo każda zmiana bazy danych prowadzi do tego, że gubimy pewność czy coś co działało dalej działa, prawda? A to by
0:09:12Jatekstowych, które trzeba przeszukiwać. To nie jest to miejsce dla Raga. To nie jest to. To jest zwykłe przeszukiwanie po tekście.
0:09:12Mówca 1A to by trzeba może właśnie... To jest zwykłe przeszukiwanie baza. Ktoś zadał, Witek, takie pytanie? Ktoś zadał te pytania? A, dobra, ktoś zadał. Czy baza wiedzy ma obejmowane także treści załączników? Baza wiedzy. No dobra, no i teraz się robi ciężkie te te, bo...
0:09:36JaNo nie, to nie tak by musiało być. Musiałoby być tak, że z BIP-u to my nie inwestujemy tego BIP-a całego, tylko...
0:09:36Mówca 1bo wycen na trochę dobrze kojarzy Witek, że ta wycena obejmowała, że korzystamy z tego Jarkowego Raga. Teraz Jarek mówi, że to jest niewykonalne i mamy. Dobra.
0:10:00Jatylko jakieś tam ogólne dokumenty, a do BIPa robimy MCP z API, żeby coś wyszukało w BIPie.
0:10:00Mówca 1Dobra. No to dobra, to Jarek zadam inaczej pytanie. Jak miałbyś zrobić coś takiego, na takie wymaganie spełnił i byłś wziął na siebie całkowicie wyszukiwacji, czyli zrobiłbyś jak chcesz, albo tego, ile byś chciał na tom and day?
0:10:24JaNo, bliega.
0:10:24Mówca 1Zaraz rzucisz pewnie więcej niż obecnie cały chatbot jest ten, ale... Witek, gdzie jest na to teraz ten? Bo teraz zakładało, że mamy gotowe rozwiązanie i... Baza więcej. Czat ma więcej. A gdzie to jest? Pytasz o wycenę, tak?
0:10:48Mówca 1Tak, 30 metr na to jest. To o ile trzeba zwiększyć, żeby to było realne i żeby... Znaczy inaczej, żeby wystawić API. Zobacz Jarek, że część byś robił ragiem tak jak jest ta twoja aplikacja, a część by się dorobiło, żeby indeksować BIPa, ale to wszystko byłoby pod jednym endpointem, że web chat by wyszukiwał,
0:11:12JaTak to... Znaczy boisz tej skuteczności.
0:11:12Mówca 1a tam by się rozrobniło, że część przeszukuje. I taka bardzo zaawansowana wyszukiwarka tych wszystkich dokumentów. To mogłoby być fajny, skomplikowany system, ale niewdzięczny, bo to skuteczność mogłaby być słaba. Ale inne firmy złożą jakąś ofertę, pewnie tańszą CIT-a,
0:11:36JaTrzeba do ragad robić tak, żeby do odpowiedzi
0:11:36Mówca 1Pewnie tańszą i tak, ale musimy z czymś wyjść. W sensie dział handlowy wymaga od nas, żebyśmy wzięli w tym postępowanie. I teraz na ile to wycenić, żebyś nas nie pogonił, ale żeby to było wysokie, ale realne.
0:12:00Jażeby do odpowiedzi do retrywalu dorzucić odpowiedzi z API, tylko to API nie wiadomo co zwraca. Jak zwraca cały dokument stustronicowy no to zapchamy kontekst. Tak, dorzucimy drugi etap jeszcze po drodze, żeby coś streszczało ten dokument, albo wyszukiwało w nim tylko
0:12:00Mówca 1Dziękuję.
0:12:24Jatylko to się nie zmieścimy w 5 sekundach. Na etapie nie będziemy inwestować tego BIP-u. Nie, teraz będzie od pytania do API najwyżej. Nie jesteśmy w stanie takiej ilości zainwestować. Nie wiem jak to robić.
0:12:24Mówca 1A czy LLM mógłby robić stronę?
0:12:48JaCo to zrobić? Problem w tym, że w bipach ciężko zrobić streszczenie. Czytałeś sobie bipy? Tam jest masę śmietników, paragrafów i tak dalej, odnośników. Strasznie niewdzięczna. Biki się nadaje do bipów, a nie ragi.
0:12:48Mówca 1mógłby robić strasznie, nie jak straszenie to też będzie za długie. A jak weźmiesz podsumowanie w jednym stanie? Właśnie, bo tam jest dużo śmitu.
0:13:12JaNie wiem jak zrobić to z tego API. API nie zwróci fragmentu z odpowiedzią, tylko na przykład wróci cały dokument BIP-owski. Podejrzewam. Pewnie teraz trzymają to w jakimś SharePointie. Sporo problemów tu widzę. Nie mam pojęcia nawet jak do tego podejść.
0:13:12Mówca 3Mhm.
0:13:36JaJak do tego podejść, zobacz co teraz. Ale gdybym musiał zrobić takie API zakładając, że mi zwróci dokument BIP-owski nie trafi na pewno w pytanie użytkownika bo na takie pytanie co? On mi zwróci tylko 30 dokumentów? Ja ich nie zmieszczę w kontekście żeby przeczytać elementy. Nie chuja
0:14:00JaNie wiem. Nie mam pojęcia, nie odpowiem wam. No tak, to nie jest droga.
0:14:00Mówca 1Moim zdaniem to jest takie właśnie trochę pobożne życzenie ich, a nie do zrealizowania. Może to nie jest właśnie naraga i kwestia... W ogóle... A po co w ogóle webchat dla... W sensie te bipy to jest taka ciekawa informacja dla zawodnicznego użytkownika, że ktoś rzeczywiście do Urzędu Miasta napisze na czacie
0:14:24JaChcieliby, że to ułatwi, bo tych bitw jest tyle, że nikt nie potrafi coś w nim przeszukiwać.
0:14:24Mówca 1na czacie i że informacja jest w BIP-ie? No ale jeśli nawet ktoś, urzędnik miasta nie potrafi tego przeszukiwać dobrze, no to tym bardziej taki czat nie będzie potrafił. Znaczy mi się wydaje, że jedyne, jeśli rzeczywiście taki task by nam się trafił, to trzeba usiąść z tych urzędnikami, powiedzieć jak oni to mają, jak oni szukają i próbować
0:14:48JaTo musiał być proces gdzieś z boku, który coś wyciąga i skanuje te BIPy w real-time'ie cały czas i buduje z tego jakąś bazę wiedzy, taką bardziej uproszczoną, ujednoliconą. I ona może będzie co jakiś czas ingestowana czy tam embedowana do bazy wektorowej.
0:14:48Mówca 1szukają i próbować to odwzorować.
0:15:12JaZnawiamy BIPy to nawet jak za bardzo do tego podejść. No BIPy są najbardziej niewdzięczne chyba. Miałem z tym styczność 20 lat temu, jak robiliśmy to w SharePoincie jeszcze 2003 mikrosoftowym i to było strasznie problematyczne. Podjeżdżam, że BIPy się nie zmieniły. Nadal urzędnicy tworzyli.
0:15:12Mówca 2Mhm.
0:15:36Jai urzędnicy tworzą je w taki sam sposób, chaotyczny. Wyszukiwanie w BIP-ie to będzie takie jakby: "Zwrócili mi 14 linków do 14 dokumentów"
0:15:36Mówca 1Pewnie tak. Łatwia, żeby w urzętach poszli za bardzo do przodu.
0:16:00JaDokument ma najebane 50 stron, to ja tego nie straszam. Opisywać metadanymi każdy? Gdzie już ma regra? To jest projekt do najbliższe pół roku co najmniej, albo więcej. Żeby wymyślić jakiś mechanizm o tych bipach.
0:16:00OniDziękuję.
0:16:24JaJa się rzucam liczbą co najmniej 200 Mendejsów. Sam bym wymyślać jakieś mechanizmy, które skanują te bipy i tak dalej. Jeszcze pewnie to specyficzne. To na pewno nie jest robota dla Raga, tego się nie będzie mać. Takiej ilości nie damy rady zaingestrować.
0:16:24Mówca 1Dziękuję.
0:16:48Jajeszcze przy takim przyrości, jak przyrastają bipy. Po prostu ingestnia by trwała no stop. Nigdy by się kupa nie skończyła. Więc tam trzeba zrobić jakieś dedykowane rozwiązanie pod to, którego nie mamy w ogóle i trzeba napisać je, wymyśleć. Więc to jest... no... wymyślenia już z dostępem do takiej ilości danych.
0:16:48Mówca 2Mhm.
0:17:12Jatakiej ilości danych. Z mojej strony ponad 200 Mendejsów. Tyle Wam mogę powiedzieć.
0:17:12Mówca 1Czyli trzeba dodać 170 do tego. O, czyli się zrobi. Nie no, betną to handlowcy na 100%. Dodać i 20% i zrób w 50%.
0:17:36JaJak tu mają być marże w tej filmie? Cóż, no macie obawy. Macie rację.
0:17:36Mówca 1Nie słuchaj, mogą sprzedać to i za 20. Dobra, jedyne co to może... Jedyne co to tak naprawdę no potwierdziłeś tutaj nasze obawy i znaczy moim zdaniem to...
0:18:00JaNo.
0:18:00Mówca 1Tutaj można było to inaczej rozegrać. Nie wiem, kto zadawał te pytania, ale z pytaniem powinna być sugestia, że tego się nie da zrobić i ich uświadomić i tyle no. Czy ma? No, powiedzieli tak, bo chcą, ale czy są świadomi, że tego się nie da, a firma, która powie, że się da, to potem w praktyce wyjdzie, ale tego się nie da jakoś, no bo właśnie
0:18:24JaJakoś to przerobią, nie? W sensie przegadają ich.
0:18:24Mówca 1no bo właśnie, no że jakoś to przerobią albo przerobią, albo przegadają, albo że część tego będzie jakoś potem na etapie tego uzgadniania, że to trochę działa, trochę nie. Chyba, że ktoś po prostu dla innej firmy robił. Ty mówisz, że wiesz, że nowy temat dla PIRiOSa
0:18:48JaTak, tak. Może ktoś już takie rzeczy robił, to będzie większe szanse wygrać. My nie mamy do tego żadnego produktu. Nie jest tak, że weźmiemy naszego ragai i tam wsadzimy. To nie to. Nie ten produkt w ogóle.
0:18:48Mówca 1Kiedyś nie mówię, że robił rega, ale może ktoś BIPa już indeksował przy jakimś projekcie. No i się wtedy okaże... Dobra, dobra.
0:19:12JaPisz jakieś kosmiczne wartości ode mnie jak coś i tyle. Więcej o mnie pomaga. Okej, to na razie.
0:19:12Mówca 1Dobra, szczerze Witek. No dobra, dobra. Witek, czy coś jeszcze do Jarka? Nie, nie, to chyba tyle. Tylko Raka widać. Dobra, no. Dobra, dzięki za pomoc na razie.
Wystąpił błąd. Odśwież stronę, aby kontynuować.
Odśwież🗙