Testy wydajności ASR na GPU i plany wdrożenia

Przycisk jest chwilowo zablokowany — strona jeszcze łączy się z serwerem. Odblokuje się sam po ułamku sekundy. Jeśli to nie mija, przeglądarka nie wczytała skryptu strony (_framework/blazor.web.js) i usuwanie nie zadziała.

0:00:00 JaTurbo. Tak, to jest mój sekretarz, który nagrywa wszystkie. Działa jak działa, ale wytrzymałem je praktycznie. Jak mówię i to wszystko na żywo wskakuje. Milknę, od razu leci. No to
0:00:00 Mówca 3W którego użyłeś i sam robiłeś tego? Ok. No na GPU tak, tam jest kwestia tego, że w spike'u w NRD chyba tam było 700 rozmów jednocześnie prowadzonych, no nie?
0:00:24 JaNo to ja z ASR-em, już czekaj, czekaj bo mam tutaj wszystko na Tritonie to robiłem tego ASR-a. To jest Turbo.
0:00:24 Mówca 3To tak jakbyś miał 700 takich spotkań do zrealitajmowania. Czy tam już nie pamiętam ile tam było. A to jest model Turbo? My tego po prostu na GPU nie testowaliśmy, więc czekaliśmy na to środowisko żebyśmy
0:00:48 JaJasne. W przekazie sam ASR to było... Rozpoznajmy, no to są takie na GPU tak zapieprza, że tam 120 rozmów w Realtime jest w stanie zrobić. Największe czasy to był TTS
0:00:48 Mówca 4na to środowisko, żebyśmy mogli to zrobić.
0:01:12 JaW większe czasu to był TTS i LLM, ale sam ten Whisper Turbo tak zapierdana w GPU, że wszystkie rozmowy w real-time były w stanie robić.
0:01:12 Mówca 4Znaczy czekaj Mikołaj, bo my robiliśmy testy też na konsumentach i wtedy wychodziło, że okej, tylko natomiast nie mieliśmy jakby takiego wiesz Jarek, nie mieliśmy żadnego testu oficjalnego ani z klientem, ani w obręb
0:01:36 JaNo masz rację no.
0:01:36 Mówca 4tym, ani w obrę Piriosa. Więc my też nie potwierdzamy tego, że jak ja sprzedstowałem na jakimś konsumencie, tam przedstawialiśmy się chyba na jakieś 50-70 od Adriana, no to sorry, ale ja nie będę się podpisywał pod tym, że coś prywatnie sobie sprawdziliśmy, żeby mieć jakiekolwiek ozeznanie, bo nie dostaliśmy żadnej możliwości ani od strony Piriosa, ani od strony energii i tak dalej. Więc to jest takie
0:02:00 JaJa robiłem testy na tych RTX 6000 bo je wynajmowałem na godziny no to tam po optymalizacji tego ASR-a on przestał być w ogóle jakimś problemem. Największy problem to jest cały czas LLM i TTS
0:02:00 Mówca 1No to jest takie, kurwa ten temat był zajebiście ciężki. A Jarek, a tego whispera live streaming to robiłeś sam, tak?
0:02:24 JaNie, w Pythonie. Nie ma do tego odpowiednich. Na Tritonie go stawiałem moje prywatne, to nie jest pirosowe. Kurde.
0:02:24 Mówca 1sam, tak? I w czym to robiłeś? W dotnecie? Czy powiem w pajtę? No właśnie. A to powiedz mi, to robiłeś jako... Ale to jest twoje prywatne czy piriosowe? Okej. Kurde. Wszystko sobie robisz prywatnie, no. Tak zwany vibe coding.
0:02:48 JaGeneralnie prywatnie, no tak, dla jakichś klientów. No nie kupuję takiej rzeczy jeszcze. Podobnieżam, że tydzień, dwa
0:02:48 Mówca 1Nie chcę płacić. A dobra, a mógłbyś jedną informację, no jak chcesz to przekażesz, jak nie to nie w Mendeja ile oszacować można, żeby zrobić live Whispera? Tak się ciekawe? Kurde, dałem 20.
0:03:12 JaNo, z pomocą teraz AI to w miarę idzie. W przypadku walczyć później z problemami, ale tak do ogarnięcia. To uczciwa wartość jak najbardziej. Oficjalnie bym dał więcej, ale ja ci powiedział, ile będzie dewelokumentu.
0:03:12 Mówca 1Kurde, dałem 20 mn day i jest okej. Tak, tak. Okej. Koło 20 mn day chyba dałem na to, więc okej, dobra. Dobra, no to dzięki.
0:03:36 JaNo już schodzą wszyscy, więc... Rynek się psuje!
0:03:36 Mówca 1Wiesz co, powoli przez to, że rzeczywiście przy pomocy AI można nieźle zejść. Czasowo zauważyłem, że jest taka tendencja, żeby jednak trochę schodzić z tymi wycenami. No niestety. Bo jesteśmy przed faktem, albo dam taką realną, fajną wycenę deweloperską, co jest możliwe, ale nic nie jest akceptowalne, albo zejść i jak
0:04:00 JaNo. No, to facet. Do wasz się.
0:04:00 Mówca 4albo zejść i jakoś się uda. Jest oczywiście ryzyko, że się nie uda, ale jak powiem wycenę tak jak kiedyś, no to nic nie jest akceptowane. Ale wiesz, najlepsze był jak byliśmy wycenić i jak to będzie chodziło na GPU, ale lepiej rozpowiedział wyceń, powiedz ile, ale jak? Nie mamy sprzętu, ale dajcie informacje. No tak, nie.
0:04:24 JaDobra, to ja się muszę dowiedzieć najpierw czy w ogóle coś tam w NRDze mam zgłaszać moje klocki czy nie. Bo ASR ten jakbyśmy... Właśnie.
0:04:24 Mówca 3Próbuj się dowiedzieć, bo w tej chwili ja bym takie, że można by... Tylko trzeba by ustalić czy możemy na to poświęcać czas. Można by zrobić jakiegoś prostego IDR-a
0:04:48 JaNo właśnie, no właśnie. Zabierz albo do Berlankera wgrać, jakiś embedding LLM. Ja... no właśnie jeszcze się oficjalnie nie zajmuję.
0:04:48 Mówca 3jakiegoś prostego IGRA testowego na środowisku uknięta w NRD, gdy korzystasz z tego TTSa, którego masz. No i taką instancję raga też można by postawić, nie? No i no... No nie wiem jak do tego podejść, nie? Masz czy masz space na to? Bo tam gdzieś chyba się zajmujesz teraz takimi tematami, nie?
0:05:12 Jajeszcze się oficjalnie zajmuję. Na razie nie mam space'u, bo siedzę w tauronie, w upgrade tauronu. Jeszcze nic... Tak, pewnie uratka muszę zapytać. Co i jak z tym? Jak wy używacie tego whispera to macie to API takie
0:05:12 Mówca 3tematami, nie? Ale kurwa, ale to jakbyś no to chyba... Nie wiem. Spróbujesz tam dowiedzieć, no u kogo to tam? U Radka trzeba załatwić taki temat czy u kogo? No to zapytaj może, nie?
0:05:36 JaNo to kurczę, w sumie można by użyć tego mojego, który już przygotowałem na Tritonie, bo słyszałem, że Energa ma support NVIDIA, no to NVIDIA forsuje ich serwer inferencji, więc tego Whisperer... Triton to jest taki
0:05:36 Mówca 1Tak, tak. Formalnie wywołujemy Pythonowym kodem transcript. Co to jest ten Triton? Co to jest ten Triton?
0:06:00 JaTriton to jest taki uniwersalny serwer inferencji, możesz różne module na nim odpalać. Nie mam pojęcia właśnie, to może sprawdzić co podali tam PCI, co oni tam podali. Oficjalnie na kartach NBD no to ten Triton jest zalecany
0:06:00 Mówca 3co to jest ten triton? a jak to się ma do tego, że to jest HP to tam... bo to znaczy to jest jakaś tam... może nie ma nic w sieci o czymś takim
0:06:24 Janie, to jest software. To jest coś silnej na którym się uruchamia modele
0:06:24 Mówca 3Alt i triton to jest jakieś hardware czy to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to, to,