Streszczenie

Omówiono wyniki testów wydajnościowych modelu Whisper Turbo na kartach GPU, wskazując, że sam ASR nie jest wąskim gardłem, a największe opóźnienia generują komponenty LLM i TTS. Uczestnicy ustalili, że brakuje oficjalnych testów w środowisku produkcyjnym (NRD/Pirios), a dotychczasowe weryfikacje miały charakter prywatny. Poruszono kwestię wyceny implementacji live Whispera, szacując ją na około 20 dni roboczych z uwzględnieniem wsparcia AI. Zaplanowano wstępne kroki w kierunku stworzenia prostego testowego środowiska RAG/ASR w NRD.

Ustalenia

• Uznano, że wycena implementacji live Whispera wynosi około 20 dni roboczych.
• Zdecydowano o próbie ustalenia możliwości poświęcenia czasu na stworzenie prostego testowego środowiska (IDR/RAG) w NRD.

Zadania

• Zapytać Radka lub odpowiednią osobę o formalne aspekty wdrożenia i dostęp do środowiska Zrobione
• Sprawdzić, jakie wymagania sprzętowe i software'owe (np. Triton) podał PCI dla kart NBD Zrobione
• Dowiedzieć się, czy należy zgłaszać własne komponenty (klocki) do NRD Zrobione

Pytania otwarte

• Czy w NRD jest możliwość poświęcenia czasu na testy i wdrożenie prostego środowiska RAG/ASR?
• Czy Energa posiada wsparcie NVIDIA i czy zaleca użycie Tritona jako serwera inferencji?
• Kto formalnie odpowiada za zatwierdzenie testów w środowisku Pirios/NRD?

Moje uwagi