Интерактивный NPC на Unreal Engine. Часть 2: RAG, эмоции и function calling
Habr ·
В первой части мы собрали прототип интерактивного NPC на базе MetaHuman в Unreal Engine. NPC "слышал" игрока ( STT ), обрабатывал распознанный текст при помощи LLM (инференс локальных моделей через llama.cpp ) и озвучивал ответ ( TTS + lipsync ). Но "говорящая голова" ещё не персонаж. Представление о мире у такого NPC статично (зашито в system prompt), на любой запрос он отвечает одинаково безэмоционально и вежливо и никак не влияет на происходящее в игре. Именно эти проблемы мы и попытались решить. Spoiler - у нас получилось. Читать далее
В первой части мы собрали прототип интерактивного NPC на базе MetaHuman в Unreal Engine. NPC "слышал" игрока ( STT ), обрабатывал распознанный текст при помощи LLM (инференс локальных моделей через llama.cpp ) и озвучивал ответ ( TTS + lipsync ). Но "говорящая голова" ещё не персонаж. Представление о мире у такого NPC статично (зашито в system prompt), на любой запрос он отвечает одинаково безэмоционально и вежливо и никак не влияет на происходящее в игре. Именно эти проблемы мы и попытались решить. Spoiler - у нас получилось. Читать далее