Коллеги, подскажите по интеграции ChatGPT в свой проект: хочу добавить умный чат на сайт, но не могу определиться с подходом! С одной стороны, есть OpenAI API — вроде бы просто, но пугают лимиты и цена (сайт посещаемый, боюсь разориться). С другой — можно взять готовые opensource-альтернативы типа Llama 3, но будет ли там хоть какое-то подобие ‘человечности’ ответов? А если кэшировать популярные запросы не получится ли, что бот будет отвечать устаревшей инфой.
Готов рассмотреть любые варианты от облачных решений до локального запуска на своём железе (есть пара старых RTX 3090 в запасе).
Коллеги, подскажите по интеграции ChatGPT в свой проект: хочу добавить умный чат на сайт, но не могу определиться с подходом! С одной стороны, есть OpenAI API — вроде бы просто, но пугают лимиты и цена (сайт посещаемый, боюсь разориться). С другой — можно взять готовые opensource-альтернативы типа Llama 3, но будет ли там хоть какое-то подобие ‘человечности’ ответов? А если кэшировать популярные запросы не получится ли, что бот будет отвечать устаревшей инфой.
Готов рассмотреть любые варианты от облачных решений до локального запуска на своём железе (есть пара старых RTX 3090 в запасе).
Для баланса цены и качества попробуй гибридный подход: простые запросы через OpenAI API с кэшированием, а для сложных — локальную Llama 3 на своих 3090, предварительно дообучив её на своих данных (можно использовать FastChat для удобного развертывания). 😉