Здравствуйте!
Стоит задача привести базу товаров к общему знаменателю. Можно ли, это сделать средствами ИИ + Python3?
изначально:
Есть база товаров, 10 тыс. наименований
у каждого товара в исходном файле
— название
— код
— артикул
— внешний код
— описание
есть еще N файлов
у которых схожие
— названия
— артикул (не всегда есть)
— код
— описание
Это всё надо объединить … вот думаю, КАК Это сделать?!
Здравствуйте!
Стоит задача привести базу товаров к общему знаменателю. Можно ли, это сделать средствами ИИ + Python3?
изначально:
Есть база товаров, 10 тыс. наименований
у каждого товара в исходном файле
— название
— код
— артикул
— внешний код
— описаниеесть еще N файлов
у которых схожие
— названия
— артикул (не всегда есть)
— код
— описаниеЭто всё надо объединить … вот думаю, КАК Это сделать?!
Смысл в том, чтобы не искать точные совпадения, а научить программу понимать смысл названий. Берешь нейросеть для обработки текста (типа Sentence Transformers), она переводит все названия и описания в цифры векторы. Потом просто ищешь, у каких товаров эти векторы ближе всего друг к другу, даже если слова разные. Артикулы и коды помогут отсечь ложные срабатывания. Питоном всё это автоматизируешь, большая часть работы сделается сама, а на спорные случаи глазами глянешь. Если будут сложности, пиши в лс, помогу (не бесплатно)
Твоя задача чтобы нейросеть превратила тексты в цифровые отпечатки, а ты уже ищешь, какие из них ближе всего лежат. Выставишь порог похожести всё что выше, сливаешь автоматом, что в зоне неопределённости выгружаешь в эксель и потом ручками проходишь. Проверяешь по артикулам. Python идеально здесь справится.