MongoDB — используйте структуру агрегации или mapreduce для сопоставления массива строк в документах (сопоставление профилей)

MapReduce будет запускать JavaScript в отдельном потоке и использовать предоставленный вами код для создания и сокращения частей вашего документа для агрегирования по определенным полям. Вы, безусловно, можете рассматривать упражнение как агрегирование по каждому «fieldValue». Фреймворк агрегации тоже может это делать, но будет намного быстрее, так как агрегация будет выполняться на сервере на C++, а не в отдельном потоке JavaScript. Но структура агрегации может вернуть больше данных, чем 16 МБ, и в этом случае вам потребуется выполнить более сложное разбиение набора данных.

Но кажется, что проблема намного проще, чем эта. Вы просто хотите найти для каждого профиля, какие другие профили имеют с ним определенные атрибуты - не зная размера вашего набора данных и ваших требований к производительности, я предполагаю, что у вас есть индекс для fieldValues, поэтому было бы эффективно запрашивать на нем, а затем вы можете получить желаемые результаты с помощью этого простого цикла:

> db.profiles.find().forEach( function(p) { 
       print("Matching profiles for "+tojson(p));
       printjson(
            db.profiles.find(
               {"fieldValues": {"$in" : p.fieldValues},  
                                "_id" : {$gt:p._id}}
            ).toArray()
       ); 
 }  );

Выход:

Matching profiles for {
    "_id" : 1,
    "firstName" : "John",
    "lastName" : "Smith",
    "fieldValues" : [
        "favouriteColour|red",
        "food|pizza",
        "food|chinese"
    ]
}
[
    {
        "_id" : 2,
        "firstName" : "Sarah",
        "lastName" : "Jane",
        "fieldValues" : [
            "favouriteColour|blue",
            "food|pizza",
            "food|mexican",
            "pets|yes"
        ]
    },
    {
        "_id" : 3,
        "firstName" : "Rachel",
        "lastName" : "Jones",
        "fieldValues" : [
            "food|pizza"
        ]
    }
]
Matching profiles for {
    "_id" : 2,
    "firstName" : "Sarah",
    "lastName" : "Jane",
    "fieldValues" : [
        "favouriteColour|blue",
        "food|pizza",
        "food|mexican",
        "pets|yes"
    ]
}
[
    {
        "_id" : 3,
        "firstName" : "Rachel",
        "lastName" : "Jones",
        "fieldValues" : [
            "food|pizza"
        ]
    }
]
Matching profiles for {
    "_id" : 3,
    "firstName" : "Rachel",
    "lastName" : "Jones",
    "fieldValues" : [
        "food|pizza"
    ]
}
[ ]

Очевидно, вы можете настроить запрос так, чтобы он не исключал уже совпадающие профили (путем изменения {$gt:p._id} на {$ne:{p._id}} и других настроек. Но я не уверен, какую дополнительную ценность вы получите от использования структуры агрегации или mapreduce, поскольку на самом деле это не агрегирование одной коллекции в одном из его полей (судя по формату вывода, который вы показываете).Если ваши требования к формату вывода гибки, конечно, возможно, вы также можете использовать один из встроенных параметров агрегации.

Я проверил, как это будет выглядеть, если агрегировать отдельные значения полей, и это неплохо, это может помочь вам, если ваш вывод может соответствовать этому:

> db.profiles.aggregate({$unwind:"$fieldValues"}, 
      {$group:{_id:"$fieldValues", 
              matchedProfiles : {$push:
               {  id:"$_id", 
                  name:{$concat:["$firstName"," ", "$lastName"]}}},
                  num:{$sum:1}
               }}, 
      {$match:{num:{$gt:1}}});
{
    "result" : [
        {
            "_id" : "food|pizza",
            "matchedProfiles" : [
                {
                    "id" : 1,
                    "name" : "John Smith"
                },
                {
                    "id" : 2,
                    "name" : "Sarah Jane"
                },
                {
                    "id" : 3,
                    "name" : "Rachel Jones"
                }
            ],
            "num" : 3
        }
    ],
    "ok" : 1
}

Это в основном говорит: «Для каждой группы fieldValue ($ unwind) по fieldValue массив совпадающих профилей _id и имен, подсчитывая, сколько совпадений накапливает каждое fieldValue ($ group), а затем исключайте те, у которых есть только один профиль, соответствующий ему.

Во-первых, если различать их, то структура агрегации MongoDB в основном представляет собой просто mapreduce, но более ограниченную, чтобы обеспечить более простой интерфейс. Насколько мне известно, фреймворк агрегации не может делать ничего, кроме общего mapreduce.

Имея это в виду, возникает вопрос: можно ли смоделировать ваше преобразование в рамках агрегации или вам нужно вернуться к более мощному mapreduce.

Если я понимаю, что вы пытаетесь сделать, я думаю, что это возможно с платформой агрегации, если вы немного измените свою схему. Дизайн схемы — одна из самых сложных вещей в Mongo, и вам нужно учитывать множество вещей, решая, как структурировать ваши данные. Несмотря на то, что я очень мало знаю о вашем заявлении, я все равно рискну и внесу предложение.

В частности, я бы предложил изменить структуру вашего поддокумента fieldValues на что-то вроде этого:

{
    "_id": 2,
    "firstName": "Sarah",
    "lastName": "Jane",
    "likes": {
        "colors": ["blue"],
        "foods": ["pizza", "mexican"],
        "pets": true
    }
}

То есть хранить многозначные атрибуты в массиве. Это позволит вам воспользоваться преимуществами оператора $unwind фреймворка агрегации. (См. пример в документации Mongo.) Но, в зависимости от того, что вы пытаетесь достичь, это может быть или не быть подходящим.

Сделав шаг назад, вы, возможно, сочтете нецелесообразным использовать структуру агрегации или функцию mapreduce Mongo. Их использование влияет на производительность, и их использование для основной бизнес-логики вашего приложения может быть не очень хорошей идеей. Как правило, они предназначены для нечастых или специальных запросов, просто чтобы получить представление о своих данных. Итак, вам может быть лучше начать с «настоящего» фреймворка mapreduce. Тем не менее, я слышал случаи, когда структура агрегирования использовалась в задании cron для регулярного создания основных бизнес-данных.