Каморка

aldep писал(а):Возникла проблема: в программе надо использовать массивы размером больше, чем 4GB.
Напрашивающееся решение - создать библиотеку, которая через memory-mapped files будет хранить массив на диске и по мере надобности подмонтировать нужные секции в память.
Нужен совет вот по каким вопросам:
1. Есть ли какие-то подводные камни в этом подходе?
2. Нет ли уже написанной библиотеки?

П.С. Платформа - Win32.

Woozy писал(а):Это всё связано с ограничением Win32 на память, доступную процессу?

Woozy писал(а): Встречный вопрос - "хранить на диске" значит только во время работы программы или в самом деле "хранить"?
Если только хранить на время работы программы, то какой ожидается размер одного элемента массива?

Woozy писал(а): Есть ещё такое подозрение, подойдёт vector из stl. Надо подкрутить: allocator для этого vector, чтобы мог выделять память из memory-mapped files, то есть за пределами доступной процессу.. Примеров в сети на аллокаторы - много.

aldep писал(а): Вообще идея интересная, спасибо, посмотрю, единственное что смущает - производительность. Динамический массив нам не нужен. Размер данных известен заранее и он не изменяется.

Vovchik писал(а): А че б не использовать базу данных и хранить всю эту фигню в таблице?

Woozy писал(а): А для vector можно зарезервировать сразу сколько надо элементов и ни операции по изменению его размера задействованы не будут, до следующего явного изменения размера или при попытке создать больше элементов.

aldep писал(а): Да я знаю, поэтому то идея и интересная, боюсь только доступ к вектору векторов будет медленный (нам нужны именно табличные данные.
Ты не встречал примеры таких аллокаторов?

aldep писал(а):

Vovchik писал(а): А че б не использовать базу данных и хранить всю эту фигню в таблице?

Хранится как раз все это в базе данных.

Проблема в том, что приходится многократно проходить этот массив и изменять его, создавать новые таблицы, и если все хранить в базе, то производительность, по сравнению к доступу из памяти, падает в ~20 раз. Поэтому мы загружали всю таблицу в память, но ее стало не хватать.

Woozy писал(а):

aldep писал(а): 1. Самое значительное время будет тратиться на операции чтения-записи в-из memory-mapped file. STL-ный overhead будет незначительный, если память заранее выделена.

2. Встречал. Писал, правда вовсе другой allocator. Из интереса покопаю google когда будет лишних 15 мин.

Vovchik писал(а):

aldep писал(а):

Vovchik писал(а): А че б не использовать базу данных и хранить всю эту фигню в таблице?

Хранится как раз все это в базе данных.

Проблема в том, что приходится многократно проходить этот массив и изменять его, создавать новые таблицы, и если все хранить в базе, то производительность, по сравнению к доступу из памяти, падает в ~20 раз. Поэтому мы загружали всю таблицу в память, но ее стало не хватать.

Тыда надо таблицу разбить по кускам. Типа - партишн как в Оракле. Ты ж все равно будешь читать писать в файлы. ТО что ты хочешь - это как раз Оракловая партишен таблица, сдается мне.
А ежели Оракл сидит на Шмуниксе, и там типа хорошо покрутить всякие гайки - то приблизительно мона добиться чтоб ваще вся таблица (или куски) торчали в памяти на сервере и свести ввод вывод на диск к минимуму.

aldep писал(а):2. Покопай, если сможешь, буду признателен. Кстати, если я правильно понимаю, то надо будет также переписывать сам вектор тоже, он должен обрабатывать ситуацию, когда нужный элемент выгружен на диск.

dEBUGER писал(а):А как mapped memory file решает проблему?

LPVOID MapViewOfFile(
  HANDLE hFileMappingObject,
  DWORD dwDesiredAccess,
  DWORD dwFileOffsetHigh,             // 32 bit +
  DWORD dwFileOffsetLow,              // 32 bit
  SIZE_T dwNumberOfBytesToMap
);

aldep писал(а):Возникла проблема: в программе надо использовать массивы размером больше, чем 4GB.
Напрашивающееся решение - создать библиотеку, которая через memory-mapped files будет хранить массив на диске и по мере надобности подмонтировать нужные секции в память.
Нужен совет вот по каким вопросам:
1. Есть ли какие-то подводные камни в этом подходе?
2. Нет ли уже написанной библиотеки?

П.С. Платформа - Win32.