Как перебрать все строки в таблице Oracle?

Вам нужно прочитать 30 млн строк из базы данных Oracle и записать 30 млн файлов из больших двоичных объектов (один заархивированный XML/текстовый файл в одном столбце BLOB на строку?) в каждой строке в файловую систему на локальном компьютере?

Очевидное решение — открыть ADO.NET DataReader на SELECT * FROM tbl WHERE <range>, чтобы вы могли делать пакеты. Считайте BLOB из считывателя в свой API, сделайте все необходимое и запишите файл. Я бы, вероятно, попытался написать программу так, чтобы она могла работать на многих компьютерах, каждый из которых выполнял бы свои собственные диапазоны - вашим узким местом, скорее всего, будет распаковка, манипуляция и повторное архивирование, поскольку многие потребители, вероятно, могут передавать данные из этой таблицы из сервер без заметного влияния на производительность сервера.

Я сомневаюсь, что вы сможете сделать это с помощью операций на основе наборов, внутренних для базы данных Oracle, и я бы также подумал о файловой системе и о том, как вы собираетесь организовать такое количество файлов (и есть ли у вас место — помните размер, занимаемый файлом в файловой системе, всегда кратен размеру блока файловой системы).

Моим первоначальным решением было сделать что-то вроде этого, поскольку у меня есть доступ к идентификационному номеру (псевдокод):

            int num_rows = 100;
            int base = 0;
            int ceiling = num_rows;

            select * from MY_TABLE where id >= base and id < ceiling;
            iterate through retrieved rows, do work,
            base = ceiling;
            ceiling += num_rows;
            select * from MY_TABLE where id >= base and id < ceiling;
            iterate through retrieved rows, do work,
            ...etc.

Но я чувствую, что это может быть не самый эффективный или лучший способ сделать это...

Вы можете попробовать использовать запросы rownum для захвата фрагментов, пока не захватите несуществующий фрагмент.

Это хорошая статья о запросах rownum: http://www.oracle.com/technetwork/issue-archive/2006/06-sep/o56asktom-086197.html

Если вам не хочется читать, перейдите непосредственно к разделу «Разбиение на страницы с помощью ROWNUM» в конце для примера запроса.

Всегда предпочтительнее использовать операции на основе набора при работе с большим количеством строк.

Тогда вы получите преимущество в производительности. После обработки данных вы сможете за один раз выгрузить данные из таблицы в файл.

Жизнеспособность этого зависит от обработки, которую необходимо выполнить для строк, хотя в большинстве случаев можно избежать использования цикла. Есть ли какое-то конкретное требование, которое не позволяет вам обрабатывать все строки одновременно?

Если итерация по строкам неизбежна, может быть полезно использовать массовое связывание: массовые операции FORALL или BULK COLLECT для запросов «выбрать в».

Похоже, вам нужен весь набор данных прежде чем вы сможете выполнять какие-либо манипуляции с данными, поскольку это BLOB>. Я бы просто использовал DataAdapter.Fill, а затем передал набор данных пользовательскому объекту для итерации, выполнил его манипуляцию, а затем записал на диск конечный объект, а затем заархивировал.