C#海量数据瞬间插入到数据库的方法

1、C#海量数据瞬间插入到数据库的方法当我们在数据库中进行大量的数据追加时，是不是经常因为数据量过大而苦恼呢？而所谓的海量数据，一般也是上万级的数据，比如我们要添加一百万条数据，应该如何提高它的效率呢？Oracle数据库：普通肉垫式什么叫批量插入呢，就是一次性插入一批数据，我们可以把这批数据理解为一个大的数组，而这些全部只通过一个SQL来实现，而在传统方式下，需要调用很多次的SQL才可以完成，这就是著名的 数组绑定 的功能。我们先来看一下传统方式下，插入多行记录的操作方式：呼程序代码：设置一个数据库的连接串，string connectStr = User Id=scott;Password=ti

2、ger;Data Source=;OracleConnection conn = new OracleConnection(connectStr);OracleCommand command = new OracleCommand();command.Connection = conn;conn.Open();通过循环写入大量的数据，这种方法显然是肉垫for (int i = 0; i recc; i+)string sql = insert into dept values( + i.ToString() + , + i.ToString() + , + i.ToString() + );c

3、ommand.CommandText = sql;command.ExecuteNonQuery();使用ODP特性即程序代码：设置一个数据库的连接串string connectStr = User Id=scott;Password=tiger;Data Source=;OracleConnection conn = new OracleConnection(connectStr);OracleCommand command = new OracleCommand();command.Connection = conn;/到此为止，还都是我们熟悉的代码，下面就要开始喽这个参数需要指定每次批插

4、入的记录数command.ArrayBindCount = recc;在这个命令行中，用到了参数，参数我们很熟悉，但是这个参数在传值的时候/用到的是数组，而不是单个的值，这就是它独特的地方command.CommandText = insert into dept values(:deptno, :deptname, :loc);conn.Open();下面定义几个数组，分别表示三个字段，数组的长度由参数直接给出int deptNo = new intrecc;string dname = new stringrecc;string loc = new string recc;/为了传递参数，

5、不可避免的要使用参数，下面会连续定义三个/从名称可以直接看出每个参数的含义，不在每个解释了OracleParameter deptNoParam = new OracleParameterdeptno , OracleDbType.Int32);deptNoParam.Direction = ParameterDirection.Input;deptNoParam.Value = deptNo;command.Parameters.Add(deptNoParam);OracleParameter deptNameParam = new OracleParameter(deptname, Ora

6、cleDbType.Varchar2);deptNameParam.Direction = ParameterDirection.Input;deptNameParam.Value = dname; command.Parameters.Add(deptNameParam);OracleParameter deptLocParam = new OracleParameterfloc, OracleDbType.Varchar2);deptLocParam.Direction = ParameterDirection.Input;deptLocParam.Value = loc;command.

7、Parameters.Add(deptLocParam);在下面的循环中，先把数组定义好，而不是像上面那样直接生成SQLfor (int i = 0; i recc; i+)(deptNoi = i;dnamei = i.ToString();loci = i.ToString();)这个调用将把参数数组传进SQL,同时写入数据库command.ExecuteNonQuery();好了，到目前为止，两种方式的插入操作程序已经完成，就剩下对比了。我在主函数处写了一个小函数，循环多次对两个方法进行调用，并且同时记录下时间，对比函数如下：0P程序代码：for (int i = 1; i = 50;

8、i+)(OrdinaryInsert(i * 1000);BatchInsert(i * 1000);)当数据量达到100万级别时，所用时间依然令人满意，最快一次达到890毫秒，一般为1秒左右经过试验，得出一组数据，可以看出两种方式在效率方面惊人的差距(占用时间的单位为毫秒)，部分 数据如下：看一下由此数据生成的散点图:里2gif (7.33 KB)SqlServer数据库：其中有些数据有些跳跃，可能和数据库本身有关系，但是大部分数据已经能说明问题了。看了这些数据后,是不是有些心动了 ?既然Oracle可以如此爽快，那么在SqlServer中是否也可以这样做呢?但是在SqlServer中却没有

9、诸如ArrayBindCount这样的操作属性不过，我们却可以借助于BULK INSERT来进入海量数据的添加代码：霄程序代码:ISOOOO敝处理Iooooa些性腐眼)5QQQ0QItXKK? 200DD 3网0 4 8E 50Q 0000记录数标准10001545 .厂20003514 |20130003749 1134000I5737-|40|5000682060009469r-75I7000110226|69|800015290| 123 |900011475M1000014596110001S70S1301555616548 |113000137S5125| 1556520393ISl

10、Euuu221B11591.GIF (6.59 KB)设置一个数据库的连接串string connectStr = .11;SqlConnection conn = new SqlConnection(connectStr);SqlCommand command = new SqlCommand();command.CommandTimeout = 0;command.Connection = conn;/*说明：* “c:sql.txt是个预先生成的包含100条数据的文件*每一个字段的信息以“，分割*每一条数据以“符号分隔*每10万条数据一个事务。*/command.CommandText = BULK INSERT TableB FROM c:sql.txt WITH (FIELDTERMINATO R =,ROWTERMINATOR =|,BATCHSIZE = 100000);conn