快捷搜索:
来自 网络数据库 2019-11-10 14:30 的文章
当前位置: 67677新澳门手机版 > 网络数据库 > 正文

批量插入数据的方法,2005批量插入数据的二种方

在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题。下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters)。

  • #### bulk方法 主要思想是通过在客户端把数据都缓存在Table中,然后利用SqlBulkCopy一次性把Table中的数据插入到数据库。

 

          代码如下:

                     public static void BulkToDB(DataTable dt)  //将DataTable 数据批量插入到数据表

                     {  

    SqlConnection sqlConn = new SqlConnection(  

    ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  

    SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn); 

    bulkCopy.DestinationTableName = "BulkTestTable";  //数据表名字

    bulkCopy.BatchSize = dt.Rows.Count;  

                   for (int i = 0; i < dt.Columns.Count; i )//插入的数据列名和数据库表字段映射
                    {
                        bulkCopy.ColumnMappings.Add(dt.Columns[i].ToString(), dt.Columns[i].ToString());
                    }

try   {  

        sqlConn.Open();  

        if (dt != null && dt.Rows.Count != 0)  

             bulkCopy.WriteToServer(dt);  

          }  catch (Exception ex)   {  

            throw ex;  

       }  

finally  

    {  

          sqlConn.Close();  

          if (bulkCopy != null)  

              bulkCopy.Close();  

    }  

                            }

 

  • #### 表值参数(Table-Valued Parameters)。表值参数是SQL Server 2008新特性,简称TVPs

          代码如下:

public static void TableValuedToDB(DataTable dt)  //将DataTable 数据批量插入到数据表

{  

      SqlConnection sqlConn = new SqlConnection(  

      ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  

const string TSqlStatement =  

"insert into BulkTestTable (Id,UserName,Pwd)"    

" SELECT nc.Id, nc.UserName,nc.Pwd"    

" FROM @NewBulkTestTvp AS nc";  

    SqlCommand cmd = new SqlCommand(TSqlStatement, sqlConn);  

    SqlParameter catParam = cmd.Parameters.AddWithValue("@NewBulkTestTvp", dt);  

    catParam.SqlDbType = SqlDbType.Structured;  

//表值参数的名字叫BulkUdt,在上面的建立测试环境的SQL中有。  

    catParam.TypeName = "dbo.BulkUdt";  

try  

    {  

      sqlConn.Open();  

if (dt != null && dt.Rows.Count != 0)  

      {  

          cmd.ExecuteNonQuery();  

      }  

    }  

catch (Exception ex)  

    {  

throw ex;  

    }  

finally  

    {  

      sqlConn.Close();  

    }  

}

   /*创建表值参数类型 */

   CREATE TYPE BulkUdt  AS TABLE   ( LocationName VARCHAR(50) , CostRate INT );// 这里面的字段跟 要批量插入数据的数据表字段一致即可。

 这两种方法可以批量将数据插入SQlSERVER ,后者的速度比前者快些。

 

    

   在SQL Server 中插入一条数据使用Insert语句,但是如果想要批量插入一堆数据的话,循环使用Insert不仅效率低,而且会导致SQL一系统性能问题。下面介绍SQL Server支持的两种批量数据插入方法:Bulk和表值参数(Table-Valued Parameters)。

运行下面的脚本,建立测试数据库和表值参数。

view plaincopy to clipboardprint?
--Create DataBase  
create database BulkTestDB;  
go  
use BulkTestDB;  
go  
--Create Table  
Create table BulkTestTable(  
Id int primary key,  
UserName nvarchar(32),  
Pwd varchar(16))  
go  
--Create Table Valued  
CREATE TYPE BulkUdt AS TABLE  
  (Id int,  
   UserName nvarchar(32),  
   Pwd varchar(16)) 
--Create DataBase
create database BulkTestDB;
go
use BulkTestDB;
go
--Create Table
Create table BulkTestTable(
Id int primary key,
UserName nvarchar(32),
Pwd varchar(16))
go
--Create Table Valued
CREATE TYPE BulkUdt AS TABLE
  (Id int,
   UserName nvarchar(32),
   Pwd varchar(16))

下面我们使用最简单的Insert语句来插入100万条数据,代码如下:

view plaincopy to clipboardprint?
Stopwatch sw = new Stopwatch();  
 
SqlConnection sqlConn = new SqlConnection(  
    ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);//连接数据库  
 
SqlCommand sqlComm = new SqlCommand();  
sqlComm.CommandText = string.Format("insert into BulkTestTable(Id,UserName,Pwd)values(@p0,@p1,@p2)");//参数化SQL  
sqlComm.Parameters.Add("@p0", SqlDbType.Int);  
sqlComm.Parameters.Add("@p1", SqlDbType.NVarChar);  
sqlComm.Parameters.Add("@p2", SqlDbType.VarChar);  
sqlComm.CommandType = CommandType.Text;  
sqlComm.Connection = sqlConn;  
sqlConn.Open();  
try 
{  
    //循环插入100万条数据,每次插入10万条,插入10次。  
    for (int multiply = 0; multiply < 10; multiply )  
    {  
        for (int count = multiply * 100000; count < (multiply 1) * 100000; count )  
        {  
 
            sqlComm.Parameters["@p0"].Value = count;  
            sqlComm.Parameters["@p1"].Value = string.Format("User-{0}", count * multiply);  
            sqlComm.Parameters["@p2"].Value = string.Format("Pwd-{0}", count * multiply);  
            sw.Start();  
            sqlComm.ExecuteNonQuery();  
            sw.Stop();  
新京葡娱乐场网址 ,        }  
        //每插入10万条数据后,显示此次插入所用时间  
        Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
    }  
}  
catch (Exception ex)  
{  
    throw ex;  
}  
finally 
{  
    sqlConn.Close();  
}  
 
Console.ReadLine(); 
            Stopwatch sw = new Stopwatch();

            SqlConnection sqlConn = new SqlConnection(
                ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);//连接数据库

            SqlCommand sqlComm = new SqlCommand();
            sqlComm.CommandText = string.Format("insert into BulkTestTable(Id,UserName,Pwd)values(@p0,@p1,@p2)");//参数化SQL
            sqlComm.Parameters.Add("@p0", SqlDbType.Int);
            sqlComm.Parameters.Add("@p1", SqlDbType.NVarChar);
            sqlComm.Parameters.Add("@p2", SqlDbType.VarChar);
            sqlComm.CommandType = CommandType.Text;
            sqlComm.Connection = sqlConn;
            sqlConn.Open();
            try
            {
                //循环插入100万条数据,每次插入10万条,插入10次。
                for (int multiply = 0; multiply < 10; multiply )
                {
                    for (int count = multiply * 100000; count < (multiply 1) * 100000; count )
                    {

                        sqlComm.Parameters["@p0"].Value = count;
                        sqlComm.Parameters["@p1"].Value = string.Format("User-{0}", count * multiply);
                        sqlComm.Parameters["@p2"].Value = string.Format("Pwd-{0}", count * multiply);
                        sw.Start();
                        sqlComm.ExecuteNonQuery();
                        sw.Stop();
                    }
                    //每插入10万条数据后,显示此次插入所用时间
                    Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));
                }
            }
            catch (Exception ex)
            {
                throw ex;
            }
            finally
            {
                sqlConn.Close();
            }

            Console.ReadLine();

耗时图如下:

 

由于运行过慢,才插入10万条就耗时72390 milliseconds,所以我就手动强行停止了。

下面看一下使用Bulk插入的情况:

bulk方法主要思想是通过在客户端把数据都缓存在Table中,然后利用SqlBulkCopy一次性把Table中的数据插入到数据库

代码如下:

view plaincopy to clipboardprint?
public static void BulkToDB(DataTable dt)  
{  
    SqlConnection sqlConn = new SqlConnection(  
        ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
    SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);  
    bulkCopy.DestinationTableName = "BulkTestTable";  
    bulkCopy.BatchSize = dt.Rows.Count;  
 
    try 
    {  
        sqlConn.Open();  
    if (dt != null && dt.Rows.Count != 0)  
        bulkCopy.WriteToServer(dt);  
    }  
    catch (Exception ex)  
    {  
        throw ex;  
    }  
    finally 
    {  
        sqlConn.Close();  
        if (bulkCopy != null)  
            bulkCopy.Close();  
    }  
}  
 
public static DataTable GetTableSchema()  
{  
    DataTable dt = new DataTable();  
    dt.Columns.AddRange(new DataColumn[]{  
        new DataColumn("Id",typeof(int)),  
        new DataColumn("UserName",typeof(string)),  
    new DataColumn("Pwd",typeof(string))});  
 
    return dt;  
}  
 
static void Main(string[] args)  
{  
    Stopwatch sw = new Stopwatch();  
    for (int multiply = 0; multiply < 10; multiply )  
    {  
        DataTable dt = Bulk.GetTableSchema();  
        for (int count = multiply * 100000; count < (multiply 1) * 100000; count )  
        {  
            DataRow r = dt.NewRow();  
            r[0] = count;  
            r[1] = string.Format("User-{0}", count * multiply);  
            r[2] = string.Format("Pwd-{0}", count * multiply);  
            dt.Rows.Add(r);  
        }  
        sw.Start();  
        Bulk.BulkToDB(dt);  
        sw.Stop();  
        Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
    }  
 
    Console.ReadLine();  

public static void BulkToDB(DataTable dt)
{
    SqlConnection sqlConn = new SqlConnection(
        ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);
    SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);
    bulkCopy.DestinationTableName = "BulkTestTable";
    bulkCopy.BatchSize = dt.Rows.Count;

本文由67677新澳门手机版发布于网络数据库,转载请注明出处:批量插入数据的方法,2005批量插入数据的二种方

关键词: