持续集成实践之数据库篇

上一篇 / 下一篇 2012-07-10 10:05:07 / 个人分类：杂谈

前不久在公司内部刊物上写的，借论坛和大家分享！
水平有限，欢迎拍砖指正！

                                 持续集成实践之数据库篇

互联网世界中虚虚实实让人难以分辨！技术圈子里虽说好一些，但也有不乏只为炒作不务实的”流行风”！但”持续集成”风的盛行绝不仅是因其提出者Martin Fowler大名和努力推广，更重要的是其思想的启发性和精准性！它使我们看到了软件开发的瓶颈何在，更言简意赅地告诉了解决之道,可谓字字珠玑！持续集成涵盖多方面，其中数据库的持续集成是不得不说的。所有的软件业务都是为了处理数据，软件开发过程中难免会对数据结构及其数据做修改。将数据库集成引入持续集成，业界给了一个专用名词：Continuous Database Integration通常被缩写为CDBI。此类集成通常是由开发人员负责的，期间若是遇到数据库方面难题则可以向专业DBA咨询。为了更清楚的阐述,,我们会以一个例子给大家说明。
示例环境如下:
实例工程： Appfuse example，使用appfuse命令创建标准的MVC工程（具体操作略）。
数据库：    Mysql 5.5.10
JDK： 1.6.0_23"
Maven: 3.0.4
注：所有操作步骤都以maven、jdk、mysql,CI服务器等环境正常安装完成为前提。下面会分别介绍通过两种方案实现CDBI。
一、使用dbunit完成CDBI
我们使用的是Appfus原始生成的代码。由于Appfuse自动生成的代码中包含了使用dbunit完成数据库持续集成方案，首先让我们一起来学习这种解决方案：
(一) 为了自动生成数据库结构，首先在Hibernate配置文件hibernate.cfg.xml定义所要创建数据库表:
<hibernate-configuration>
   <session-factory>
      <mapping class="com.mycompany.model.User"/>
      <mapping class="com.mycompany.model.Role"/>
   </session-factory>
</hibernate-configuration>

(二) 如何执行和什么时候执行都是在项目的pom中定义。我们使用hibernate maven插件到达：

<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>hibernate3-maven-plugin</artifactId>
<version>2.2</version>
<configuration>
   <components>
<component>
   <name>hbm2ddl</name>o
<implementation>annotationconfiguration</implementation>
            
</component>
</components>
<componentProperties>
        <drop>true</drop>
   <jdk5>true</jdk5>
<propertyfile>target/classes/jdbc.properties</propertyfile>
<!—数据库连接-->
<skip>false</skip>
</componentProperties>
</configuration>
<executions>
<execution>
<phase>process-test-resources</phase>
<goals>
<goal>hbm2ddl</goal>
</goals>
   </execution>
</executions>
<dependencies>
   <!—jdbc连接所需要的jar依赖-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.14</version>
</dependency>
</dependencies>
</plugin>
对以上配置的解释：
当maven运行到process-test-resources阶段是程序会自动生成数据库表结构。
   hibernate3-maven-plugin另外功能的介绍：
hibernate3-maven-plugin的功能非常强大，还可以自动把项目中的module转化成初始化表用的sql语句。只需如下配置(当然本次演示中不需要这个功能！)：

   <groupId>org.codehaus.mojo</groupId>
      <artifactId>hibernate3-maven-plugin</artifactId>
      <version>2.2</version>
      <configuration>
      <componentProperties>
         <outputfilename>schema.sql</outputfilename>
      </componentProperties>
      </configuration>
   </plugin>
(三) 有了表结构，我们还需要使用maven的Dbunit插件完成数据初始化，其连接配置：
Dbunit在这里主要是用来初始化数据
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>dbunit-maven-plugin</artifactId>
<version>1.0-beta-3</version>
<configuration>
<dataTypeFactoryName>org.dbunit.ext.mysql.MySqlDataTypeFactory</dataTypeFactoryName>
<driver>com.mysql.jdbc.Driver</driver>
<username>root</username>
<password>password</password>
<url>jdbc:mysql://localhost/${db.name}?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=utf-8&amp;autoReconnect=true</url>
<src>src/test/resources/sample-data.xml</src>
<type>CLEAN_INSERT</type>
   <!-type表示对数据库的操作，这是dbunit约定的，可以看参考dbunit网站。这里是指删除数据后执行insert--->
<transaction>true</transaction>
<!-transaction等于true表示在操作是在transaction中执行-->
解析：“<src>src/test/resources/sample-data.xml</src>”是我们是使用的Dataset的数据文件。其他都是常用的mysql jdbc连接属性，这里就不用解释了。

(四)    执行阶段的设定：
   <execution>
<id>test-compile</id>
<phase>test-compile</phase>
<goals>
<goal>operation</goal>
</goals>
</execution>
<execution>
        <id>test</id>
         <phase>test</phase>
<goals>
<goal>operation</goal>
</goals>
</execution>
解析：以上配置也是maven插件常见的形势，不同生命周期执行不同的goal。<phase>test-compile</phase>和 <phase>test</phase>分别代表每个goals执行的阶段，这使插件运用相当灵活。能在那个阶段执行，是有插件开发者所编写的代码决定的。

(五) Dbunit dataset xml文件格式介绍：
前文中已经讲到使用dbunit-maven-pluginge定义了src使用的数据为：src/test/resources/sample-data.xml进行初始化数据库：
   第一行为数据库表名：
<table name="app_user"> <!-此段为table name的定义-->
接下来是对表的字段的定义：
column代表字段名，row代表要初始化的数据。
      <column>id</column>
      <column>username</column>
      <column>password</column>
   。。。。。。。
      <column>credentials_expired</column>
      <row>
         <value description="id">-1</value>
         <value description="username">user</value>
      。。。。。。
         <value description="credentials_expired">0</value>
      </row>
到此我们完成了数据库表结构的创建和初始数据的插入。这种方式是开发者比较喜欢的方式，或许他们是不需要自已写sql语句。这样只需确认对应关系，编写相应的xml文件即可！
(六)  验证：可以通过以下命令测试:
   运行命令：mvn test -Pdbunit-maven-plugin

[INFO] <<< hibernate3-maven-plugin:2.2:hbm2ddl (default) @ myproject <<<
[INFO]
[INFO] --- hibernate3-maven-plugin:2.2:hbm2ddl (default) @ myproject ---
[INFO] Configuration XML file loaded: file:/E:/MyDocument/Dropbox/workspace/appfuse/cody-ci-demo/src/main/resources/hibernate.cfg.xml
[INFO] Configuration XML file loaded: file:/E:/MyDocument/Dropbox/workspace/appfuse/cody-ci-demo/src/main/resources/hibernate.cfg.xml
[INFO] Configuration Properties file loaded: E:\MyDocument\Dropbox\workspace\appfuse\cody-ci-demo\target\classes\jdbc.properties
alter table user_role drop foreign key FK143BF46A9B523CC9;
alter table user_role drop foreign key FK143BF46A407D00A9;
drop table if exists app_user;
drop table if exists role;
drop table if exists user_role;
create table app_user (id bigint not null auto_increment, account_expired bit not null, account_locked bit not null, address varchar(150), city varchar(50), country varchar(100), postal_code varchar(15), province varchar(100), credentials_expired bit not null, email varchar(255) not null unique, account_enabled bit, first_name varchar(50) not null, last_name varchar(50) not null, password varchar(255) not null, password_hint varchar(255), phone_number varchar(255), username varchar(50) not null unique, version integer, website varchar(255), primary key (id)) ENGINE=InnoDB;
create table role (id bigint not null auto_increment, description varchar(64), name varchar(20), primary key (id)) ENGINE=InnoDB;
create table user_role (user_id bigint not null, role_id bigint not null, primary key (user_id, role_id)) ENGINE=InnoDB;
alter table user_role add index FK143BF46A9B523CC9 (role_id), add constraint FK143BF46A9B523CC9 foreign key (role_id) references role (id);
alter table user_role add index FK143BF46A407D00A9 (user_id), add constraint FK143BF46A407D00A9 foreign key (user_id) references app_user (id);

二、使用sql-maven-plugin做CDBI
除了hibernate+dbunit的工作方式，我们来看看网上介绍的比较多使用sql-maven-plugin执行sql语句的方式。
首先在执行方式的不同，请看项目pom设置：
(一) 配置支持插件:
plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>sql-maven-plugin</artifactId>
<version>1.4</version>
</plugin>
sql-maven-plugin：可以用于执行数据脚本文件也可以直接执行sql语句。后面所有的操作都是用此插件完成。
(二) 插件依赖支持：为了jdbc连接必须添加相应的jar依赖。
   <dependencies>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.14</version>
</dependency>
</dependencies>

(三) 具体数据库连接配置: 我们使用的数据库名为myporject。
<configuration>
<driver>com.mysql.jdbc.Driver</driver> <url>jdbc:mysql://localhost/myproject?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=utf-8&amp;autoReconnect=true</url>
<username>root</username>
<password>password</password>
</configuration>

(四) 插件可以连接数据库后，接下来是具体的数据库操作，我们会列出常用的操作类型：
1. 删除数据：为了防止有”脏数据”,我们通过会在开始集成测试前，删除原来的数据。
这里我们采取drop整个数据库的方式。
  <executions>
<execution>
<id>drop-db-before-test-if-any</id>
<phase>process-test-resources</phase>
<goals>
<goal>execute</goal>
</goals>
<configuration>

<url>jdbc:mysql://localhost:3306/test</url>
<autocommit>true</autocommit>
<sqlCommand>drop database myproject</sqlCommand>
<!—continue表示当有错误时，忽略错误，继续执行！ -->
<onError>continue</onError>
</configuration>
</execution>

2. 创建数据库:前一段删除了数据库，所以起始需要重新创建一个数据库。
<execution>
<id>create-db</id>
<phase>process-test-resources</phase>
<goals>
<goal>execute</goal>
</goals>
<configuration>
<!—同上：这里url中的数据库名不能是我们的测试数据库名 -->
<url>jdbc:mysql://localhost:3306/test</url>

<autocommit>true</autocommit>
<sqlCommand>create database myproject</sqlCommand>
<!—这里同样采用直接执行sql语句的方式创建数据库。-->
</configuration>
</execution>

3. 初始化数据库:有了干净的数据库后，我们着手准备需要的数据，包括：创建表、初始化数据等。这里Maven-sql-plugin与dbunit有所不同，dbunit使用的是xml，maven-sql-plugin是直接使用sql脚本。
<execution>
<id>create-schema</id>
<phase>process-test-resources</phase>
<goals>
<goal>execute</goal>
</goals>
<configuration>
   <autocommit>true</autocommit>
<srcFiles>
         <srcFile>src/main/db/mysql/${project.version}-createTables.sql</srcFile>
<!—此处建议使用占位符${project.version}定义脚本名，可以支持不同版本的脚本执行--->
        </srcFiles>
</configuration>
</execution>
<execution>
<id>create-data</id>
<phase>process-test-resources</phase>
<goals>
      <goal>execute</goal>
</goals>
<configuration>
<fileset>
<basedir>${basedir}</basedir>
<includes> <include>src/main/db/mysql/${project.version}-initData.sql</include>
</includes>
</fileset>
</configuration>
</execution>

4. 为了不干下次的集成或别的同事集成，可以考虑清理数据库。此段为可选择项。并不是所有项目都需要清楚测试数据的。
  <execution>
<id>drop-db-after-test</id>
<phase>test</phase>
<goals>
<goal>execute</goal>
</goals>
<configuration>
<autocommit>true</autocommit>
<sqlCommand>drop database myproject</sqlCommand>
</configuration>
</execution>
(五) 验证：结果验证
运行命令：mvn test  -Psql-maven-plugin

[INFO] --- sql-maven-plugin:1.4:execute (drop-db-before-test-if-any) @ myproject ---
[INFO] Executing commands
[INFO] 1 of 1 SQL statements executed successfully
[INFO]
[INFO] --- sql-maven-plugin:1.4:execute (create-db) @ myproject ---
[INFO] Executing commands
[INFO] 1 of 1 SQL statements executed successfully
[INFO]
[INFO] --- sql-maven-plugin:1.4:execute (create-schema) @ myproject ---
[INFO] Executing file: C:\DOCUME~1\ZHANGY~1\LOCALS~1\Temp\1.0.2-SNAPSHOT-createTables.1789050273sql
[INFO] 4 of 4 SQL statements executed successfully
[INFO]
[INFO] --- sql-maven-plugin:1.4:execute (create-data) @ myproject ---
[INFO] Executing file: E:\MyDocument\Dropbox\workspace\appfuse\cody-ci-demo\src\main\db\mysql\1.0.2-SNAPSHOT-initData.sql
[INFO] 6 of 6 SQL statements executed successfully
[INFO]
[INFO] --- maven-compiler-plugin:2.0.2:testCompile (default-testCompile) @ myproject –

三、两种方式比较:
以上两种方式中无论采用哪种都可以对数据库进行操作，但对于dbunit的方式更适合于新创建项目，因处于项目初期还在进行数据库的设计,可以在设计数据库的同时相应调整的hibernate的xml。而sql-maven-plugin可以用于在开发期的项目，已有现成的sql语句，修改数据结构也是使用sql脚本完成，所以显得更为方便！
四、持续数据库集成的注意事项：
   要做到数据库持续集成我们需要有以下准备：
1. 数据库文件版本化：数据库相关文件需要在版本库中。数据库持续集成希望到达一个目标，在任何干净环境checkout代码，都可以做数据库持续集成，所以要求所有数据库相关文件都放到配置库中，最好后项目代码放在同一个库。
2. 规范化数据库脚本命名：若是采用sql-maven-plugin方式时，有时候由于数据库脚本过于庞大，可以考虑增量方式执行(若是执行效率要求较高，可以采用内存数据库。)。所以，其中脚本名称最好规范，这样便于针对执行。如：
数据库文件可以同时包含：增量脚本和完整脚本。可以根据需要执行不同脚本。命名需要规范。如：项目版本号+时间 1.0.2-20120619.sql
3. CI服务器：做持续集成不能没有CI(continuous integration)服务器,篇幅有限，此次我们就不介绍如何把项目部署到CI中，因这不是此次介绍的重点。
4. 独立的schema：若是开发人员想自已做数据库集成可以考虑为其每人创建一个独立的schema。
笔者在过去公司就是采用这样的方式，可以方便的统计每个成员各自的代码测试覆盖率。
后记：
方便大家学习,代码已放到google code中。演示代码下载地址(为了避免版权问题，此演示都使用openSource资源)：
https://cody-ci-demo.googlecode. ... s/CDBI-cody-ci-demo
为使演示代码更为直观，对appfuse原有的pom做了修改，只支持mysql了。
参考资料： http://mojo.codehaus.org/sql-maven-plugin/examples/execute.html
http://www.dbunit.org/components.html
与数据库集成紧密相关的实践有：持续测试和持续反馈等，若有机会以后会继续和大家分享！

转载于：http://www.scmroad.com/forum.php?mod=viewthread&tid=25615&page=1&extra=#pid40395

收藏举报

TAG:

查看全部评论

bob123654

不要让那些真正对你好的人，慢慢的从你的生活中消失，无论爱情还是友情，都需要用心经营。

持续集成实践之数据库篇

用户菜单

我的栏目

标题搜索

日历

我的存档

数据统计

RSS订阅