Archive for the Category » 技术交流 «

把FreeBSD下的硬件RAID去掉

几年前的一台服务器,intel s3000ah的板子,自带Intel Matrix Storage和LSI的raid,不过这个板子的raid对freebsd不支持,当初勉强使用Intel Matrix Storage的模式设置了raid 1 安装了BSD的7.2, 事实上并不是真正的好使,raid经常掉,bsd下的raid管理工具atacontrol也不能进行detach和attach的,勉强认为freebsd能认识设备ar0而已。

机器前几天终于挂了,出现的情况是raid1的两个磁盘都显示了offline,用过Intel Matrix Storage的就知道,CTRL+I进去后,其实是啥也干不了的,这个板子如果在windows下,或者用板子自带引导盘也是可以干点啥的,在bsd下,Intel Matrix Storage就是狗屎一坨。

按照过去的经验,通常这样的情况都是重装系统完事,但是因为人不在现场,David帮我跑去机房看看情况,于是乎抱着试试看的态度,尝试看看是否可以从硬件和软件下把raid禁用了,用一块盘当作普通sata来运行原理的系统,省得重装系统,配置和恢复数据麻烦,没想到一试居然成功了,下面把大致的经过分享给大家,希望对大家有参考作用。

首先,到bios里面,把raid禁用了,然后重启机器,正常的话能看到freebsd的引导了,但是这会儿是不能正常进入系统的,半道儿上就会停住,告知ar0…啥的设备问题。

在freebsd引导菜单中选择进入单用户模式

进到单用户模式的shell环境下后,因为/usr /var 啥的分区都没能挂载,而使用mount -a 啥的肯定不行,因为分区指向的都是ar0…的raid设备名, 于是我们要想办法修改fstab,这会儿矛盾的问题是,既然/usr无法挂载,/usr/bin/vi自然就没法运行了,如何能修改fstab文件呢?

琢磨了会儿,找到了办法,先umount /usr 试试, 然后再运行 mount -u /dev/ad4s1f /usr ,这里的ad4s1f其实是我raid1第一块硬盘在系统中的设备名,这个名称你可以大致的看看/dev/目录下有啥ad开头的文件,再对比一下当前fstab文件里面的分区,就能找到对应的块设备名称了。

通过上面的操作,vi就可以使用了, 运行 /usr/bin/vi /etc/fstab,把该文件里面原来ar0…的都改成ad4… ,保存退出,成功了一大半了。(这里漏掉了一步关键的,/etc/fstab文件应该是只读的文件系统,需要先运行 mount -fw / )

接下来需要做的事情是要从系统里面删除掉原来的raid设备,这个比较简单 运行/usr/bin/atacontrol detach ad4 和/usr/bin/atacontrol detach ad6 ,然后运行/usr/bin/atacontrol delete ar0 (你的系统里面也有可能是ar1,自己看fstab来决定)

然后最好执行一下fsck -y ,抽颗烟等结束后reboot,基本上就好了!

这会儿应该能进到系统了,再df看看磁盘分区情况,系统回到了普通的单硬盘模式了,多出来的那块ad6还没有使用,可以再自己分区单独使用。

Category: Linux / BSD  Tags: , , ,  14 Comments

使用HAProxy对MySQL进行负载均衡和状态监控

转载请保留原文内容,并声明转载地址:http://www.toplee.com/blog/1284.html

乐搜(lesoo.com)使用HAProxy已经很久了,但主要用在前端web请求的负载均衡和状态监控上,对于后端的Memcached以及MySQL却一直没有应用,最近对系统架构进行了小规模的整理,把MySQL也收编到了HAProxy下,经过一段时间的使用,体验还是不错的。

详细的HAProxy的安装配置我就不说了,主要针对HAProxy如何监控检测后端MySQL服务器的状态说两句。

我们的环境由两台master和若干台slave数据库组成,在HA的配置中,可以设置灵活的策略和进行slave的分组,如果系统更大了,将还会根据业务系统来拆分若干个master和slave组。

声明:以下内容应用和验证环境是基于 FreeBSD 8.2 环境,MySQL在5.1以上版本,理论上 Linux 的各个版本基本都能通过,如果有不能通过的情况,请别随意张口扔板砖,欢迎添加评论留言向我提问

HA对MySQL状态监控实现的方式很多,不过大多逻辑都一样,使用自己编写的脚本程序(可以是shell、php、perl等你熟悉的语言)监控mysql的运行情况,然后通过HTTP的方式输出运行结果给HA,我使用的是shell程序来实现的监控,结合 FreeBSD的inetd服务来实现监控端口的提供

more »

感谢Google Reader 丢失的数据又找回来了!

通过google reader订阅进行导出丢失的数据

https://www.google.com/reader/atom/feed/http://www.toplee.com/blog/%3Ffeed%3Drss2?n=100

得到的是atom格式的xml数据,然后进行一次转换到rss格式的xml

最后进入到WP的后台 import

搞定!

谷歌地图升级到5.4版

现在用的手机是android2.2版的三星i9000,ROM自带的谷歌地图是4.5版,但官方早就升级到了5.4版,中间有性能和功能的大幅提升,可是尝试了若干方法安装升级都没有成功,如果用市场直接升级会得到“应用程序未安装”的错误提示,用adb手动安装,会得到 INSTALL_FAILED_SHARED_USER_INCOMPATIBLE 错误提示,另外还尝试了用RE获取root权限后后删除/system/app/Maps.apk后安装或者升级,依然不能成功,其实之前编译测试 apk文件的时候,遇到 INSTALL_FAILED_SHARED_USER_INCOMPATIBLE错误其实是因为 AndroidManifest.xml 文件中android:sharedUserId=”android.uid.system”设置项所指,可是这事儿现在没法弄,官方的Google maps的apk文件打开后里面的AndroidManifest.xml文件不能这样修改搞定。

崩溃之余想到个方法可以一试,就是把系统原来的4.5版 /system/app/Maps.apk拷贝到手机的另外地方,然后通过RE删除掉原来的文件后,在手机上点击Maps.apk文件安装一份新的4.5版谷歌地图,这样安装出来的文件就成为了第三方应用程序的模式,于是再进入设置->应用程序里面删掉刚安装的4.5版程序,然后再次通过adb命令安装最新5.4版的Maps.apk,结果成功了!


C:\Users\michael\Documents\Wandoujia\Download\App
adb install -r “Maps.apk”
335 KB/s (6297067 bytes in 18.355s)
pkg: /data/local/tmp/Maps.apk
Failure [INSTALL_FAILED_SHARED_USER_INCOMPATIBLE]

C:\Users\michael\Documents\Wandoujia\Download\App
adb install “Maps.apk”
250 KB/s (6297067 bytes in 24.589s)
pkg: /data/local/tmp/Maps.apk
Success

TP-Link WN321G无线网卡在FreeBSD下配置

默认情况下,FreeBSD7.2以上(我测试是这样)内核默认都支持这款无线网卡的驱动,这款网卡的芯片是 Ralink RT2573 ,可以说运气不错,一直扔着闲置没用。

启动的时候,或者插入USB口的时候,大概能看到如下内容,表示驱动已经加载:


rum0: on uhub4
rum0: MAC/BBP RT2573 (rev 0x2573a), RF RT2528
rum0: Ethernet address: 00:14:78:76:ff:59
rum0: if_start running deferred for Giant
rum0: on uhub4rum0: MAC/BBP RT2573 (rev 0x2573a), RF RT2528rum0: Ethernet address: 00:14:78:76:ff:59rum0: if_start running deferred for Giant

配置非常简单,只需要在rc.conf下配置如下内容即可:

ifconfig_rum0=”inet 192.168.1.8  netmask 255.255.255.0 ssid bengxin authmode open wepmode on weptxkey 1 wepkey 0x1234567890″

其中 ssid 是无线路由的ssid名称, authmode 是认证模式, wepmode 表示采用wep加密方式 weptxkey表示用的第几个密钥进行数据传输 webkey 是16进制的wep密钥值,根据你的需要来修改即可, wepkey支持多个,可以写成 1:0×1234567890 表示第一个密钥

解决技术小问题两三件

1. imageCreateFromBMP()方法的实现,重点是解决了对32位BMP图片格式的支持,现在很多的团购网站图片格式明显有问题,比如阿丫团,虽然都是.jpg的,其实图片文件mime类型是image/bmp的,确实很诡异

2. 困扰我很久的PPT编写和修改操作电脑反应非常慢的老问题,有时输入和删除个字电脑都很迟缓,今儿终于搞定了,不是电脑的问题,是Office的拼写检查导致的,现在可以用行云流水来形容了。

3. 另外搞定SVN的菜鸟问题一个,随着版本的增加,SVN服务器的反应是越来越慢,这是因为大量的版本历史文件存放在一个服务器目录下导致,这是默认的svnadmin create的存放模式,其实使用BDB模式存放就轻松搞定了,至于为什么默认不用此方式,我还没有去研究。

感谢哥们帮忙,联想3110打印机在win7下能用了

很老的打印机了,很少用,但是扔了又是浪费,这次差点被扔了,因为在win7下一直找不到驱动程序可用,今天得到网上一哥们的帮助,神奇的搞定了,废物利用的感觉是不错的。

参考网址: http://support1.lenovo.com.cn/lenovo/wsi/Modules/Driverdownload.aspx?SearchType=1&LogicType=0&MachineId=8681&SN=&IsBackPage=false&IsSeachOne=true&typename=%E8%81%94%E6%83%B33518%E5%BD%A9%E8%89%B2%E5%96%B7%E5%A2%A8%E6%89%93%E5%8D%B0%E6%9C%BA

Category: 其他技术  6 Comments

提高Bugzilla提交和修改bug时发送mail的效率

转载请注明出处:[Michael`s blog] http://www.toplee.com/blog/1399.html

经常我们会遇到bugzilla里面提交和修改bug的时候反应非常的慢,其实问题大部分是出在提交的时候发送邮件的处理上,解决的思路两种:提高发信速度或者让发信变成异步的操作。

我这里使用的是异步发邮件的方法来提高处理效率,这需要配置两个方面的内容,一个是在bugzilla管理界面的email设置中,有个use_mailer_queue设置项需要设置为“on”,表示将使用后台的队列方式发送邮件,另外一个就是用在后台配置好 jobqueue 的服务。

在服务器上bugzilla目录下,有个 jobqueue.pl文件,该文件用来处理bugzilla的一些后台任务,使用帮助可以参照bugzilla文档里面的说明,我们这里可以直接运行 jobqueue.pl start 来启动该服务,文档里面还会告知你如何配置成系统自动启动的服务,操作都非常简单。

对于详细的配置和更多的讲解可以和我单独讨论,这里不多讲解,我这里主要是讲解处理问题的思路。

另外,我们使用的是利用Gmail来发邮件,使用Gmail发邮件还有比较复杂一点的配置,需要配置SMTP::TSL发送模块,网上有不少文档专门讲解。

pecl 升级 sphinx 到新版

转载请注明出处:[Michael`s blog] http://www.toplee.com/blog/1385.html

用pecl upgrade sphinx 命令 可以方便的完成php中sphinx模块的升级,但是这并不表示能够sphinx模块会自动增加官方描述里面的那些新特性,比如1.0.1版本里面增加了 setSelect()方法,1.0.3增加了open(), close()等方法,这些方法并不是通过 pecl upgrade就能得到的,原因是sphinx模块编译的时候需要调用的库 libsphinxclient 还需要升级更新,它们默认存在于 /usr/local/lib目录下,包括 libsphinxclient.so, libsphinxclient.a 等文件,如何升级这些库呢?

记得一定要使用和您sphinx版本一致的libsphinxclient,否则容易出问题的,至少不能高于,我就遇到了类似如下的错误提示:

client version is higher than daemon version (client is v.1.23, daemon is v.1.22)

升级的方法是用sphinx的源代码来完成编译升级,进入到sphinx源代码目录下的 api/libsphinxclient 目录,然后执行下面的命令

#sh ./buildconf.sh (通常这个是必须的,因为不同的操作系统环境)
#./configure
#make
#make install

顺利的话,这就ok了,然后您就可以pecl upgrade sphinx 后完成全部升级了。 如果运气不好,在上面make的过程中,可能出现若干错误,遇到不同的错误,仔细看错误提示,大部分都是可以自己解决的,比如,我遇到了如下的错误:


cc -g -O2 -o test test.o  .libs/libsphinxclient.a
.libs/libsphinxclient.a(sphinxclient.o)(.text+0x503): In function `set_error’:
/root/packages/sphinx-1.10-beta/api/libsphinxclient/sphinxclient.c:359: undefined reference to `_vsnprintf’
*** Error code 1
cc -g -O2 -o test test.o  .libs/libsphinxclient.a.libs/libsphinxclient.a(sphinxclient.o)(.text+0x503): In function `set_error’:/root/packages/sphinx-1.10-beta/api/libsphinxclient/sphinxclient.c:359: undefined reference to `_vsnprintf’*** Error code 1

这个问题解决起来很简单,只需要vi libsphinxclient.c 文件,把里面的 #define vsnprintf _vsnprintf 注释掉或者删掉就可以了,其他的问题,可以慢慢的针对具体问题具体处理。

好了,问题就说到这里了,sphinx是个不错的东东,中文方面,需要下载和安装中文分词的模块来实现,祝您使用愉快! :)

面向对象设计模式的核心法则

有本经典的书叫《设计模式》,讲了经典的21种设计模式,建议大家都看看。
1. 单一职责
就一个类而言,应该仅有一个引起它变化的原因。
如果一个类承担的职责过多,就等于把这些职责耦合在一起,一个职责的变化可能会削弱或者抑制这个类完成其他职责的能力。这种耦合会导致脆弱的设计,当变化发生时,设计会遭到意想不到的破坏。
软件设计真正要做的许多内容,就是发现职责并把那些职责互相分离。如果你多于一个动机去改变一个类,那么这个类就具有多于一个的职责。
2. 开放封闭
软件实体(类,模块,函数等)应该可以扩展,但是不可修改。也就是说,对于扩展是开放的,对于更改是封闭的。
如此设计,面对需求的改变可以保持相对的稳定,从而使系统可以在第一个版本以后不断的推出新的版本。
无论模块是多么的’封闭’,都会存在一些无法对之封闭的变化。既然不可能完全封闭,设计人员必须对于他设计的模块应该对哪种变化封闭做出选择。他必须先猜测出最有可能发生的变化种类,然后构造抽象来隔离那些变化。
等到变化发生时立即采取行动。
在我们最初编写代码时,假设变化不会发生。当变化发生时,我们就创建抽象来隔离以后发生的同类变化。
面对需求,对程序的改动是通过增加新代码进行的,而不是更改现有的代码。
我们希望的是在开发工作展开不久就知道可能发生的变化。查明可能发生的变化所等待的时间越长,要创建正确的抽象就越困难。
开放-封闭原则是面向对象设计的核心所在。遵循这个原则可以带来面向对象技术所声称的巨大好处,也就是可维护、可扩展、可复用、灵活性好。开发人员应该仅对程序中呈现出频繁变化的那些部分做出抽象,然而,对于应用程序中的每个部分都可以的进行抽象同样不是一个好主意。拒绝不成熟的抽象和抽象本身一样重要。
3. 依赖倒转
高层模块不应该依赖底层模块。两个都应该依赖抽象。
抽象不应该依赖细节,细节应该依赖抽象。
抽象不应该依赖细节,细节应该依赖于抽象,针对接口编程,不要对实现编程。
依赖倒转其实可以说是面向对象设计的标志,用哪种语言来写程序并不重要,如果编写时考虑的都是如何针对抽象编程而不是针对细节编程, 即程序中所有的依赖关系都终止于抽象类或者接口,那就是面向对象的设计,反之那就是过程化的设计了。
4. 里氏代换
一个软件实体如果使用的是一个父类的话,那么一定适用于其子类,而且察觉不出父类对象与子类对象的区别。也就是说,在软件里面,把父类都替换成它的子类,程序的行为没有变化。
子类型必须能用替换掉它们的父类型。
只有当子类可以替换掉父类,软件单位的功能不受到影响时,父类才能真正被复用,而子类也能够在父类的基础上增加新的行为。
5. 合成/聚合复用
尽量使用合成/聚合,尽量不要使用类继承。
优先使用对象的合成/聚合将有助于你保持每个类被封装并被集中在单个任务上,这样累和类继承层次会保持较小的规模,并且不大可能增长为不可控制的庞然大物。
6. 迪米特法则
如果两个类不必彼此直接通信,那么着两个类就不应当发生直接的相互作用。如果其中一个类需要调用另一个类的某一个方法的话,可以通过第三者转发这个调用。
在类的结构设计上,每一个类都应当尽量降低成员的访问权限,也就是说,一个类包装好自己的private状态,不需要让别的类知道的字段或行为就不要公开。
迪米特法则其根本思想是强调了类之间的松耦合。
类之间的耦合越弱,越有利于复用,一个处在弱耦合的类被修改,不会对有关系的类造成波及。
辅助资料:
常用创建型设计模式(其他类型模式就不提了,自己看书)
创建型模式隐藏了这些类的实例是如何被创建和放在一起,整个系统关于这些对象所知道的是由抽象类所定义的接口。这样,创建型模式在创建了什么、谁创建它=它是怎么被创建的,以及何时创建这些方面提供了很大的灵活性。
1. 工厂方法模式(Factory Method)
定义一个用于创建对象的接口,让子类决定实例化哪一个类,工厂模式使一个类的实例化延迟到其子类。
创建型模式抽象了实例化的过程,它们帮助一个系统独立于如何创建、组合和表示它的那些对象。创建型模式都会将关于该系统使用哪些具体的类的信息封装起来。允许客户用结构和功能差别个很大的’产品’对象配置一个系统。配置可以是静态的,即在编译时制定,也可以是动态的,就是运行时再指定。
通常设计应该是从工厂方法开始,当设计者发现需要更大的灵活性时,设计便会向其他创建型模式演化。当设计者在设计标准之间进行权衡的时候,了解多个创建型模式可以给设计者更多的选择余地。
2. 抽象工厂模式(Abstract Factory)
提供一个创建一系列或者相关依赖对象的接口,而无需指定它们具体的类。
3. 建造者模式(Builder)
将一个复杂对象的构建与它的表示分离,使得同样的构建过程可以创建不同的表示。
内聚性与耦合性 内聚性描述的是一个例程内部组成部分之间相互联系的紧密程度。而耦合性描述的是一个例程与其他例程之间联系的紧密程度。软件开发的目标应该是创建这样的例程:内部完整,也就是高内聚,而与其他例程之间的联系则是小巧、直接、可见、灵活的,这样就是松耦合。
将一个复杂对象的构建与它的表示分离,这就可以很容易地改变一个产品的内部表示,并且使得构造代码和表示代码分开。这样对于客户来说,它无需关心产品的创建过程,而只要告诉我需要什么,我就能用同样的构建过程创建不同的产品给客户。
4. 原型模式(Prototype)
用原型的实例制定创建对象的种类,并且通过拷贝这些原型创建新的对象。
建立相依数目的原型并克隆它们通常比每次用合适的状态手工实例化该类更方便一些。
5. 单例模式(Singleton)
保证一个类仅有一个实例,并提供一个访问它的全局访问点。
对一些类来说,一个实例是很重要的。一个全局变量可以使得一个对象被访问,但它不能防止客户实例化多个对象。单例的优势就是让类自身负责保存它的唯一实例。这个类可以保证没有其他实例可以被创建,并且单例还提供了一个访问该实例的方法。这样就使得对唯一的实例可以严格地控制客户怎样以及何时访问它。