openwares.net

Freedom & Beauty

0%

Posted on Edited on In

如果有中文字符，并且输出的csv文件没有BOM标志，M$ Excel打开会出现乱码。所以输出utf-8编码的csv时，为了兼容性要输出BOM.
很简单，只要在open函数中指定文件编码即可，无需额外的操作：

1
2
with open('foobar.csv', 'w', encoding='utf-8-sig') as f:
 ...

因为指定的编码为utf-8-sig,sig就是signature,所以不但文件的编码为utf-8格式，同时还会自动输出utf-8的BOM标志0xEFBBBF。这样生成的csv可用用M$ Excel正确打开导入。

或者更简单点儿，指定encoding为’gb18030’。

References:
[1]UTF8最好不要带BOM，附许多经典评论

===
[erq]

Posted on Edited on In

这次又试了一下wine安装QQ,发现wine已今非昔比，已堪大用。

添加i386架构

因为debian早已是mutiarch架构，所以添加intel子架构i386是很简单的:

1
$ sudo dpkg --add-architecture i386

安装wine

1
$ sudo apt-get install wine wine64 wine32

安装cabextract

因为下面的安装会下载cab格式文件并解压缩安装，所以需要安装cabextract包

1
$ sudo apt-get install cabextract

安装winetricks-zh
这是大名顶顶的winetricks的修改版，支持常见的一些中文windows应用。

1
2
3
4
5
$ cd ~
$ git clone https://github.com/hillwoodroc/winetricks-zh.git
$ cd winetricks-zh
$ sudo cp winetricks-zh /usr/local/bin
$ cd verb

安装QQ轻聊版(QQLight)

确认位于下载的winetricks-zh的子目录verb中,执行:

1
$ winetricks-zh qqlight

会下载很多东西，耐心等待安装完成

菜单项小问题
默认生成的桌面菜单项是~/.local/share/applications/wine/Programs/腾讯软件/QQ轻聊版/QQ轻聊版.desktop，打开此文件可以发现Exec项的可执行文件路径有问题，修正为如下:

1
Exec=env WINEPREFIX=/home/guoqiang/.local/share/wineprefixes/qqlight wine "C:\\Program Files (x86)\\Tencent\\QQLite\\Bin\\QQScLauncher.exe"

可正常执行QQ轻聊版。

经简单试用发现十分稳定。wine进步真的很大。

**注:**如果QQ文本输入框内输入的中文显示为方块，将显示模式从“气泡模式”更改为“文本模式”则可以正常显示中文。

References:
[1]winetricks-zh
[2]Wine的中文显示与字体设置

===
[erq]

Posted on Edited on In

Nautilus可以自动挂装smb共享目录，但是mount命令却看不到共享目录的挂载点。

nautilus使用gvfs来自动挂载smb共享,需要安装gvfs-fuse来提供本地文件系统视图:

1
$ sudo apt-get install gvfs-fuse

系统重新启动

当前debian系统nautilus自动将共享目录挂载到/run/user/$UID/gvfs下，形如:

1
smb-share:server=server_name,share=foobar

===
[erq]

Posted on Edited on In

安装了oracle instant client,执行sqlplus时,找不到库文件:

1
2
3
dyld: Library not loaded: /ade/dosulliv_sqlplus_mac/oracle/sqlplus/lib/libsqlplus.dylib
 Referenced from: /opt/oracle/instantclient_11_2/sqlplus
 Reason: image not found

Mac的库路径环境变量与linux不同，其名字为DYLD_LIBRARY_PATH
bashrc中设置此变量：

1
export DYLD_LIBRARY_PATH=$ORACLE_HOME:$DYLD_LIBRARY_PATH

问题解决。

References:
[1] 环境变量LIBRARY_PATH的设置

===
[erq]

Posted on Edited on In

下载安装instantclient-sdk包，这个包里有编译需要的头和库文件

1
2
3
4
5
6
$ sudo unzip instantclient-sdk-linux.x64-12.1.0.2.0.zip -d /opt/oracle
``` 

不然会有错误提示:
```js
oci.h: No such file or directory

安装cx_Oracle

1
$ sudo pip3 install cx_oracle

会有错误提示:

1
2
3
4
5
usr/bin/ld: cannot find -lclntsh

collect2: error: ld returned 1 exit status

error: command 'x86_64-linux-gnu-gcc' failed with exit status 1

是因为找不到libclntsh库，创建一个符号连接:

1
2
3
4
$ cd /opt/oracle/instantclient_12_1
$ sudo ln -sf libclntsh.so.12.1 libclntsh.so
$ sudo ln -sf libclntshcore.so.12.1 libclntshcore.so
$ sudo ln -sf libocci.so.12.1 libocci.so

重新安装就可以了。

如果安装过程中提示找不到oracle安装，要注意sudo是在root用户的环境下执行pip3安装,要在root用户下设置相应的oracle环境变量。

python3连接oracle

1
2
3
4
5
>>> import cx_Oracle
>>> conn = cx_Oracle.connet('user/passwd@db')
>>> print(conn.version)
10.2.0.4.0
>>> conn.close()

===
[erq]

Posted on Edited on In

zabbix是开源的企业级监控平台，可以用来监控服务器、网络设备以及网络服务等的健康状况和运行状态。

安装

1
$ sudo apt-get install zabbix-server-pgsql zabbix-frontend-php

创建数据库

创建数据库及角色

1
2
$ sudo -u postgres createdb zabbix
$ sudo -u postgres createuser -SDRP zabbix # 根据提示输入密码

初始化数据库

1
$ zcat /usr/share/zabbix-server-pgsql/{schema,images,data}.sql.gz psql -h localhost zabbix zabbix

修改配置文件,添加如下参数:

1
DBPassword=zabbix #　以实际的数据库用户密码为准

启动服务

/etc/default/zabbix文件中，设置START=yes,然后启动服务:

1
$ sudo service zabbix-servere start

有错误提示:

1
Job for zabbix-server.service failed because the control process exited with error code. See "systemctl status zabbix-server.service" and "journalctl -xe" for details.

执行

1
2
3
4
5
6
7
8
9
10
11
12
13
sudo systemctl status zabbix-server.service
● zabbix-server.service - Zabbix Server (PostgreSQL)
 Loaded: loaded (/lib/systemd/system/zabbix-server.service; disabled; vendor preset: enabled)
 Active: failed (Result: exit-code) since Thu 2015-12-24 03:37:10 EST; 6s ago
 Docs: man:zabbix_server
 Process: 1014 ExecStart=/usr/sbin/zabbix_server (code=exited, status=1/FAILURE)

Dec 24 03:37:10 zabbix systemd\[1\]: Starting Zabbix Server (PostgreSQL)...
Dec 24 03:37:10 zabbix zabbix_server\[1014\]: zabbix_server \[1014\]: /etc/zabbix/zabbix_server.conf.d: \[2\] No such file or directory
Dec 24 03:37:10 zabbix systemd\[1\]: zabbix-server.service: Control process exited, code=exited status=1
Dec 24 03:37:10 zabbix systemd\[1\]: Failed to start Zabbix Server (PostgreSQL).
Dec 24 03:37:10 zabbix systemd\[1\]: zabbix-server.service: Unit entered failed state.
Dec 24 03:37:10 zabbix systemd\[1\]: zabbix-server.service: Failed with result 'exit-code'.

创建目录,重新启动

1
2
$ sudo mkdir /etc/zabbix/zabbix_server.conf.d
$ sudo service zabbix-server start

配置php前端

确认已安装依赖libapache2-mod-php5，如果使用postgresql数据库，还需要安装依赖php5-pgsql

配置apache2虚拟主机:

1
2
$ sudo ln -s /usr/share/doc/zabbix-frontend-php/examples/apache.conf /etc/apache2/conf-available/zabbix.conf
$ sudo a2enconf zabbix

修改php配置文件:

1
2
3
4
5
post_max_size = 16M 
max_execution_time = 300 
max_input_time = 300 
always_populate_raw_post_data = -1
date.timezone = Asia/Shanghai

重新启动apache2

配置前端运行环境：

浏览器访问http://zabbix_server_ip/zabbix根据提示填写相关信息，最后生成zabbix前端配置文件zabbix.conf.php
如果提示无权限写入配置文件，则将文件下载，拷贝到/etc/zabbix目录下，前端配置完成。

重新访问http://zabbix_server_ip/zabbix，用默认管理员账户Admin/zabbix登入即可。

===
[erq]

Posted on Edited on In

概念

cassandra通过为数据目录下所有的SSTable磁盘文件制作快照来备份数据。当系统在线时，可以为所有的keyspace、单独的keyspace或者单独的表制作快照。如果使用并行ssh工具，比如pssh,可以为整个集群制作快照。

虽然制作快照时并不能保证节点与其复制节点保持一致，但当快照恢复后，依靠cassandra的一致性机制，最终还是会达到一致状态。

快照支持增量备份机制。

Cassandra通过硬链接(需要JNA,当前版本默认打开JNA)来制作快照，因此成本还是比较低的。

查看快照

1
2
3
4
5
6
7
8
$ nodetool listsnapshots

Snapshot Details: 
Snapshot name Keyspace name Column family name True size Size on disk 
1541832995400 reis image_increment 0 bytes 13 bytes 
1541832995400 reis image 1.23 GB 1.73 TB 

Total TrueDiskSpaceUsed: 1.23 GB

制作快照

制作快照时会先将内存数据刷写到硬盘，然后硬链接SSTable文件到备份目录。快照会创建到data_directory_location/keyspace_name/table_name-UUID/
snapshots/snapshot_name/目录下,里面有许多的.db文件记录了快照制作时的数据。
快照制作完成后，一般应将其拷贝到另外的存储空间单独存放。

使用以下命令来制作快照:

1
2
3
$ nodetool snapshot foo
Requested creating snapshot(s) for \[foo\] with snapshot name \[1450876735125\]
Snapshot directory: 1450876735125

foo这里是keyspace的名字，如果不指定keyspace则默认制作所有keyspaces的快照。

应为只是创建硬链接，因此快照速度飞快，无论节点有多大的容量，但是拷贝快照到另外的机器另当别论。

可以看到table_name-UUID/snapshots目录下多了一个以快照名命名的目录1450876735125，其内容即为方才制作的快照。

之后将快照归档，然后删除掉快照目录即可。

删除快照

快照会阻止删除已经无用的数据文件，因此保留快照会占用额外的存储空间。

删除所有的快照：

1
2
$ nodetool clearsnapshot
Requested clearing snapshot(s) for \[all keyspaces\]

或者单独删除某个keyspace的所有快照:

1
2
$ nodetool clearsnapshot foo
Requested clearing snapshot(s) for \[foo\]

增量备份

Cassandra支持增量备份，但默认配置没有打开。需要在cassanda.yaml文件中将incremental_backups设置为true以打开增量备份。
打开增量备份后，Cassandra会将每一个写入磁盘的SSTable制作一个硬链接写入data_directory_location/keyspace_name/table_name-UUID/backups目录下。

这样快照加上增量备份就可以提供一个可靠活的备份机制。

但是有一点儿需要注意，增量备份目录/backups下的文件Cassandra并不会自动删除，移除这些硬链接是用户的责任。因此应该在制作快照之前删除掉backups目录下的所有文件。

其实,增量备份并不依赖于快照。

快照恢复

恢复快照，需要表的所有快照文件以及可能有的增量备份文件。
在恢复快照之前应该先truncate表。如果在删除某些数据前制作快照，然后在删除后没有truncate表的情况下恢复数据，那些删除的数据并不会恢复回来。因为cassandra删除数据时并不会真正删除原始的数据，而是生成一个带有墓碑标志的一样的行来标记删除了某行，原始行和标记删除行存在于不同的SSTable中。因此恢复原始的数据，并不能去掉数据的删除标记，从来数据看起来仍然是被删除掉的。

快照恢复时需要表的schema已经存在，因此快照恢复之前需要重建表的schema。

快照恢复有多种方法：

  • 使用sstableloader
  • 拷贝所有的快照文件及增量备份文件到data_directory_location/keyspace/table_name-UUID目录下，然后通过JConsole调用column family MBean 中的JMX方法loadNewSSTables()，或者调用nodetool refresh命令。
  • 重启节点的方式
    如果恢复一个节点，需要关闭该节点，如果要恢复整个集群，则需要关闭集群内所有的节点。
  1. 关闭节点
  2. 删除commitlog目录下的所有文件
    debian包安装方式，commitlog所在目录为
    1
    /var/lib/cassandra/commitlog
  3. 删除*.db文件
    删除data_directory_location/keyspace_name/table_name-UUID目录下的所有*.db文件
  4. 拷贝最新快照及增量备份文件
    将需要恢复的快照文件拷贝到data_directory/keyspace_name/table_name-UUID目录
  5. 拷贝增量备份文件
    如果有增量备份文件，同样拷贝到data_directory/keyspace_name/table_name-UUID目录
  6. 重启节点
  7. 运行nodetool repair

快照恢复到新集群

假设需要从三个节点的集群(256 tokens)拷贝SSTable快照数据文件，然后将其恢复到一个新创建的三节点集群(256 tokens)上，新集群节点的token范围必须手动指定以与原始集群相匹配。

恢复过程：

  1. 获取节点tokens
    从原始集群中的每个节点上执行如下命令，获取其负责的tokens
    1
    $ nodetool ring grep ip_address_of_node awk '{print $NF ","}' xargs
  2. 配置新集群节点
    新集群每个节点的cassandra.ymal文件中，initial_token参数分别设置为上一步获取的tokens。新集群节点要使用与旧集群节点相同的num_tokens参数，同时新旧集群节点的其他参数也要相匹配。
  3. 清除新集群节点的system数据
    新集群每个节点执行:
    1
    $ sudo rm -rf /var/lib/cassandra/data/system/*
  4. 拷贝节点数据
    将旧集群节点的快照数据拷贝到新集群节点的相同的数据目录下,三个节点分别一一对应进行。
  5. 启动新集群
    依次分别启动新集群的节点。

References:
[1]cassandra 2.2 document
[2]Restoring a snapshot into a new cluster

===
[erq]

Posted on Edited on In

JNA(Java Native Access) provides Java programs easy access to native shared libraries without writing anything but Java code - no JNI or native code is required. This functionality is comparable to Windows’ Platform/Invoke and Python’s ctypes.

Posted on Edited on In

debian官方提供了脚本ftpsync来搭建源镜像，而apt-mirror是一个更简单便捷的源镜像搭建工具。

安装

1
$ sudo apt-get install apt-mirror

配置
配置文件/etc/apt/mirror.list只要修改很少的地方，大部分使用默认值即可。

这里使用中科大镜像ftp.cn.debian.org作为上游镜像,只镜像debian jessie amd64架构,不需要镜像源代码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
############# config ##################
#
# set base_path /var/spool/apt-mirror
#
# set mirror_path $base_path/mirror
# set skel_path $base_path/skel
# set var_path $base_path/var
# set cleanscript $var_path/clean.sh
# set defaultarch <running host architecture>　# 默认架构与镜像主机的架构一致,这里是amd64
# set postmirror_script $var_path/postmirror.sh
# set run_postmirror 0
set nthreads 20
set _tilde 0
#
############# end config ##############

deb http://ftp.cn.debian.org/debian jessie main contrib non-free
deb http://ftp.cn.debian.org/debian/ jessie-backports main contrib non-free
deb http://ftp.cn.debian.org/debian/ jessie-proposed-updates main contrib non-free
deb http://ftp.cn.debian.org/debian/ jessie-updates main contrib non-free
deb http://ftp.cn.debian.org/debian-security/ jessie/updates main contrib non-free
#deb-src http://ftp.us.debian.org/debian unstable main contrib non-free

# mirror additional architectures
#deb-alpha http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-amd64 http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-armel http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-hppa http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-i386 http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-ia64 http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-m68k http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-mips http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-mipsel http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-powerpc http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-s390 http://ftp.us.debian.org/debian unstable main contrib non-free
#deb-sparc http://ftp.us.debian.org/debian unstable main contrib non-free

clean http://ftp.cn.debian.org/debian

自动同步

只需root权限cron自动运行apt-mirror命令即可。

1
# crontab -e

最后输入

1
2
# m h dom mon dow command
0 0 * * * apt-mirror

即可

发布

使用nginx发布源镜像

将apt-mirror的镜像目录链接到/var/www/mirror

1
# ln -sf /var/spool/apt-mirror/mirror/ftp.cn.debian.org/ mirror

然后将nginx默认主机default(或者单独虚拟主机)的根目录设置为/var/www/mirror,并开启目录列表

1
2
3
4
root /var/www/mirror
location / {
 autoindex on;
}

其他机器就可以正常使用新建的源镜像了。

References:
[1]apt-mirror

===
[erq]