2018-04-11

Python Web框架之Tornado

Tornado 介绍

Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp，不过为了能有效利用非阻塞式服务器环境，这个 Web 框架还包含了一些相关的有用工具和优化。

Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其非阻塞的方式和对 epoll 的运用，Tornado 每秒可以处理数以千计的连接，这意味着对于实时 Web 服务来说，Tornado 是一个理想的 Web 框架。我们开发这个 Web 服务器的主要目的就是为了处理 FriendFeed 的实时功能 ——在 FriendFeed 的应用里每一个活动用户都会保持着一个服务器连接。（关于如何扩容服务器，以处理数以千计的客户端的连接的问题，请参阅 C10K problem。）

下载安装

pip install tornado

源码安装
https://pypi.python.org/packages/source/t/tornado/tornado-4.3.tar.gz

阅读全文 >>

2017-07-28

Jupyter 使用

安装Jupyter

pip3 install --upgrade pip
pip3 install jupyter

官网 | 文档

配置Jupyter

生成配置文件

jupyter notebook --generate-config

设置访问密码

jupyter notebook password

关闭启动浏览器

vim ~/.jupyter/jupyter_notebook_config.py

c.NotebookApp.open_browser = False

启动Jupyter

jupyter notebook

制作幻灯片

安装生产幻灯片插件

这部分实现主要依靠 RISE 这个jupyter notebook插件，关于它的使用可以参考它的文档

生成静态幻灯片

可以参考这个视频，简述步骤如下：

在notebook中设置cell 的slide属性，确认好，然后保存

在自己的notebook文件目录（包含.ipynb的目录），制作幻灯片网页，需要 reveal.js

jupyter-nbconvert --to slides test.ipynb --reveal-prefix="http://liangxiansen.cn/files/reveal.js"

2017-07-14

Software Collections

介绍

SCL(Software Collections)可以让你在同一个操作系统上安装和使用多个版本的软件，而不会影响整个系统的安装包。SCL为社区的以下需求而设计：创建和使用软件集合生产系统、概念验证系统、开发测试平台。SCL目前已经支持Fedora和RHEL(衍生版本如CentOS也包含在内)。

SCL的创建就是为了给RHEL/CentOS用户提供一种以方便、安全地安装和使用应用程序和运行时环境的多个(而且可能是更新的)版本的方式，同时避免把系统搞乱。与之相对的是第三方源，它们可能会在已安装的包之间引起冲突。

阅读全文 >>

2017-05-17

区间数值统计

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Author: Liang Lian
# Date: 2017/5/15


number_list = []
f = open('/Users/lianliang/Desktop/true.csv')
for line in f:
    number = line.split(',')[-2].strip()
    number = int(float(number))
    number_list.append(number)


from itertools import groupby
map_list = []
num_list = []
for k, g in groupby(sorted(number_list), key=lambda x: x//10):
    total = len(list(g))
    map_list.append(total)
    num_list.append(k*10)
    print('{}-{}: {}'.format(k*10, (k+1)*10-1, total))

print map_list
print num_list

import matplotlib.pyplot as plt
plt.plot(num_list, map_list, 'b-')
plt.show()

2017-04-06

Consul 使用手册

使用consul

介绍

Consul包含多个组件,但是作为一个整体,为你的基础设施提供服务发现和服务配置的工具.他提供以下关键特性:

服务发现 Consul的客户端可用提供一个服务,比如 api 或者mysql ,另外一些客户端可用使用Consul去发现一个指定服务的提供者.通过DNS或者HTTP应用程序可用很容易的找到他所依赖的服务.
健康检查 Consul客户端可用提供任意数量的健康检查,指定一个服务(比如:webserver是否返回了200 OK 状态码)或者使用本地节点(比如:内存使用是否大于90%). 这个信息可由operator用来监视集群的健康.被服务发现组件用来避免将流量发送到不健康的主机.
Key/Value存储 应用程序可用根据自己的需要使用Consul的层级的Key/Value存储.比如动态配置,功能标记,协调,领袖选举等等,简单的HTTP API让他更易于使用.
多数据中心: Consul支持开箱即用的多数据中心.这意味着用户不需要担心需要建立额外的抽象层让业务扩展到多个区域.

Consul面向DevOps和应用开发者友好.是他适合现代的弹性的基础设施.

阅读全文 >>

2017-03-06

HAproxy

HAProxy介绍

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。

HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。

其支持从4层至7层的网络交换，即覆盖所有的TCP协议。就是说，Haproxy 甚至还支持 Mysql 的均衡负载。。

如果说在功能上，能以proxy反向代理方式实现 WEB均衡负载，这样的产品有很多。包括 Nginx，ApacheProxy，lighttpd，Cheroke 等。但要明确一点的，Haproxy 并不是 Http 服务器。以上提到所有带反向代理均衡负载的产品，都清一色是 WEB 服务器。简单说，就是他们能自个儿提供静态(html,jpg,gif..)或动态(php,cgi..)文件的传输以及处理。而Haproxy 仅仅，而且专门是一款的用于均衡负载的应用代理。其自身并不能提供http服务。

但其配置简单，拥有非常不错的服务器健康检查功能还有专门的系统状态监控页面，当其代理的后端服务器出现故障, HAProxy会自动将该服务器摘除，故障恢复后再自动将该服务器加入。自1.3版本开始还引入了frontend,backend,frontend根据任意HTTP请求头内容做规则匹配，然后把请求定向到相关的backend。

阅读全文 >>

2017-01-13

python函数默认参数的一个坑

示例1

def func(a,b=[]):
    b.append(a)
    print(b)

func(1)
func(2)
func(3)

有个考python特性的面试题，func（3）的时候，b 这个list是啥。

阅读全文 >>

2017-01-06

使用supervisor管理python脚本守护进程踩的一个坑

脚本内容

#!/bin/bash

export LD_LIBRARY_PATH=/root/FRI_FACEID/instantclient_12_1
export ORACLE_HOME=/root/FRI_FACEID/instantclient_12_1

source ../env/bin/activate
python -u ./new_whitelist_mb.py