《超级课程表技术架构变迁》.pptVIP

茹云峰 @fengyuncrawl 超级课程表技术架构变迁 about me c，php，python 热衷于有哪些信誉好的足球投注网站，社交，数据挖掘 提纲 全文有哪些信誉好的足球投注网站 缓存/存储 分布式爬虫 推送/IM JVM/内核系统优化 云平台 IaaS 阿里云，腾讯云，qingcloud，ucloud，金山云，aws 适合中小创业公司 vm隔离性，安全性强 缺点：同一物理机混合批处理与低延迟是一对矛盾！ PaaS Tae Bae Sae Gae 适合大型互联网公司，docker容器 全文有哪些信誉好的足球投注网站 Sphinx Solr Lucene Elasticsearch 中文分词 MMseg 倒排索引 内存--文件系统 memcache--sphinx key1---{id1,id2.id3} memcached sphinx mysql key2---{id1,id2.id3} key3---{id1,id2.id3} cache build index 缓存/存储 根据时间维度划分冷热数据 存储同时也是缓存（一级，二级） redis+mysql 缺点：一致性无法保证，只能保证最终一致性 缓存/存储 redis master redis slave redis slave2 redis 链式复制 master只写，关闭aof，开启rdb slave 只读 slave2 开启aof replication MySQL 初始 按业务切分 简单爬虫 多线程下载 模板解析 入库 url url url url url 分布式爬虫 im openfire 优点：简单部署。 缺点：不支持分布式，同时在线撑不过10w ejabberd 优点：erlang并发性，插件化，支持分布式。缺点：代码维护难 ，Mnesia内存数据库不稳定，丢消息 单机8核16g内存能撑住10w+长链接 推送系统 gopush golang 开发，comet 高并发 分布式 单机8核16g内存能撑住20w+长链接 内核参数优化 net.ipv4.ip_forward = 0 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 0 kernel.core_uses_pid = 1 net.ipv4.tcp_syncookies = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.shmmax = 68719476736 kernel.shmall = 4294967296 net.ipv4.tcp_max_tw_buckets = 6000 net.ipv4.tcp_sack = 1 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_rmem = 4096 87380 4194304 net.ipv4.tcp_wmem = 4096 16384 4194304 net.core.wmem_default = 8388608 内核参数优化 net.core.rmem_default = 8388608 net.core.rmem_max =net.core.wmem_max =dev_max_backlog = 262144 net.core.somaxconn = 262144 net.ipv4.tcp_max_orphans = 3276800 net.ipv4.tcp_max_syn_backlog = 262144 net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_synack_retries = 1 net.ipv4.tcp_syn_retries = 1 net.ipv4.tcp_tw_recycle = 0 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_mem =915000000 927000000 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 30 net.ipv4.ip_local_port_range = 1024 65000 fs.file-max = 1024000 DNS 国内运营商跨?计费的原因，导致经常出现局部省份dn