T级别数据解决方案（笔记）

时间：2010-08-27 来源：liukaiyi

重点推荐 - 大量好的存储文档： http://www.itpub.net/thread-1287920-1-1.html http://www.cnblogs.com/RicCC/archive/2009/09/28/mysql-2.html 本文重点 : 漆兴.rar (747.03 KB)——演讲主题：海量日志分析系统实践先上工具《攻其事，必厉其器》 1. amoeba http://amoeba.meidusa.com/wordpress/?page_id=2 * amoeba for mysql * amoeba for mongodb 2. gearman 分布计算 http://gearman.org/     * c++ 核心     * python 调度     * mysql gearman 对外     * 好处太多自己去看吧 3. rsync 这就不多说了     * google 吧，满大街都有介绍 4. mysql "猪脚" 来了 >>     * myIsam 尽量使用定长属性     * 尽量使用 “分区” 和 “合并” 特性       # http://dev.mysql.com/doc/refman/5.1/en/merge-storage-engine.html       # http://dev.mysql.com/doc/refman/5.1/zh/client-side-scripts.html     * 提高read_buffer_size的值
    * 高并发插入优化   Concurrent-insert =2
    * delay_key_write
    * bulk_insert_buffer_size, max_allowed_packet
    * 关闭query_cache
    * key_buffer及key_buffer_size的值增大
    * sort_buffer_size，并不是越大越好
    * 加大max_length_for_sort_data,对于big result让其采用改进版的排序算法     * 增大tmp_table_size
    * 增大table_cache及thread_cache的值，避免频繁建立和断开链接
    * 用mysql_unbuffered_query取代mysql_query,
    * 用mysql_pconnect取代mysql_connect
    * 使用SQL_BIG_RESULT来提示mysql优化引擎更好的处理大数据量sql
    * 使用MyISAM表可使用索引数据的预加载功能
5. mysql 列存储 inforbright 使用

相关阅读更多 +