MariaDB/MYSQL Consumo de recursos
Hace una semana me pasaron 41GB de informacion en fotmato TXT y lo queria introducir en una BBDD para gestionar mejor la infomacion
despues de una semana veo que solo he podido subir 15 millones de filas y al consultar el rendimiento de la ram y cpu veo que la maquina esta practicamente sin utilizar.
He modificado el fichero de configuracion de mariadb en mi debian
sudo nano /etc/mysql/mariadb.conf.d/custom_settings.cnf
…
[mysqld]
#Aumenta el búfer de almacenamiento InnoDB para acelerar las operaciones de lectura/escritura
innodb_buffer_pool_size = 2G
#Aumenta el tamaño de los paquetes de red para acomodar grandes inserciones
max_allowed_packet = 256M
#Aumenta el tamaño del búfer para inserciones masivas en tablas MyISAM
bulk_insert_buffer_size = 256M
#Aumenta el tamaño máximo de tablas temporales en memoria
tmp_table_size = 256M
max_heap_table_size = 256M
..
- innodb_buffer_pool_size: Aumentar este valor asignará más memoria al búfer de almacenamiento InnoDB, lo que puede mejorar el rendimiento de lectura y escritura, especialmente para tablas InnoDB.
- key_buffer_size: Si utilizas tablas MyISAM, aumentar este valor puede mejorar el rendimiento de las operaciones de indexación.
- max_allowed_packet: Aumentar este valor permitirá que se procesen paquetes de mayor tamaño durante la ingesta de datos.
- bulk_insert_buffer_size: Aumentar este valor puede mejorar el rendimiento de las operaciones de inserción masiva en tablas MyISAM.
- tmp_table_size y max_heap_table_size: Aumentar estos valores permitirá la creación de tablas temporales más grandes en memoria, lo que podría ser útil durante la ingesta de datos.
- innodb_flush_log_at_trx_commit: Si estás utilizando el motor InnoDB, ajustar este valor puede afectar la velocidad de escritura, aunque también afectará la durabilidad de los datos.
Por el momento estoy notando mejoria pero no descarto continuar ampliando recursos.
