реклама на сайте
подробности

 
 
2 страниц V  < 1 2  
Reply to this topicStart new topic
> Что быстрее и производительнее, запись в MySQL или в файлы?
AlexandrY
сообщение Jul 15 2014, 07:28
Сообщение #16


Ally
******

Группа: Модераторы
Сообщений: 6 232
Регистрация: 19-01-05
Пользователь №: 2 050



Цитата(menzoda @ Jul 15 2014, 10:15) *
Какая разница сколько получается в сутки? Вопрос был про производительность при записи, ворочать ничем не надо, зачем придумывать задачи, которые ТС не требовал. Да пусть бы и двадцать гагабайт, заполнили один файл - создаем другой.


В форуме почти каждый ответ это вопрос. biggrin.gif
Т.е. вы хотели спросить зачем эти файлы нужны потом? Но стеснетесь это спросить у TC.

Но я уверен что для чего бы они потом не использовались их нужно будет прореживать или как-то обрабатывать.
Я бы в любом случае протестировал SQL сервер.
Go to the top of the page
 
+Quote Post
kolobok0
сообщение Jul 15 2014, 19:35
Сообщение #17


практикующий тех. волшебник
*****

Группа: Участник
Сообщений: 1 190
Регистрация: 9-09-05
Пользователь №: 8 417



Цитата(Alt.F4 @ Jul 14 2014, 23:01) *
..т.к. MySQL хранит свои таблицы в оперативной памяти, которая намного быстрее жесткого диска.


Надо дальше копать условия. сравнивать.
В памяти хранить данные - хранят. но это не значит что на момент вставки не будет произведена операция обеспечивающая целостность
данных - т.е. сброс в кэш (обычно) и далее в таблицы. и то и то - винт обычно. Выборка по условия скорее всего будет лучше,
если требуется некий анализ либо гибкое связывание табличных данных. (пример: в своё время участвовал в разработки своей ОО БД.
задействован был в частности в создании низкоуровневого движка. По скорости шустрее беркли вышло, под форточками.
Но то и понятно. У берлки - там ышо транзакционный слой, языковая поддержка, и т.д. и т.п.. Т.е. фокусов нет, если скорость то
обычно за счёт чего то.)

таблицы используют файловую систему. исключение составляет специальные аппаратные БД. Типа AS400 от IBM. Там нет в принципе
понятие файловой системы. Соответственно и выигрыш по скорости получается.

Надо так-же понимать, что работа самой БД определяется многими параметрами. Политикой изоляции, транзакционности и прочая лабуда.
Т.е. вполне возможно сегодня БД будет шустро, а завтра повернув выключатель в настройках Вы можелете получить другую картину.
Всё зависит уже от конкретики. Отсюда и надо плясать собственно. Если Вам универсальность, отказоустойчивость,
многопользовательский доступ, миграция в будущем, стандартные административные заморочки - то напрашивается БД.

Если есть механизм конкретной заточки под конкретное железо (кстати и форточки можно до ума доводить - но то уже лучше
копнуть любителей писать игры реал-тайм под форточками = многое чаво интересного можно подчерпнуть, кстати) и Вы сами с усами
на любом уровне абстракции в конкретной оси - то лучше сделать шустро sm.gif

MySQL конечно же лёгкая БД. Но всё же это БД.
Go to the top of the page
 
+Quote Post
Alt.F4
сообщение Jul 18 2014, 05:34
Сообщение #18


Профессионал
*****

Группа: Свой
Сообщений: 1 468
Регистрация: 28-03-10
Из: Беларусь
Пользователь №: 56 256



Условий выборки данных из файлов в последующем нет, вся инфа будет полностью загружаться и отображаться.
Буду писать напрямую на винт, минуя MySQL, спасибо за помощь!!!
Go to the top of the page
 
+Quote Post
AlexandrY
сообщение Jul 18 2014, 05:37
Сообщение #19


Ally
******

Группа: Модераторы
Сообщений: 6 232
Регистрация: 19-01-05
Пользователь №: 2 050



Цитата(Alt.F4 @ Jul 18 2014, 08:34) *
Условий выборки данных из файлов в последующем нет, вся инфа будет полностью загружаться и отображаться.
Буду писать напрямую на винт, минуя MySQL, спасибо за помощь!!!


В смысле слили проблему другим?
Тоже выход. biggrin.gif
Go to the top of the page
 
+Quote Post
menzoda
сообщение Jul 18 2014, 06:12
Сообщение #20


Участник
*

Группа: Участник
Сообщений: 55
Регистрация: 13-09-12
Пользователь №: 73 530



Цитата(AlexandrY @ Jul 18 2014, 09:37) *
В смысле слили проблему другим?

Скорее закрутил единственный шуруп отверткой, не доставая из дальнего угла гаража шуруповерт, что есть правильно. Недавно видел подобное обсуждение, на реддите вроде, так вот там правильно сказали, что если единственный имеющийся инструмент - это молоток, то все вокруг будет выглядеть гвоздем. Я про то, что если в какой-то области реляционная база данных это круто и удобно, то не надо пихать ее во всё.

Сообщение отредактировал menzoda - Jul 18 2014, 06:13
Go to the top of the page
 
+Quote Post
SFx
сообщение Jul 19 2014, 14:18
Сообщение #21


Знающий
****

Группа: Свой
Сообщений: 758
Регистрация: 11-07-05
Из: Понаехал (Мск)
Пользователь №: 6 688



Единственное, хочу обратить внимание на параметр IOPS вашего накопителя. Не стоит писать много мелких файлов в одну директорию - со временем, это деградирует файловую систему.
Старайтесь избегать файлов размером 0,5-128 Кб - даже если будете писать такие файлы на RAMдиск (Справедливо для NTFS) больше 3000 файлов в секунду не получите, как бы не старались. сохраняйте данные только большими фрагментами, это позволить задействовать параметр линейная скорость записи у накопителя - а он всегда быстрее в разы.
Go to the top of the page
 
+Quote Post
Alt.F4
сообщение Jul 24 2014, 10:28
Сообщение #22


Профессионал
*****

Группа: Свой
Сообщений: 1 468
Регистрация: 28-03-10
Из: Беларусь
Пользователь №: 56 256



Я не разбираюсь в файловых системах, и возник вопрос: что произойдет, если в момент записи данных в файл, мы его откроем другой программой для просмотра?
Спасибо.
Go to the top of the page
 
+Quote Post
Буратино
сообщение Jul 24 2014, 13:32
Сообщение #23


Профессионал
*****

Группа: Свой
Сообщений: 1 433
Регистрация: 27-10-08
Из: Украина, Киев
Пользователь №: 41 215



Базы данных нужны для того чтоб складывать информацию с определенной системой (есть разные подходы, но наиболее распространенный тн реляционный) а потом быстро, очень быстро получать доступ к предварительно складированной инфе.


--------------------
Брак - это такой вид отношений, в которых один всегда прав, - а другой - муж.
Go to the top of the page
 
+Quote Post
kolobok0
сообщение Jul 24 2014, 19:51
Сообщение #24


практикующий тех. волшебник
*****

Группа: Участник
Сообщений: 1 190
Регистрация: 9-09-05
Пользователь №: 8 417



Цитата(Alt.F4 @ Jul 24 2014, 14:28) *
...мы его откроем другой программой для просмотра?..



в конечном итоге зависит от реализации оси и ФС. Если брать бытовой виндоус, то есть флаги при открытии файла - именно они
могут ограничить режимы открытия одного и того-же файла разными процессами. Далее только способ общения и способ
синхронизации буферов (на уровне ФС, оси, драйверов)... Обычно ФС сразу предствляют лёгкий закос на объекты синхронизации -
блокировки участка файла. Обычно это использовалось до клиент-серверные времена. Или точнее сказать во времена многопользовательского
доступа с помощью файовых систем. Яркий представитель этого хозяйства - клиппер, dbf формат, способ блокировок и доступа к БД файлам.
Go to the top of the page
 
+Quote Post
Alt.F4
сообщение Jul 25 2014, 13:57
Сообщение #25


Профессионал
*****

Группа: Свой
Сообщений: 1 468
Регистрация: 28-03-10
Из: Беларусь
Пользователь №: 56 256



Сегодня провел опыты на VPS Windows Server 2003.
Результаты удручающие, прямая запись на жесткий диск сильно замедлила систему, загрузка ЦП 100%.
Вернул запись в MySQL, все летает...
з.ы. возможно все дело в соседях, но БД тоже ведь юзает HDD.
Go to the top of the page
 
+Quote Post
A. Fig Lee
сообщение Jul 25 2014, 14:02
Сообщение #26


Знающий
****

Группа: Участник
Сообщений: 974
Регистрация: 4-04-08
Из: далека
Пользователь №: 36 467



Цитата(Alt.F4 @ Jul 25 2014, 09:57) *
Сегодня провел опыты на VPS Windows Server 2003.
Результаты удручающие, прямая запись на жесткий диск сильно замедлила систему, загрузка ЦП 100%.
Вернул запись в MySQL, все летает...
з.ы. возможно все дело в соседях, но БД тоже ведь юзает HDD.

Ларчик просто открывается, майсиквел пишет все в кэш, периодически сбрасывая его на диск,
если шнур выдернуть, то окажется, что записалось не все.

Чудес то не бывает. Он пользуется теми же сервисами записи на диск.
Поэтому быстрее никак быть не может

Цитата(Alt.F4 @ Jul 24 2014, 06:28) *
Я не разбираюсь в файловых системах, и возник вопрос: что произойдет, если в момент записи данных в файл, мы его откроем другой программой для просмотра?
Спасибо.

Ничего плохого. Зависит от ОС, будет ли он видеть новые данные или нет.


--------------------
Верить нельзя никому, даже себе. Мне - можно.
Go to the top of the page
 
+Quote Post
x893
сообщение Jul 25 2014, 21:51
Сообщение #27


Профессионал
*****

Группа: Свой
Сообщений: 1 333
Регистрация: 27-10-08
Из: Планета Земля
Пользователь №: 41 226



смешной вопрос - смешные ответы
Go to the top of the page
 
+Quote Post
muravei
сообщение Jul 26 2014, 12:48
Сообщение #28


Гуру
******

Группа: Свой
Сообщений: 2 538
Регистрация: 13-08-05
Пользователь №: 7 591



x893 , будьте так добры - загляните в личку.
Go to the top of the page
 
+Quote Post
Alt.F4
сообщение Jul 29 2014, 11:07
Сообщение #29


Профессионал
*****

Группа: Свой
Сообщений: 1 468
Регистрация: 28-03-10
Из: Беларусь
Пользователь №: 56 256



Разрешил вопрос с хостером VPS, в момент предыдущего тестирования они делали перенос виртуальных серверов, что нагрузило HDD и мои выводы оказались преждевременными.
Размеры таблиц в MySQL значительно уменьшились после переноса редко используемой инфы в файлы, что в результате ускорило работу самого движка БД (сужу по загрузке ЦП процессом MySQL).
В одном месте прочитал, что лучше сохранять файлы небольших размеров, однако в итоге экспериментов пришел к выводу, что чтение гораздо быстрее происходит при загрузке одного большого файла, чем множества маленьких.
Спасибо большое всем за помощь!!!
Go to the top of the page
 
+Quote Post

2 страниц V  < 1 2
Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 23rd July 2025 - 15:25
Рейтинг@Mail.ru


Страница сгенерированна за 0.01502 секунд с 7
ELECTRONIX ©2004-2016