Обсуждение www.nnov.ru

Новая тема Список тем ПравилаУчастники:|||||: АрхивRSS

??? инфа личная

27.11.2003 в 13:04
sergio x0
А пачаму у мя в инфе кол-ко сообщений резко упало...было 1300 а щас 875???
27.11.2003 в 16:53
Commander Хэлл x0 @ sergio
Потому что они удалены.

Не знаю пока, кому пришла в голову столь гениальная мысля - скрыть тормоза форума, УДАЛИВ из базы "старые" сообщения, но надеюсь, что ошибка будет исправлена как можно быстрее.

Мои сообщения удалились тоже.
28.11.2003 в 12:48
Анатолий Саппорт @ Commander Хэлл
Томоза не только форума, но и всего сайта, сотни тысяч устаревших "новостей", телепрограмм, сообщений форума.

Информация старше полугода будет удаляться, это принципиальная позиция, на сегодня с такими базами не справляются два сервера (сервер баз данных и сервер интерфейса).

Удаление устаревших данных совершенно нормальное явление. Это необходимо для стабильной "нормальной" работы сервера.

С дугой стороны могу заверить, что существует бекап-данных, он не удален, мы можем сохранить его на стримерную ленточку, и хранить в сейфе для потомков.
28.11.2003 в 12:54
Анатолий Саппорт @ Анатолий Саппорт
Кроме того в сети существуют сайты специализирующиеся на сборе и сохранении раритетов

например web.archive.org

кстити форумы nnov.ru там тоже сохраняют, там же можно полюбоваться на старый вариант дизайна.
С дугой стороны могу заверить, что существует бекап-данных, он не удален, мы можем сохранить его на стримерную ленточку, и хранить в сейфе для потомков.
А также скинуть на болванки и отдать мне. Я думаю, архив много места не займёт - там же в основном текстовая информация. Но вообще я намерен зайти и поговорить лично, а то из новой команды сайта меня опять почти никто не знает.
Смысл ИМХо в том , что счетчик месаг говорит от том кк давно чел на форуме!
28.11.2003 в 18:36
Raskrutim.RU x0 @ sergio
счетчик месаг говорит от том кк давно чел на форуме!


А я всегда считал что об этом говорит дата регистрации. :-)
29.11.2003 в 02:23
Kiss_to x0 @ Raskrutim.RU
А ты загляни в свою инфу-есть у тебя там дата регистрации??:)
03.12.2003 в 17:30
sergio x0 @ Raskrutim.RU
а гидэ она а????
30.11.2003 в 16:08
борщеман пловоед @ Анатолий Саппорт
Анатолий Саппорт сказал(а):

Томоза не только форума, но и всего сайта, сотни тысяч устаревших "новостей", телепрограмм, сообщений форума.
Информация старше полугода будет удаляться, это принципиальная позиция, на сегодня с такими базами не справляются два сервера (сервер баз данных и сервер интерфейса).


странно однако... я вот представил себе какая бд у всяких биллингов мега активных провайдеров/сотовых операторов, или хоть вон бд всяких поисковиков и подумал что там конечно же крутые машинки все это обслуживают, но все же с конечной памятью весьма и с конечным кол-вом процессоров и канал между этими машинками весьма ограничен порой, и прочее-иное... и подумалось мне, что вот как бы дикий и часто стречающийся запрос я не задал скажем яндексу - ответ от него приходит сразу же мол... быть может они знают какую-то хитрость про sql?
борщеман пловоед сказал(а):
как бы дикий и часто стречающийся запрос я не задал скажем яндексу - ответ от него приходит сразу же мол... быть может они знают какую-то хитрость про sql?


Угу. Они точно знают, что в таких делах sql идет не только садом, но и лесом.
И в плане железа они тоже пиво не ботинком хлебают ;-)
www.yandex.ru/hardware.html
01.12.2003 в 18:32
борщеман пловоед @ El Chupacabra
ладно, с яндексом не очень удачный пример, пускай... но вы верите, что если из базы допустим 200 000 записей выбирать 30-50 записей, при наличии у базы тупых индексов, выборка будет происходить столь долго, как мы имели честь наблюдать? возможно limit'ы и прочие чудеса ускоряющие выборку записей все же имеюцца, тогда, возможно, появилась чудо-проблема с каналом между бд и не-бд, например канал возможно флудицца чем-либо отличным от всяческих sql-транзакций, а каким-то левым ботва-траффиком, а может быть и нет, но например если бд и небд поиметь на одной машине, то это, хотя и увеличит нагрузку на эту машину не будет упирацца в каналь между бд и небд... одним словом я хочу сказать всего-лишь, что мне кажецца маловероятным то, что выборка 30-50 записей из бд с 100000-150000 записей происходит столь медленно, что можно ощутить это в такой мере, какая была время t назад тут... :) а вам? :) может я чего не понимаю :))


я вот сейчас даже для радости сделал mysql-базу - 200 000 записей по 10kb каждая, убил два гига :)) машинка весьма убогая - 266 целерон со 128 метрами...

для радости, расскажу о моем понимании происходящего:

1. время t назад мы имели честь наблюдать как странички _форума_ открывались время T
2. корень в то же самое время открывался как всегда весьма быстро

из этово всево можно предположить что есть некая дрань с выборкой записей из таблиц именно форума, потому как в корневой страничке имеюцца новости, которые тоже надо выгребать и кусочки форума тоже там есть и еще много чего там есть, чего надо выгребать... так вот, на мой взгляд, отличие корня от списка тредов в том, что их больше(не значительно) и для того чтобы показать список тредов надо посчитать сколько всево тредов, чтобы вывести кол-во страниц, т.е. воткнуть в выборку некое WHERE... если обходицца без него все выгребаецца и обсчитываецца мнгновенно, но если же без всяких дополнительных изысканий втыкать WHERE с самым простым условием a=b

так вот, собственно результаты моего дико тупово эксперемента (тм) :))

сервер - mysql 3.24.чёто для win32 :))
есть база - 200 000 записей, по 10 кб каждая, размер бд соответственно - 2Гб.

тупая штука SELECT count(*) FROM test_table; - выполняецца за 0.00 сек (c) mysql.exe
тупая штука SELECT count(*) FROM test_table WHERE a=0; - выполняецца за 921.43 сек (c) mysql.exe

теперь я сделал дико тупое:

CREATE INDEX cololo_index ON test_table (a(4));

теперь штука SELECT count(*) FROM test_table WHERE a=0; - выполняецца 1.03 сек (с) mysql.exe

всево лишь это я хотел сказать - 15 минут против 1 секунды видимо существенно... т.е. достаточно проидексировать ту колонку в которой храницца признак тред это или не тред, например(кстати надо заметить, что индексный файл для 2гиговой базы весит всево то 4 мегабайта в таком случае) и будет уже такая радость, как 900-кратное ускорение...


а вот еще, замечательная выдержка из мануала по mysql:

* Handles large databases. We are using *MySQL* with some databases that contain 50,000,000 records.

уж наверное они не ждут там три дня и три ночи пока сервер обсчитает все 50 миллионов записей ради того чтобы сказать сколько из этих 50 миллионов содержут a=0... :)

скажите, я очень тупой? :))
01.12.2003 в 18:39
борщеман пловоед @ борщеман пловоед
ой, забыл дописать там в одном месте:

если обходицца без него все выгребаецца и обсчитываецца мнгновенно, но если же без всяких дополнительных изысканий втыкать WHERE с самым простым условием a=b то все дико замедляецца...
борщеман пловоед сказал(а):
скажите, я очень тупой? :))


Да нет, не тупой. :-) Просто близко к сердцу все принимаешь ;-)

Кстати, в порядке эксперимента создай еще одну таблицу и выполни запрос

SELECT count(*) FROM test_table WHERE a IN (SELECT a FROM test_table2 WHERE a < 1)

:-)
El Chupacabra сказал(а):

Да нет, не тупой. :-) Просто близко к сердцу все принимаешь ;-)


цололо...




Кстати, в порядке эксперимента создай еще одну таблицу и выполни запрос

SELECT count(*) FROM test_table WHERE a IN (SELECT a FROM test_table2 WHERE a < 1)
:-)


не-не, это уж вы сами :) и я не думаю что для тупово форума нужны такие вот запросы... :)
Спасибо что открыл америку, а то мы думали зачем там какие то закорючки возле таблиц ???
А если серьезно, то в текущих условиях даже удаление записи с поиском по главному ключу занимает 0.05 секунды, а это огромное время. Что уж говорить о стандартных форумских селектах.
а тогда как вы объясните внезапность в появлении тормозов? :)) а что, 199 999 записей работает быстро, а только 200 000 начинает дико тормозить? :) этот форум крутился 2 года и был доволен и радостен, до некоторого переходного момента - во первых :) во-вторых, скажите, неужели в какой то из таблиц сейчас больше 200 000 записей? судя по индексам тредов/сообщений - нет, хотя может они как-то хитро генеряцца, а не просто увеличиваюцца на 1 каждый раз :) если не больше, то для меня лично, основываясь на моем личном опыте - странно, что такая небольшая база такая тормозная, я не хочу сказать, что это не нормально, можно сделать так что и бд на 100 записей будет тормозить, безусловно, я веть не знаю как чего устроено, я могу лишь догадывацца... так вот основываясь на своих дагадках я лишь сказал, что мне кажецца, что чего-то оно медленноватое для сових размеров... а уж как на это реагировать - ваше дело, можно сказать, что я открыл америку, а можно посмотреть что можно сделать в своих реальных условиях, потому что всегда можно что-то сделать :))
Удалять, конечно, ваше право, но лично у меня, сильно убавляется желания писать на форум, если мои сообщения растворяются в небытии. По-моему это отдает элементарным неуважением к пользователю. Причем, прежде всего к такому пользователю, который в свои сообщения вкладывает хоть не много умственных и душевных усилий, и именно поэтому они ему дороги. Так что, в один прекрасный момент на форуме могут состаться одни Бивисы и Батт-Хеды. Все их сообщения, можно без потери смысла пересказать в одной теме, а значит не важно сохранятся они или нет. Если так случится, не удивляйтесь особенно сильно.
28.01.2004 в 14:31
* sergio * x0 @ sergio
ну что за хрень снова а??????
модерюги а???? блин у всех форумчан аж по 2000 мессаг в инфе , а у мя опять обрезали до 940?????