Список форумов "Замечательные форумы"
Здесь представлен архив форумов за 2003-2007 годы.
Все они работают только в режиме чтения.
Активным является "новый форум"

 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Мирон Я. Амусья: Гармонию цифирью поверяя

 
Этот форум закрыт, вы не можете писать новые сообщения и редактировать старые.   Эта тема закрыта, вы не можете писать ответы и редактировать сообщения.    Список форумов "Замечательные форумы" -> Идеи: наука и культура
Предыдущая тема :: Следующая тема  
Автор Сообщение
bem
Site Admin


Зарегистрирован: 31.05.2006
Сообщения: 484

СообщениеДобавлено: Ср Дек 12, 2007 7:06 pm    Заголовок сообщения: Мирон Я. Амусья: Гармонию цифирью поверяя Ответить с цитатой

Прислано в редакцию автором

Мирон Я. Амусья,
профессор физики

Гармонию цифирью поверяя
(Домашние опыты по наукометрии)


Подумаешь, тоже мне –
Бином Ньютона
М. А. Булгаков

В науку пошёл середняк
Проф. Л. А. Слив

Не продаётся вдохновенье,
Но можно рукопись продать.
А. С. Пушкин


Обычно считают, что оценить научную творческую деятельность каким-либо числовым показателем невозможно. Трудность здесь начинается с определения самого понятия науки, которое, как и всякое точное содержательное определение – едва ли возможно. А, тем более, как измерить числом такие тонкие материи, как вдохновение, удачу, озарение, наконец?
Как числом сопоставить научные достижения, правильнее сказать, подвиги Максвелла и Больцмана, Эйнштейна и Бора, Архимеда и Пифагора?
Однако уже давно было замечено, что даже этих великих творцов, их бессмертные творения можно оценить по тому, как они используются другими людьми, в первую очередь – в научных книгах и журналах, при всей неоднозначности определения того, какая книга или журнал научные, а какие – нет.
Уже давно в качестве численных показателей научного творчества было предложено учитывать число работ и число их цитирований. Конечно, всю относительность числа работ как показателя научных достижений можно усмотреть в знаменитом обмене любезностями двух великих математиков. Гениальный немец К. Гаусс попросил аналогичного француза О. Коши «остановить научный понос», на что последний заметил, что не видит преимуществ «запора перед поносом».
Существенно, что число работ даже малоспособный, не обременённый высокими принципами научный работник может увеличить путём полуповторения своих творений во второ-, третье-, да и четверосортных научных изданиях /, равно как и коллективизацией авторства по принципу «я впишу тебя, ты впиши меня » (что приводит к увеличению списка публикаций каждого на две вместо одной позиции).
«Индекс цитирования», т.е. число упоминаний данной работы в трудах коллег был долгие годы малодоступен и ориентировался на фамилию лишь первого автора. Широкое использование мощных ЭВМ и персональных компьютеров и соединение с Интернетом позволяет отслеживать всех авторов многоимённой работы, обследовать огромное число журналов и книг. Появилась возможность учитывать с разным весом публикации в высокоцитируемых и низкоцитируемых журналах, вводить и другие, весьма тонкие уточнения и поправки.
Что ещё более существенно – соответствующая информация стала общедоступной бесплатно, с помощью таких искателей, как, к примеру, Google Scholar, или за вполне умеренную плату, с помощью такого источника, как институт научной информации США http://apps.isiknowledge.com/. Нужно знать лишь ФИО и за доли секунды можно получить, пусть и имеющую определённые недостатки, но объективную, т. е. создаваемую без прямого участия начальства, информацию о том, “Who is who, and who is not” о каждом «подозреваемом».
Спешу отметить, что вполне сознаю недостатки любого количественного показателя. Да и ловкие люди быстро научаются приводить свои показатели в порядок. Ведь человек умнее машины, собирающей о нём данные, не правда ли? Да и присуждаемые людьми знаки научного признания, даже высочайший из них, Нобелевская премия, носят подчас печать некоторого субъективизма в оценке.
Показатели можно искусственно улучшить, и по числу работ, и по наличию учёной степени. Ведь не случайно растёт, к примеру, в России, «остепенённость» начальствующего состава. Так что и на «индекс цитирования» найдут укорот, т.е. способ его быстро увеличивать или преуменьшить значение.
Однако, чем больше вдумываешься в «индекс цитирования», тем в большей мере его на сегодняшний день ценишь. Ведь он демонстрирует, притом сразу за многие годы, кому и в какой мере была нужна данная работа, а после суммирования по всем работам становится ясно, нужен ли кому-то данный научный работник. Конечно, ничто не запретит любому у себя дома или в кругу почитателей быть «непризнанным гением». Но вот определять меру признания «индекс цитирования» вполне может. Разумеется, я интересовался им и ранее, в применение к себе, своему начальству, друзьям, коллегам по Еврейскому Университету в Иерусалиме и Физико-Техническому институту в Санкт Петербурге.
Однако, более общий и, пожалуй, важный аспект оценки с помощью «индекса цитирования» стал ясен, когда я заинтересовался биографией (скорее – автобиографией) некоего г-на Квинта. Это бывший россиянин, ныне работающий в США, или, точнее, «междисциплинарно», на стыке США и России. Г-н Квинт недавно был избран иностранным членом Российской Академии наук по Секции экономики Отделения Общественных Наук. К моему удивлению, этот автор более чем трёх сотен научных статей и двух десятков книг имеет «индекс цитирования» (ИЦ) 36, что кардинально отличает его от двух других иностранных членов этой же секции РАН - лауреатов Нобелевской премии Штиглица (JE Stiglitz) и Кляйна (LR Klein), с ИЦ, равными 15100 и 92600, соответственно.
Можно было думать, что эти лауреаты Нобелевской премии по экономике – исключения, или их частое цитирование есть результат особого почтения к каждому нобелевскому слову. Чтобы убедиться, что это не так, обратимся к примеру Нобелевских лауреатов по экономике за 2007 - Леониду Гурвицу (L Hurwicz), Эрику Маскину (E Maskin) и Роджеру Майерсону (R Myerson), у которых ИЦ 5350, 17400 и 21400, соответственно. Учитывая возраст Гурвица – он родился в 1919 г, его результат, с учётом того, что работы основоположников постепенно переходят в общеизвестное, представляется выдающимся.
Недавно я познакомился с ещё одним, подобным Квинту, примером. 23-28 сентября 2007 Москву посетила международная делегация во главе с нобелевским лауреатом по физике проф. М. Гелл-Манном (США) для участия в программе со скромным названием «Москва – интеллектуальная столица мира», проходящей под патронажем мэра Лужкова. Визит организовал «Международный комитет интеллектуального сотрудничества» в лице своего вице-президента Ю. Магаршака, тоже бывшего россиянина, тоже работающего, подобно Квинту, как представляется, на стыке США и России.
Взглянув в Google Scholar, я обнаружил уже знакомую картину: этот автор «более ста статей в реферируемых журналах», специалист по молекулярной биологии, имеет ИЦ совершенной «информационной невидимки» - 11! Это не мешает ему прилюдно предлагать планы реорганизации Петербургского университета, который он окончил в 1969 г., Российской Академии наук, иностранным членом которой он пока ещё не является, да и всей мировой науки и технологии. Ведь, чем чёрт не шутит, когда Боги спят. Что касается главы упомянутой международной делегации проф. М. Гелл-Манна, его ИЦ 27900. На таком фоне «комитет интеллектуального сотрудничества» блекнет – сотрудничающие стороны просто несопоставимы. Однако, понятное дело, это не мешает использовать М. Гелл-Манна в качестве стенобитного, точнее, двери - открывающего, орудия, при том с большим успехом.
«Казус Квинта» заставил меня выяснить более подробно, как обстоят дела с ИЦ у других, не иностранных, членов Секции экономики РАН. Результаты оказались удивляющими и удручающими. Из 17 членов секции – академиков ИЦ ниже 200 имели 10, включая вице-президента РАН А. Д. Некипелова, чей ИЦ равен всего 178. Из 22 членов-корреспондентов секции, практически у всех ИЦ ниже 100. Подобная ситуация совершенно ненормальна и говорит о том, что Секция экономики РАН не является сколько-нибудь влиятельной частью мировой экономической науки. В связи с этим вспоминаю, как свой проект экономического переустройства СССР, по сути идею китаизации его экономики, послал в конце 80-ых уже тогда знаменитому академику Аганбегяну, который передал проект своему аспиранту, приславшему мне ненужный отзыв. Я и не мог вообразить тогда, что ИЦ самого мэтра – всего 138!
Думаю, что уместно привести ещё некоторые ИЦ для тех, кто в определённой мере отражали экономическую науку при власти и в самой власти. Так вот, ИЦ академика С. С. Шаталина -106, его младшего коллеги по некогда знаменитой программе «500 дней» Г. А. Явлинского – 10. Конечно, область деятельности академика Е. М. Примакова гораздо шире рамок какой-либо определённой отрасли науки. И тем не менее – ИЦ равный 347 показывает его, как бы это сказать помягче, малую увлечённость чисто научными разработками. Хотя это и гораздо больше, чем у экономического светила когдатошней оппозиции доктора экономических наук С. Ю. Глазьева – его ИЦ - 6.
ИЦ членов секции экономики в сравнении с отделениями физики и математики отражает абсолютно ненормальную ситуацию, сложившуюся в этой области академической науки. Вероятно полезно было бы изучить ИЦ и для других гуманитарных отделений РАН, помимо Секции экономики. Хотя это просто сделать для каждого отдельного имени, изучение ИЦ для целой секции довольно трудоёмкая задача. Да и автор заметки не ставит перед собой явно непосильной для него цели – оценки всей научной деятельности РАН. Но, как известно, на ловца иногда и зверь бежит.
Можно подумать, что проблема низкого ИЦ в экономической науке России отражает специфичность языка общения да и ограниченность её занятий границами СССР – России. С такой точкой зрения трудно, однако, согласиться. Общение Запад-Восток открыто уже добрых двадцать лет, мировая экономика и связанные с нею проблемы уже давно во многом интернационализированы. Да и есть пример российского экономиста Л. В. Канторовича, уже давно умершего, чей ИЦ сейчас – 4110. Словом, причина, грубо говоря, не в «зерцале»
Уже когда эта заметка заканчивалось, автору буквально подвернулась (чего только не вытворит Интернет) статья в «Независимой Газете» от 28.09.2005 об отчёте «Оценка состояния Российской академии наук», в которой говорится: «Сухой остаток отчета таков. …“– Эффективность гуманитарного сектора академической науки очень низка – доля в нем кадрового балласта составляет более 90%. В негуманитарном сегменте доля балласта 53%. Неэффективным академическим ученым свойственна завышенная самооценка их научных достижений – 75% из них считают себя эффективными, действующими учеными».
Не обсуждая эффективность и неэффективность, обнаруженную в результате исследования, основанного на опросах 1200 научных сотрудников в 30 академических институтах 11 городов Российской Федерации, отмечу, что приведенные выше результаты по ИЦ явно говорят о научном неблагополучии по меньшей мере в определённой секции. Но главная цель данной заметки – это показать, что существует простая возможность получить информацию о качестве данного научного работника, в том числе и о себе лично, коли принадлежишь к этому социальному слою, не заказывая никому весьма трудо- и деньгоёмкого исследования. Конечно, низкий ИЦ, в особенности свой, можно объяснить рядом каких-то других, не уровневых причин. Но полезнее помнить, что «неча на зерцало пенять, коли рожа крива». Знание ИЦ полезно, чтобы, при желании или необходимости, «всяк сверчок знал свой шесток». Пусть не больше, но и не меньше! Знание своего ИЦ – иногда горькая, но при правильном к ней отношении, целительная пилюля.
Отрадно, что этот числовой показатель, в соответствие с недавним распоряжением вице-президента РАН академика А. Д. Некипелова, должен учитываться при аттестации научных сотрудников РАН и в значительной мере определять их зарплату. Примечательно, однако, что ИЦ самого А. Д. Некипелова равен всего 190.
В заключение, приведу, с неизбежными повторами уже упомянутого в заметке, некоторые выводы и соображения:
1. Google Scholar – быстрый и эффективный международный искатель. Он позволяет судить о важности работы индивида для мировой науки. Его главный недостаток в том, что не даёт возможности даже грубо различать научных работников, имеющих одинаковые фамилии и инициалы по области деятельности. Здесь требуется «ручной» анализ.
2. Индекс цитирования (ИЦ) – объективный показатель, трудно поддающийся манипуляциям или административному давлению, однако в будущем, по мере расширения его использования, он может быть улучшен искусственно группой индивидов в рамках картельного соглашения «ты меня – я тебя».
3. В целом, «не цитируемый» означает «ненужный». Разумеется, это неприменимо к новым революционным работам, что вносит некоторую погрешность,
4. ИЦ отражает важность научной работы данного автора для научного сообщества в течение довольно длительного времени,
5. Даже если число работ мало, ИЦ может быть велик, если работа данного автора важна, т.е. используется,
6. Как всякий цифровой показатель, он в определённой мере ограничен, но с ним абсолютно необходимо считаться, если пытаться придать оценке деятельности научного работника объективность,
7. Значительная часть научных работников, членов академии, в том числе занимающих ответственные посты в её руководстве, имеют низкий ИЦ,
8. Возможно, они заняты другой, пусть даже более важной, работой, но к науке отношение имеют косвенное,
9. Особо плачевно выглядят российские учёные-экономисты, чья деятельность на мировую науку, в общем, почти никакого влияния не оказывает.
Считаю необходимым избавить читателя от вполне естественного поиска ответа на более чем естественный вопрос «А судьи кто?» или «Чья бы корова мычала ...». Для этого укажу собственный ИЦ в трёх принятых транскрипциях M Amusia, M Amus’ya, M. Amusya. Он составляет 3050.
Замечу также, имея в виду сторонников конспирологических теорий, и желая съэкономить их напрасные усилия: заметка эта писалась не по заказу противников или сторонников РАН или даже её отдельной секции, «не корысти ради, но токмо злою волею пославшей мя души» /. То есть меня самого.

Санкт – Петербург – Иерусалим
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
bem
Site Admin


Зарегистрирован: 31.05.2006
Сообщения: 484

СообщениеДобавлено: Сб Дек 22, 2007 6:26 pm    Заголовок сообщения: Юрий Магаршак: письмо в редакцию Ответить с цитатой

Прислано в редакцию автором

Юрий Магаршак
ПОРЯДОЧНОСТЬ ЦИФИРЬЮ ПРОВЕРЯЯ

письмо в редакцию


Уважаемый господин Беркович:

12 декабря в редактируемом Вами интернет-журнале была опубликована статья профессора М. Амусьи “Гармонию цифирью поверяя” посвященная тому, что при учете достижений научного работника следует учитывать рейтинг цитирования – утверждение бесспорное и очевидное. При этом большая часть статьи г.Амусьи посвящена обнародованию индексов цитирования ряда известных в России и мире людей, а также средних по Российской Академии Наук– и на основании этого показателя делаются далеко идущие негативные выводы.

В случаях, когда выводы базируются на одном параметре: в данном случае индексе цитирования – сам индекс, само собой разумеется, должен быть процитирован правильно, в противном случае это было бы клеветой и оговором в отношении каждого из упомянутых в статье лиц и организаций. Публикуя такие статьи, автор и средство массовой информации ее обнародущюее берут на себя ответственность за достоверность распространяемых ими данных – в противном случае юридические последствия были бы, разумеется, неизбежны.

В качестве одного из героев в кавычках этой статьи г. Апусьей был выбран я. Слабым утешением для оказавшегося под огнем столь уничижительной критики может являться лишь-то, что в одном ряду со мной в списке “научного середняка” (эпиграф к статье М.Амусьи) находятся академики и члены корреспонденты Российской Академии Наук, отделения Российской Академии Наук в целом, а также подвергнутый наиболее уничтожающей и саркастической критике некий (как его именует г. Амусья) профессор Владимир Квинт .

Основанием для сарказма в мой адрес послужило то, что г.Амусья – цитирую: “взглянув в Google Scholar обнаружил уже знакомую картину: этот автор «более ста статей в реферируемых журналах», специалист по молекулярной биологии, имеет ИЦ совершенной «информационной невидимки» - 11!”

Как всякий нормально работающий человек, я не интересовался рейтингом цитирования своих статей а просто работал. Поэтому не без тревоги раскрыв первый попавшийся на глаза индекс научного цитирования (ISI science Web citations of Knowledge) в котором на мое имя сразу, выскочило 89 ссылок. Удивившись несовпадению с рейтингом, приведенным господином Амусьей, раскрываю указанный им Google Scholar – и в первом же файле обнаруживаю указание на 57 ссылок на приблизительно сорок моих публикаций попавших в этот индекс цитирования (статьи во многих русскоязычных журналах, а также в большинстве сборников, в рейтинг Google Scholar не входят). Бесспорно, мой индекс цитирования мог бы быть больше – если бы я прожил другую жизнь, в частности, если бы не вынужден был провести наиболее продуктивную часть жизни – с 29 до 43 лет – в отказе, а в Соединенных Штатах работал бы в университете а не в индустрии (где, как известно, подавляющее большинство результатов не только не публикуются, но и не разглашаются). Но и в таком виде как есть, рейтинг цитирования моих опубликованных статей соответствует принятым на Западе нормам (одна статья – одно цитирование при усреднении по всем печатным работам) и наже несколько превышает их. Для того, чтобы иметь возможность делать далеко идущие выводы и ерничать, г. Амусья в пять раз исказил данные, которые любой читатель, редактор или юрист может проверить в течение пары секунд.

Публикуемая в Вашем журнале дезинформация небезобидна – она распространяется в печати, на телевидении и в интернете, с ссылкой или без ссылки на Ваш журнал. Не знаю, что делал г.Амусья в отношении индексов цитирования остальных приведенных в статье коллег и какие действия собираются предпринять они – равно как и уничижительно упомянутые в его статье организации в целом – в случае, если, как и я, посчитают их искаженными. В том, что касается меня лично, совершенно бесспорно и очевидно, что публикация д-ра Амусьи содержит клеветнические сведения, распространяемые в средствах массовой информации, которые подпадают под действия статьи о защите чести, достоинства и деловой репутации.

Юрий Магаршак
Президент MathTech, Inc.
New York
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
bem
Site Admin


Зарегистрирован: 31.05.2006
Сообщения: 484

СообщениеДобавлено: Пт Дек 28, 2007 9:08 pm    Заголовок сообщения: СИНДРОМ СНОБА Ответить с цитатой

Юрий Магаршак
- Friday, December 28, 2007 at 12:01:01 (PST)


Уважаемый господин Беркович. Вы любезно разместили мою реакцию на статью М.Амусьи на сайте Еврейской Истории и претензий к Вашему сайту, с которым имею честь сотрудничать и глубоко и искренне уважаю, а также к Вам как редактору и человеку я не имею. Однако, поскольку на статью и на мою на нее реакцию были отклики, считаю необходимым подвести черту под этой проблемой и обсуждением.

Я не хочу и не стану преумножать ложь борьбой с ней, таким образом поневоле рекламируя клевету: желающий может найти мой ответ М.Амусье (которого, чтобы не создавать неадекватному и недоброжелательному человеку незаслуженную рекламу, буду называть кратко: господин А.) ПОРЯДОЧНОСТЬ ЦИФИРЬЮ ПОВЕРЯЯ по существу дела, а также мнения о самом господине А., написанные другими (весьма, кстати сказать, нелицеприятные) на в форуме и гостевой книге. Сейчас мне хотелось бы лишь упомянуть наиболее паталогические – с моей точки зрения – особенности статьи господина А., которые встречаются, к сожалению, часто, и которые являются симптомами болезни. Которую я бы, пожалуй, назвал СИНДРОМ СНОБА.

Первое. Господин А. абсолютно не понимает, что кроме рейтинга цитирования (параметра, безусловно, существенного) существуют и другие характеристики. Например, популярность профессора среди студентов – прямая в отличие от научной работы обязанность любого профессора. Было бы очень неплохо, если бы у профессора Амусьи она была бы столь же высока, как индекс цитирования. Кроме того, для людей, работающих в индустрии (в которой, в частности, работаю я) разглашение сведений вообще противопоказано и там индекс цитирования как характеристика эффективности работы бессмысленен. Как остроумно заметил один из комментаторов статьи г. А. по указанному выше адресу, у Оппенгеймера индекс цитирования был наверняка меньше чем у господина А-я – ну и что из этого следует? Только одно: неадекватность оценки деятельности человека по одному параметру как бы полезен он ни был - в других областях. Господин А. абсолютно не понимает, к примеру, что человек, имеющий индекс цитирования ниже чем у него может быть хорошим администратором (как, например, создатель спутников Сергей Павлович Королов – с рейтингом цитирования научных работ у которого, прямо скажем, плохо обстоит дело. Ну и какие выводы из этого следует делать? Да никакие!). Да хоть бы у меня был нулевой индекс цитирования – какое это имеет отношение к организации приезда Нобелевского лауреата в Москву? Если бы господин Амусья жил в начале двадцатого века и был, к примеру, солистом Одесской оперы, он несомненно, написал бы едкую сатиру на Дягилева, не оставляющую от деятельности организатора Русских Сезонов в Париже камня на камне на том основании, что он не только ни разу не исполнял арию Герцога, но даже в кордебалете не танцевал.

Вторая паталогия еще более опасна. Господин А-я возмущен тем, что я позволил себе писать о проблемах Санкт Петербургского университета и Российской Академии Наук. При этом содержание статей вовсе не интересует его – он считает, что человек должен иметь потолок того, о чем можно и о чем нельзя ему думать в зависимости от своей должности или социального статуса независимо от того, что он пишет и какие мысли высказывает. Такая снобисткая точка зрения чрезвычайно вредна. Если следовать этой логике, скромный сотрудник бернского Бюро патентов никогда не должен был даже задумываться об относительности пространства и времени и их связи с системой отсчета – не по рангу ему это было и не его ума дело. В статьях, сам факт написания которых возмутил господина А., я писал совершенно очевидные каждому нормальному человеку вещи – например, что ситуация, когда естественные факультеты отделены расстоянием в два с половиной часа от гуманитарных (время, за которое поезд покрывает расстояние от Лондона до Брюсселя), как это имеет место в Санкт Петербургском университете, абсолютно ненормальна и должна быть исправлена. Первые, с кем указанные статьи обсуждались и весьма позитивно – были Ректор Санкт Петербургского Университета и члены Президиума РАН (в том числе и до их публикации – но ставить подпись под критическими обсуждениями касающимися возглавляемой им организации не всякому администратору этично и адекватно даже если он всей душой хотел бы изменить то, на что повлиять не в силах). Но господину А-я содержание неважно. Ему важен сам факт необходимости того, чтобы каждый человек знал свой потолок. Я категорически несогласен с этой позицией. Человек вправе думать и говорить обо всем на свете. Только уровень сказанного и сделанного должен оцениваться.

И наконец последнее: и (если можно так выразиться) еще более главное: искаженное представление г. А. об этике. Редактор одного из сайтов, на котором была размещена безобразная публикация, о которой я вынужден говорить (а г. А рассылает свои статьи куда только может), сообщил мне, что “Мирон cчитает инцидент исчерпанным и извиняться не будет”. Что значит исчерпанным? Облить клеветой, как и помоями, можно в одну секунду – а отмываться? Спустя десятилетия после уничтожения невинных в гулаге все, что выдавила из себя Советская Власть – это бумажка о реабилитации. Реабилитации и ничего более. Никакого наказания никого из причастных, никакой компенсации семьям. Аналогия с точки зрения этики (а не тяжести самого деяния, разумеется), к сожалению, полная. Господин А. принадлежит к тем людям, которые незлопамятность понимают таким образом, что следует забывать зло, которое причиняешь другому. Тот кто причинил зло – тот о нем и забыл. Абсолюная и совершенная патология! Особенно для человека, живущего в Ерусалиме. Городе, из которого доброжелательство и гармония души человеческой вместе с Иудаизмом и Христианством пришли в мир.

Юрий Магаршак
Президент MathTech, Inc.
Нью Йорк
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
Показать сообщения:   
Этот форум закрыт, вы не можете писать новые сообщения и редактировать старые.   Эта тема закрыта, вы не можете писать ответы и редактировать сообщения.    Список форумов "Замечательные форумы" -> Идеи: наука и культура Часовой пояс: GMT + 1
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Powered by phpBB © 2001, 2005 phpBB Group