Laboratory  of  Information  Technologies 

Протокол рабочего совещания

"Проблемы развития сетевой и компьютерной структуры ОИЯИ"

13 марта 2001 года

 

Открыл рабочее совещание директор ЛИТ Пузынин И.В.

В своем обращении к участникам рабочего совещания Пузынин И.В. отметил, что имеющаяся в ОИЯИ сеть выработала свой ресурс: участились сбои оборудования и сеть перестала удовлетворять потребностям пользователей. ЛИТ обратилась к ряду организаций с просьбой подготовить проект новой сети. Директор ЛИТ призвал специалистов по данному вопросу обсудить технические особенности предложенного проекта.

С докладами выступили Попов Л.А. (ЛИТ) и Виняр Д.Л. (Jet Inforsystems, Москва)

Вопросы и комментарии к Попову Л.А.

Корзюков И.В. (ЛЯР)

Вопрос: Какие еще фирмы, кроме Джет (Jet Inforsystems), разрабатывают и могут предложить подобные проекты?

Ответ: Отвечает И.В.Пузынин – Университетская фирма г.Тверь и Университетская фирма «Дружбы народов».

Мицын В.В. (ЛИТ)

Вопрос: Какие наиболее узкие места, и почему такой трафик идет по магистрали, когда VIVID коммутаторы перестают работать?

Ответ: Потому что поток пакетов превышает определенные возможности этих устройств. Возросла мощность компьютеров и т.д.

Вопрос: Ответ неправильный, но об этом я скажу в дискуссии, все-таки это hardware или software?

Ответ: Так как оборудование показывает неустойчивость в работе, то это software

Комментарий Пузынина И.В – Потому что пока не решен вопрос управления сетью.

Пенев В.Н. (ЛВЭ)

Вопрос: Ведутся ли переговоры о работе внешних каналов?

Ответ: По этому вопросу выступит В.В.Кореньков, с ним есть договоренность.

Щинов Б.Г. (ЛФЧ)

Вопрос: Хотелось бы о надежности сети услышать конкретные цифры, а не «больше» или «меньше».

Ответ: Надежность сети неоправданно низкая, поэтому магистраль должна быть модернизирована вне зависимости от величины трафика.

Щинов Б.Г. (ЛФЧ) и Пенев В.Н. (ЛВЭ) подняли вопрос финансовых затрат на АТМ и новую систему.

Ответ: Отвечает Пузынин И.В –Давайте решать все проблемы поэтапно.

Вопросы и комментарии к Виняру Д.Л.

 

Мицын В.В. (ЛИТ)

Комментарий: Надо поставить нормальную эксплуатацию имеющегося оборудования. Логика работы сети не отвечает сегодняшним требованиям. Необходимо разбить сеть на подсети. Проведенный им анализ трафика указал на необходимость разбиения сети на L3 на подсети. Модернизировать сеть надо. Новый проект хорошо разбить на этапы. Одним из основных критериев должен быть критерий поэтапного внедрения нового проекта.

Приходько В.Н (ЛНФ)

Вопрос: Ваша фирма консультирующая? Или она готова нести ответственность за архитектуру сети, поставку оборудования и т.д.?

Ответ: Фирма занимается планированием, проектированием сетей, поставкой оборудования, проводит монтажные и пусконаладочные работы, а также ведет последующее сопровождение сделанных сетей.

Щинов Б.Г. (ЛФЧ)

Вопрос: Чему посвящен проект?

Ответ: Это магистральная сеть между зданиями.

Вопрос: Зачем второй раз покупать 100FX порты, если они у нас уже есть?

Ответ: То, что имеется, не способно выполнять будущие задачи (нагрузки).

Вопрос: Зачем нам L-3?

Ответ: Для маршрутизации пакетов, чтобы разгрузить центральный коммутатор.

Вопрос: Если узлы выбирались на конкретное количество компьютеров, то почему на ЛЯП рассчитано 150 компьютеров, когда там 500?

Ответ: Я опирался на исходные данные от каждой Лаборатории. Данные были предоставлены администраторами лабораторий, таким образом учитывались потребности каждой из них.

Пенев В.Н. (ЛВЭ)

Вопрос: Какой резерв у вашей сети?

Ответ: У разных вариантов предложений разный,

В максимальной конфигурации пропускную способность можно за счет аггрегирования соединений поднять в 8 раз. В оптимальных есть возможность использовать при необходимости такие же технологии и по крайней мере в 2 раза повысить пропускную способность основных участков сети.

Шириков В.П.(ЛИТ)

Вопрос: Когда начали выпускаться коммутаторы Passport 8600, и можете ли Вы назвать пример сети на территории России, где бы они применялись?

Ответ: Passport 8600 пошли в производство примерно год назад, перед праздниками две машины были поставлены в качестве ядра биллингового центра одного из московских операторов связи. Более простые коммутаторы типа Passport 1100/1200 функционируют например в сети Тверского отделения ЦБ с 1998 года.

Щинов Б.Г. (ЛФЧ)

Вопрос: Какова пропускная способность существующего АТМ оборудования?

Ответ: В каких единицах? Что касается производительности декларируемой производителем в частности в пакетах в секунду, то 6500 и 8600 – 100 000 000 пакетов в секунду. Более младшие

модели обладают меньшей производительностью.

Пенев В.Н. (ЛВЭ)

Вопрос: Сколько стоит эта система?

Ответ: Удельная стоимость: магистральные части на один компьютер – 150-320$, коммутаторы доступа – один порт – 100-150$, кабельная система, если очень хорошая – 200$, т. е. нормальная магистральная часть активного оборудования – 650-700$ на один компьютер. Мы говорим о магистральной части сети, в сеть ОИЯИ входят около 3 000 компьютеров, соответственно стоимость вариантов составляет от 450 000 до 1 200 000 долларов.

Приходько В.Н (ЛНФ)

Вопрос: Какова ваша стратегия?

Ответ: Если принимается один из вариантов эскиза проект, то заключается договор на техническое проектирование, ведется техническое проектирование, затем по утверждению техпроекта, заключается контракт на поставку оборудования и выполнение работ по монтажу и пуско-наладке, выполняется поставка и работы, при желании можно заключить контракт на сопровождение сети.

Потребенников Ю.К. (ЛФЧ)

Комментарий: При принятии решения на первом месте стоит – «стоимость», без стоимости обсуждать проект невозможно.

Ответ: Отвечает Пузынин И.В – Еще раз обращаю ваше внимание, что цель нашего рабочего совещания – техническая оценка проекта. Дело дирекции Института заниматься финансовыми вопросами

 

ДИСКУССИЯ

 

Шириков В.П. (ЛИТ)

Я не вполне уверен, что были предприняты все необходимые меры для того, чтобы справиться с проблемами применения имеющегося в ОИЯИ АТМ-оборудования, но обсуждать это сейчас не буду: в конце концов, эксплуатационщикам виднее. Что касается предложений о приобретении нового оборудования для опорной сети, то, если не говорить о сравнительных стоимостях, однозначно надо покупать маршрутизаторы фирмы Cisco.

Они останутся основными внутри имеющихся подсетей Лабораторий, в одной ЛНФ их 5 штук, и никто эти устройства выбрасывать не будет, а если для опорной сети (к которой будут подключаться подсети Лабораторий) покупать маршрутизаторы “Passport” другой фирмы, Nortel, то еще вопрос, как “Cisco” и Passport сумеют договариваться между собой.

Что еще смущает? По моим наблюдениям последних лет я не видал скоростного сетевого оборудования фирмы Nortel Networks на рынке коммутационного оборудования или в запросах разных научных организаций: Там фигурируют компании Cisco (около 75%. продаж на мировом рынке), HP, NPI, Foundry, Extreme, Intel, 3Com, причем соревноваться с Cisco другим упомянутым фирмам можно только за счет более низких цен на оборудование. Возможно, что Nortel не встречалась потому , что все же она и ее дочерние фирмы, типа STS – телефонные компании (поставщики учрежденческих АТС, телефонов системы Norstar…) и только недавно вышла на рынок сетевых устройств, после приобретения известной когда-то фирмы Bay Networks.

 

Пузынин И.В

Из выступления Ширикова можно выделить три пункта:

  1. Сомнение в судьбе АТМ оборудования
  2. Имеющиеся оборудование Cisco Лаборатории никуда не выкинут
  3. Фирма Nortel? Чье оборудование предлагается в докладе Виняра, это все же телефонная компания, новичок на рынке сетевых устройств.

Мицын В.В. (ЛИТ)

Конечно Cisco все-таки лидер. Но при переходе на новую магистраль необходимо учитывать совместимость имеющегося оборудования. А брать все “под ключ” – это для Запада. Очень четко должна быть отражена этапность ввода новой магистрали. Теперь о существующей технологии АТМ. С созданием Backbone в ЛИТ видно, что АТМ выполняет полезную работу на 15%, а 85% - впустую. Должен сказать, что я сам приложил руку к созданию ситуации в сети, какую имеем в настоящее время. Основная сеть не разбита на подсети, с маской 240, раньше она работала, а теперь – проблема. 3000 пакетов получено за 6-8 секунд, и не одного по делу, идет один мусор. Если мы избавимся от порочной логической структуры, то получим еще два года работы АТМ, а за это время можно будет переходить на другую технологию.

Щинов Б.Г. (ЛФЧ)

Прежде всего, я хочу выразить свою благодарность авторам за то, что они написали этот проект.

Я всегда возражал против создания одной локальной сети, основанной на двух технологиях – АТМ и Ethernet. Такая сеть неэффективна. Фактически, мы даже не планировали довести АТМ до серверов и рабочих мест. Поэтому от АТМ, раньше или позже, пришлось бы отказываться. Плюс к этому, неудачный выбор фирмы. Так что, все, что при обсуждении АТМ было «+», сейчас оказалось «-». Я думаю, что переход на Гигабит - решение правильное, но зачем все-таки L3 и почему без него будет плохо. Backbone может работать и без L3. К тому же вариант L2 дешевле на порядок, даже на L2 коммутаторах Cisco.

В проекте должен быть дан вариант на L2 и подробно обоснована необходимость использования на Backbone только L3-коммутаторов. При выборе конкретных моделей коммутаторов, необходима, как минимум, величина пропускной способности существующей магистрали, а также тот факт, что использование L3 в каждой Лаборатории, существенно разгрузит центральную магистраль. Важное значение имеет выбор топологии сети. Я считаю, что существующая топология хорошо отражает не только административную структуру ОИЯИ, но и, что важнее, реальные информационные потоки в сети.

Большая часть этих потоков направлена к серверам своих лабораторий, меньшая, но значительная часть, направлена к внешнему каналу, и совсем небольшая часть – это межлабораторные потоки. Поэтому целесообразно сохранить существующую топологию, но заменить АТМ на коммутаторы от Cisco.

С учетом всех выше упомянутых факторов, я предлагаю построить магистраль состоящую из Cisco 4908G-L3 (8x1Gb оptic) в ЛИТ и во всех лабораториях (кроме ЛВЭ, которая настаивает на Cisco 5000) по 2948G-L3 (2x1Gb optic).

При этом резервирование « к соседу» осуществляется по схеме аналогичной предложенной в проекте. Такой вариант позволяет одновременно перейти к полноценной L3-коммутации во всех лабораториях и стоит в 3 раза дешевле предложенного, т.е. существенно повышает реализуемость проекта. В проекте должен быть раздел о прокладке недостающих одномодовых кабелей (со схемой и сметой!).

В проект необходимо добавить раздел о внешних каналах. У нас неработоспособный канал с CERN. Фактически не работают Telnet, AFS, Grid, видеоконференции. Эти сервисы необходимы сегодня, а не в 2005 году .

Хотя бы кратко должны быть указаны планируемые работы, сроки и запрашиваемые из бюджета средства. Это позволит увидеть полную картину по компьютингу в институте и сбалансировать расходы.

В заключение, хочу еще раз подчеркнуть – я за переход на Гигабитную магистраль, однако запланированные в проекте мощности и количество коммутаторов, на мой взгляд, не соответствует потребностям локальной сети ОИЯИ, а запрашиваемые средства не соответствуют финансовым возможностям ОИЯИ. Предлагаю доработать проект, не повторять прежних ошибок – поспешая не спешить, и сделать качественный проект и только потом отправлять его на рассмотрение в дирекции.

 

Долбилов А.Г. (ЛЯП)

Вот сейчас критикуют АТМ, а тогда не было другой перспективы. 100 Мгбитный Ethernet был дорогой, а АТМ было готовое решение и мы его приняли. Больше года была поставлена задача на Backbone, проблема решалась и мы начали внедрять L3. Но с переходом на Backbone перестали нормально работать два Orange Ridge, работали только с перезагрузкой. Причем ЛНФ перезагружала 1 раз в неделю, а ЛЯП – 2-4 раза в день. Замена 2-х Orange Ridge – это дорого и все равно недостаточно. Можно собраться всем администраторам принять решение перейти на маршрутизированный Ethernet. Сделать, конечно, можно, но получится ли все хорошо? По поводу предложений Мицына и Ширикова, о повышении эффективности работы ATM сети. Мои неоднократные попытки не привели к успеху, на сегодня сложившаяся ситуация очень плоха, но это лучшее чего удается выжать из оборудования. Повышать работоспособность АТМ по цене выходит как новый проект.

Согласен с высказыванием Мицына о необходимости перестройки логической части сети (о разделении на L3 сети на подсети), однако в нынешнем оборудовании отсутствует техническая возможность поддержки новой логики.

Поэтому я одобряю новый проект.

 

Сухомлинов Г.А. (ЛНФ)

Вычислительная сеть ЛНФ построена, в основном на базе устройств CISCO, используется и Nortel, совместная их эксплуатация неудобна, т.к. возможности CISCO не могут в полной мере использоваться в Nortel. Исходя из этого, я бы остановился на аппаратуре CISCO, за неё говорит и её процент присутствия на мировом рынке сетевых устройств около 70%.

Продолжать ли работать институту на L2 или переходить на L3? ЛНФ полностью исчерпала выделенное ей адресное пространство, дальнейшее её развитие возможно только при установке маршрутизатора в сетевом узле ЛНФ, т.е. переходе на L3. Это практически не зависит от того, будет или не будет реализован данный проект. Лучше если будет, (общая идеология построения сети ОИЯИ на современной технологии, централизованное финансирование, проще эксплуатировать одинаковые устройства, есть перспективы дальнейшего развития сети ОИЯИ) но независимо от этого мы планируем в этом году приобретать адекватное оборудование и было бы хорошо если бы оно вписывалось в будущий проект.

Топологию проекта нужно ещё обсуждать, на неё ещё окажет своё влияние наше финансирование, в сторону упрощения и ухудшения возможностей сети. Учитывая существующую топологию сети ЛНФ, меня этот проект (три петли на площадке ЛЯП) устраивает. Считаю нужным принимать его за основу и переходить к стадии разработки технического проекта на базе оборудования CISCO. Стесненность в финансовом положении института накладывает на проект условие: возможность его реализации поэтапно, подключение к вновь создаваемой магистрали по мере внутренней готовности лабораторий, это опасно для полной реализации проекта, но предусмотреть это необходимо.

 

Выступление Коренькова В.В.

Рассказал о вариантах реализации внешних каналов ОИЯИ.

Есть два варианта реализации:

1. Взять темные волокна в аренду, организовать Gigabit Ethernet поток до Москвы.

2. В потоке ATM организованном ГПКС получить виртуальный канал с пропускной способностью 10 Mbit/s.

Высказался о стоимости и сложностях реализации того и иного варианта. В частности о вариантах сопряжения внешнего канала с сетью ОИЯИ. Рассказал о проектах российского научного сообщества по организации взаимодействия между Москвой, Европой и Америкой, а также о том что от этого может получить ОИЯИ.

 

Вопросы к Коренькову В.В.

Щинов Б.Г. (ЛФЧ)

Вопрос: А если заказать канал в Европу чисто ОИЯИ?

Ответ: Канал «Дубна – ЦЕРН» экономически не выгоден, так как емкость 512Кбит/сек стоит 15 тысяч долларов в месяц. Гораздо более выгодно использовать часть емкости канала Москва– Франкфурт, а далее – ЦЕРН.

Мицын В.В. (ЛИТ)

Вопрос: Расширяем ли канал «Дубна – Москва» по АТМ?

Ответ: Да, до 65 Мб/сек.

Шириков В.П. (ЛИТ)

Вопрос: Участвовали ли другие компании в Тендере, кроме Teleglobe, в частности, SONERA?

Ответ: Да 6 или 7, но компания Teleglobe предложила лучшие условия.

Пузынин И.В. предоставляет заключительное слово Виняру Д.Л.

Виняр:

Подвел резюме. По поводу производителей и их оборудования: компания Jet Infofsystems является официальным партнером компаний Cisco Systems, Nortel Networks, Hewlett Packard, соответственно решение о выборе того или иного производителя проводится на основании достаточного большого количества критериев и опыта отношений с ними. Комментарий по поводу совместного использования оборудования Cisco и Nortel, в лаборатории ЛНФ в отсутсвие стандартных средств маршрутизации используются фирменные не стандартные технологии Cisco Systems, естественно совместимость оборудования при использовании нестандартных средств снижается. Использование нестандартных средств маршрутизации в масштабе института в частности технологий маршрутизации фирмы Newbridge также показало на не эффективность использования нестандартных средств. Поэтому проект новой магистрали предлагается строить на основе только стандартизованных технологий.

На большую часть вопросов нашлись ответы в выступлениях. О трафике и его структуре высказался Мицын. На вопрос о использовании L2 или L3 магистрали, большая часть выступающих инженеров говорила о необходимости реорганизации логики L3 в сети ОИЯИ. Все выступающие одобрили организацию работ по планированию новой сети и высказались за продолжение работ.

В заключение рабочего совещания Приходько В.Н. предложил немедленно приступить к наведению порядка в сети ОИЯИ, несмотря ни на какие новые проекты.

Пузынин И.В: - Наведение порядка – моя «голубая мечта» и мы уже работаем в этом направлении.