Задача покажется может быть немного странной, но все же. "партия сказала надо!" Нужно соединить два компа с PCIe платами по оптике (8 каналов). Есть ли готовые платы? Или думаю взять готовую с дифвыходами их "преобразовать" в оптику и на приемной стороне соответственно наоборот?

Пропускную способность канала какую хотите получить ?

100мбит/с на канал - совсем немного

На Телесистемах была информация:
http://www.telesys.ru/wwwboards/fpga/310/m...ges/14917.shtml
http://www.adnaco.com/

спасибо за инфу.Но немного не то... Оптические модули свои, специфические. Нужно связать эти модули с PCIe. Как я понимаю на FPGA. Но самим плату делать времени надо много, а оно ограниченно.

Вот есть такой вариант: AMBPEX5

Это будет как танком по мухам, ИМХО.
Может сначала PCIe - в "Ethernet медный", а потом из него - в оптику?
Вроде существуют наборы микросхем и с одной, и с другой стороны интерфейсов.
Задача найти и правильно прикрутить.
И драйвер писать не понадобится?

ML505 или SP605, качество высокое, а цены намного приятнее ambpex5. Поскольку оптические модули свои, то плату всё равно придётся разрабатывать - но дочерняя плата - это не весь дизайн. 800 Мбит/cек - это 100 мбайт в сек, а ML505/SP605 легко 200 Мбайт в сек делает (средняя, а не пиковая).

Есть плата (собственной разработки): х8 PCIe Gen2 адаптер - оптика х4 Gen2 (проверяли на 10 метр) или медь х4 Gen2 (проверяли на 7 метров).
Если интересует, пиши в личку...

А если не секрет как реализовали? Я, например, вижу для своей задачи это дело так:

(root PCIe4x)->>(PCIe4x->10GbE-X)--->>200м-->>(10GbE-X->PCIe4x)->>(PCIe4x_switch)->>2 end_points-х4 & 6 end_points-х2 x1

Может порекомендуете на чем можно сделать мост (PCIe4x->10GbE-X). Я пока думаю на Virtex 5 LX30T, но только с xilinx дело не имел, а AriaII дороговато будет.

Еще вот такой вопрос возник...
Можно ли лайны PCIex с PC напрямую подключить к оптическому SFP модулю? Я так понимаю без остальных сигналов можно обойтись?

А модуль конкретно какой? Я пока еще не видел таких...

http://shop.nag.ru/catalog/01889.SFP-XFP-S...NR-SFP25-W35-40
Например, какой нить такой.
Трансиверы ПЛИС же подключают к 1,25Гб SFP напрямую. Может и для PCIex по аналогии можно?

Ээээ!.. Там не то кодирование и протокол, так что аналогия не уместна.
Фактически Вы хотите иметь некий endpoint, у которого с другой стороны оптика (кстати, какая конкретно?), т.е. некий мост. Это не просто пассивное устройство со светодиодом и фотоприемником. Для PCIE я пока такого не видел, почему и спрашиваю. Но, например, для езернета есть подобные модули, например, мы юзаем модули, у котороых с одной стороны SGMII, а с другой разного вида езернет (оптика разная и медь).
Но было бы интересно увидеть что-то подобное...

Как раз сейчас разбираюсь с pex-phy. Чисто теоретически, оптику можно сделать с помощью внешнего Serdes, например TLK2201B + аваговская оптика. Проблема в том, что в ПЛИС мегавизарды делят PEX на логический IP блок (TLL + DLL) и физический, и отдельно вытащить serdes из айпи блока, чтобы использовать внешний, не получится (скорее всего). Можно конечно написать PHY самому, хотя MAC уровень это полная жесть. На крайняк, если нужно просто соединить две микросхемы PEX по оптике, то почемы бы не попробовать просто поставить оптику? Те же аваговские п/п -у них вход и выход дифф интерфейс. Сделать терминацию, поставить барьерные емкости .. может получиться. Вот, почитайте даташиты на 650нм avago , мы их ставили

Так я хочу от компа просто напрямую бросить на оптику PCIex x1 без всяких микросхем. Фактически на плате, которая вставляется, в PC будет только один оптический модуль. А на другой стороне- оптический модуль, а дальше PEX, ПЛИС, и.т.д. и тоже напрямую.
Вот мне только собственно с этой оптикой не совсем понятно (только начинаю с ней работать). Ведь для PCIex нужно 2,5 Гб. Берем, допустим, модуль - он вроде без SGMII, т.е. получается он работает по принципу - "что на входе, то на выходе" или я ошибаюсь?
Для моей задачи нужна "прозрачность" т.е. чтоб компьютер/BIOS видел эти устройства на другой стороне как свои родные а их там не мало будет.

А, ну тогда можете попробовать. Только про refclk не забудьте.

Так вроде его не обязательно использовать.. там же самосинхронизация по лайнам идет. http://electronix.ru/forum/index.php?showtopic=96849 как я понял.

Смотря где. Во всех обычных компьютерных картах расширения типа видеокарт и сетевух оно используется. Скажем так, я не уверен, сможет ли работать система из двух устройств с раздельным refclk на обычном компе. Надо изучать вопрос, мне это некогда, я просто напоминаю.

Теоретически, refclock не нужен, по кр. мере так работает оптика в RapidIO. Но практически, если опорные частоты разойдутся настолько что не хватит глубины elastic buffer в приемнике (буфер либо переполнится, либо окажется недазаполнен), то данные будут передаваться с ошибкой; как раз сейчас про это читаю. Поэтому мысль очень здравая - передавать Ref clock по той же оптике, чтобы не заморачиваться.
Хотя может и от отдельного генератора заработает. Плюс, неизвестно какой запас по стабильности в айпи блоке вашей ПЛИС, возможно даже больше чем по стандарту.

Не может. Пытались уже.

Стандарт PCI Express предусматривает возможность работы на разных refclk. Первое поколение системных плат с chipset 915 действительно так могло работать. Однако со следующего поколения - P965, P975 такая возможность исчезла.

У нас на фирме пробовали сделать расширение PCI Express. Естть два варианта - через медный кабель кабель с использованием простых повторителей. И через оптику - на обоих концах оптики установлен мост от PLX.

Ну и как, заработало?а с мостов вы дифф. пары прямо на оптический модуль бросали?

Да, всё работает. В оптике PCI Express 2.0 x8; Используются два кабеля 12 линий в одну сторону и 12 обратно. По оптике дополнительно передаётся опорная частота 100 MHz и reset. Дифф. пары от моста идут непосредственно к оптическому формирователю.

А какой оптический модуль используете?

А вот Avago "хвастает" своими MiniPOD™ Optical Modules . White paper: A Demonstration of PCI Express Generation 3 over a Fiber Optical Link .

Кстати опорную частоту refclk они не передают поскольку используют PEX8748 48 lane Gen3 switch .

Не знаю как у других производителей, но у аваго оптотрансиверы сьемные, и крепятся на плату с помощью 100 выводного BGA разъема. И вот с этим разъемом могут быть проблемы - если при монтаже платы туда попадет лак, или не дай бог припой/канифоль, то контакту на 90% кирдык. Я с ними намучался на макетках, потом паять стали аккарутнее. Пожалуй, для нового дизайна я бы что то другое выбрал, не аваго. Хотя, проблем с ними не было, работали хорошо.

Для связи PCIe по кабелю есть своя спецификация PCIe over Cable. Molex выпускает линейку разъемов IPass. Платы используют технологию Redriver. Выпускаются несколькими фирмами. Например вот такие:
http://www.bressner.de/products/computing/...r/host-adapter/
В итоге кабель может быть как электрическим, так и оптическим. Например вот такой давит до 300м:
http://www.samtec.com/documents/webfiles/e..._optical_eb.pdf
Ну и сайтик, который дофига таких примочек имеет.
http://www.onestopsystems.com/
Или вы что-то другое ищите?

А где эту спецификацию посмотреть можно, ссылкой не поделитесь, или на фтп? очень любопытно.
Нагуглил только презентацию pci sig за 2008 год

А в чем трудности-то?
Ну и на фтп тоже было, если не пускают к истокам.

Трудностей нет для члeнов PCISIG. Для всех остальных есть.

А вообще нафига та спецификация. Вон я себе кабель купил, плату купил, и еще блок на 7 PCIe слотов купил - в комп вставил, включил - работает.

К истокам доступа нет )
External cabling я видел, старая ревизия 2007 года, которая в тандерболт переросла, как я понимаю. Думал, есть еще что то новое, про оптику. Медь не интересна, заказчик в основном на оптику рассчитывает в перспективе.

Кстати проблема со связью двух компов будет скорей всего из-за Root Complexов. Эти все кабели расчитаны в основном на то, чтобы дополнительные слоты получить для компа. Два компа по ним соединить между собой без non-transparrent Bridge не получится.
Но насколько я видел - такие решения там тоже присутсвуют.

PS - Тогда простой картой не решить вопрос - надо вот такое http://www.onestopsystems.com/pcie_superswitch_a.php + драйвера

Конечно, надо же адресные пространства разделять. Это и в обычном PCI старом та же проблема, к кабелям отношения не имеет.

Avago, тот который с BGA контактами.


Кстати, пытались PCI Express использовать для связи между двумя компьютерами. Получилось только для компьютеров с chipset от Nvidea. Скорость 1.5 Гбайт/с. Большие трудности с инициализацией, в результате всё это забросили.

Извиняюсь если не " в кассу" или туплю, но, насколько я понимаю, PCIe не предполагает выравнивание ланов между собой, а производитель оптики не указывает задержку на модули. Соответственно, вопрос - что "синхронизирует" refclk? Я так понимал, что это просто несущая. Другое дело, что материнка может частотой refclk "играть", а на ендкапе генератор не может и, в этом случае, если несущие разные, могут быть проблемы. Вы не могли бы подробнее прокомментировать что не получалось и почему!
По теме, все проблемы описаны в "белой" статье у Avago, начиная с того что шина pcie не детектирует оптический модуль, т.к. скорее всего он по земле не 50 ом и передатчик шины отключиться не найдя устройства. Поэтому, без микросхем никак нельзя.

Предполагает. Стандартом регламентируется максимально допустимый разброс референсного клока, который демпфируется с помощью elastic buffer, а также предусмотрена система выравнивания лейнов, которая делается на mac уровне.


Это опорная частота для PLL, из которой делаются частоты (их много) для PHY уровня PCI-E. Это не 'несущая', но кратна 'несущей'.

Если не трудно, скажите число в пикосекундах, пожалуйста. Я знаю параметр LTX-SKEW < 500ps + 2*UI, т.е. не больше 1300ps между ланами, что примерно 30см на текстолите, читаем не выравниваются . А про явную привязку к фронту входного клока где написано?

Выравнивание лейнов это немного другое. Почитайте раздел 4.3.4.5. На 2.5ГГц написано Lane to Lane Input skew max 20ns. Если вычесть из этого Lane-to-Lane Output Skew (раздел 4.3.3.13, на 2.5 ГГц получится гдето 1.1нс), то получим 18нс с копейками - максимальная разбежка по плате.

Про Refclk смотрите раздел 4.3.7 стандарта. Если не ошибаюсь, то максимальный разброс Refclk 300ppm. Если у приемника и передатчика refclk в указанном интервале, то они должны слинковаться.
Что касается PLL для PHY уровня, она хорошо описана в PIPE: pipe 2.0 . Посмотрите там схему ресивера и трансивера: все клоки делаются из референсного одной PLL. Эта PLL должна формировать частоту PIPE (которая может меняться по ходу работы), переключать передающую частоту (2.5/5.0/8.0 ГГц) и формировать деленную частоту 1/10.

Пжалста
http://www.avagotech.com/pages/en/press/plx-fiber-demo/

готов продать готовое решение....
PCI....оптолинк на 622....

Нашел интересную статейку http://indico.cern.ch/getFile.py/access?co...&confId=574

В общем попробовал я кабельный PCIe. С клоком от материнки - работает. Если использовать генератор на плате 125 МГц - то нет

pcie удобно через sata кабель передавать, если расстояние небольшое, делал когда то pciex4 на 5 sata разъёмов

Это так и есть, причём дело не в кабеле. На современных компьютерах платы PCIe от собственного генератора не работают.

А вот такая идея появилась... А если PCIe ПК завести на ПЛИС с материнским клоком, в ПЛИС сделать просто трансляцию пакетов на другой трансивер и из него уже передавать во внешний мир. Так будет работать?

Идея интересная. На первый взгляд простая передача пакетов не поможет. На PCIe есть достаточно сложная процесдура инициализации и без неё не обойтись.


Но вот сделать PCIe мост вполне реально.

У альтеры в ALTGX есть PCIe PIPE протокол. Если его использовать на 2х трансиверах? просто по этому протоколу перекинуть пакеты с трансивера на трансивер и потом во внешний мир. А там уже, на другой стороне, будет нормальный PCIe МАС. И, как я понимаю, за инициализацию будет отвечать именно он. Просто пока время есть думаю нарисовать платку.

Не совсем. Сначала идёт процедура обнаружения линий, при этом никакие пакеты не передаются.

А там сложная эта процедура? может сделать ее и когда загорится LINK_ENABLE уже гонять пакеты? Так понимаю она идет с использованием К28.Х символов?