Use TOM2 for highest sysmem setting for northbound memory routing (DMA). This fixes...
[coreboot.git] / src / southbridge / amd / rs780 / gfx.c
1 /*
2  * This file is part of the coreboot project.
3  *
4  * Copyright (C) 2010 Advanced Micro Devices, Inc.
5  *
6  * This program is free software; you can redistribute it and/or modify
7  * it under the terms of the GNU General Public License as published by
8  * the Free Software Foundation; version 2 of the License.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License
16  * along with this program; if not, write to the Free Software
17  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
18  */
19
20 /*
21  *  for rs780 internal graphics device
22  *  device id of internal grphics:
23  *      RS780:  0x9610
24  *      RS780C: 0x9611
25  *      RS780M: 0x9612
26  *      RS780MC:0x9613
27  *      RS780E: 0x9615
28  *      RS785G: 0x9710 - just works, not much tested
29  *      RS785C: 0x9711
30  *      RS785M: 0x9712
31  *      RS785MC:0x9713
32  *      RS785D: 0x9714
33  */
34 #include <console/console.h>
35 #include <device/device.h>
36 #include <device/pci.h>
37 #include <device/pci_ids.h>
38 #include <device/pci_ops.h>
39 #include <delay.h>
40 #include <cpu/x86/msr.h>
41 #include "rs780.h"
42 extern int is_dev3_present(void);
43 void set_pcie_reset(void);
44 void set_pcie_dereset(void);
45
46 extern uint64_t uma_memory_base, uma_memory_size;
47
48 /* Trust the original resource allocation. Don't do it again. */
49 #undef DONT_TRUST_RESOURCE_ALLOCATION
50 //#define DONT_TRUST_RESOURCE_ALLOCATION
51
52 #define CLK_CNTL_INDEX  0x8
53 #define CLK_CNTL_DATA   0xC
54
55 /* The Integrated Info Table. */
56 ATOM_INTEGRATED_SYSTEM_INFO_V2 vgainfo;
57
58 #ifdef UNUSED_CODE
59 static u32 clkind_read(device_t dev, u32 index)
60 {
61         u32     gfx_bar2 = pci_read_config32(dev, 0x18) & ~0xF;
62
63         *(u32*)(gfx_bar2+CLK_CNTL_INDEX) = index & 0x7F;
64         return *(u32*)(gfx_bar2+CLK_CNTL_DATA);
65 }
66 #endif
67
68 static void clkind_write(device_t dev, u32 index, u32 data)
69 {
70         u32     gfx_bar2 = pci_read_config32(dev, 0x18) & ~0xF;
71         /* printk(BIOS_DEBUG, "gfx bar 2 %02x\n", gfx_bar2); */
72
73         *(u32*)(gfx_bar2+CLK_CNTL_INDEX) = index | 1<<7;
74         *(u32*)(gfx_bar2+CLK_CNTL_DATA)  = data;
75 }
76
77 /*
78 * pci_dev_read_resources thinks it is a IO type.
79 * We have to force it to mem type.
80 */
81 static void rs780_gfx_read_resources(device_t dev)
82 {
83         printk(BIOS_DEBUG, "rs780_gfx_read_resources.\n");
84
85         /* The initial value of 0x24 is 0xFFFFFFFF, which is confusing.
86            Even if we write 0xFFFFFFFF into it, it will be 0xFFF00000,
87            which tells us it is a memory address base.
88          */
89         pci_write_config32(dev, 0x24, 0x00000000);
90
91         /* Get the normal pci resources of this device */
92         pci_dev_read_resources(dev);
93         compact_resources(dev);
94 }
95
96 typedef struct _MMIORANGE
97 {
98         u32     Base;
99         u32     Limit;
100         u8      Attribute;
101 } MMIORANGE;
102
103 MMIORANGE MMIO[8], CreativeMMIO[8];
104
105 #define CIM_STATUS u32
106 #define CIM_SUCCESS 0x00000000
107 #define CIM_ERROR       0x80000000
108 #define CIM_UNSUPPORTED 0x80000001
109 #define CIM_DISABLEPORT 0x80000002
110
111 #define MMIO_ATTRIB_NP_ONLY     1
112 #define MMIO_ATTRIB_BOTTOM_TO_TOP 1<<1
113 #define MMIO_ATTRIB_SKIP_ZERO 1<<2
114
115 #ifdef DONT_TRUST_RESOURCE_ALLOCATION
116 static MMIORANGE* AllocMMIO(MMIORANGE* pMMIO)
117 {
118         int i;
119         for (i=0; i<8; i++) {
120                 if (pMMIO[i].Limit == 0)
121                                 return &pMMIO[i];
122         }
123         return 0;
124 }
125
126 static void FreeMMIO(MMIORANGE* pMMIO)
127 {
128         pMMIO->Base = 0;
129         pMMIO->Limit = 0;
130 }
131
132 static u32 SetMMIO(u32 Base, u32 Limit, u8 Attribute, MMIORANGE *pMMIO)
133 {
134         int i;
135         MMIORANGE * TempRange;
136         for(i=0; i<8; i++)
137         {
138                 if(pMMIO[i].Attribute != Attribute && Base >= pMMIO[i].Base && Limit <= pMMIO[i].Limit)
139                 {
140                         TempRange = AllocMMIO(pMMIO);
141                         if(TempRange == 0) return 0x80000000;
142                         TempRange->Base = Limit;
143                         TempRange->Limit = pMMIO[i].Limit;
144                         TempRange->Attribute = pMMIO[i].Attribute;
145                         pMMIO[i].Limit = Base;
146                 }
147         }
148         TempRange = AllocMMIO(pMMIO);
149         if(TempRange == 0) return 0x80000000;
150         TempRange->Base = Base;
151         TempRange->Limit = Limit;
152         TempRange->Attribute = Attribute;
153         return 0;
154 }
155
156 static u8 FinalizeMMIO(MMIORANGE *pMMIO)
157 {
158         int i, j, n = 0;
159         for(i=0; i<8; i++)
160         {
161                 if (pMMIO[i].Base == pMMIO[i].Limit)
162                 {
163                         FreeMMIO(&pMMIO[i]);
164                         continue;
165                 }
166                 for(j=0; j<i; j++)
167                 {
168                         if (i!=j && pMMIO[i].Attribute == pMMIO[j].Attribute)
169                         {
170                                 if (pMMIO[i].Base == pMMIO[j].Limit)
171                                 {
172                                         pMMIO[j].Limit = pMMIO[i].Limit;
173                                          FreeMMIO(&pMMIO[i]);
174                                 }
175                                 if (pMMIO[i].Limit == pMMIO[j].Base)
176                                 {
177                                         pMMIO[j].Base = pMMIO[i].Base;
178                                    FreeMMIO(&pMMIO[i]);
179                                 }
180                         }
181                 }
182         }
183         for (i=0; i<8; i++)
184         {
185                 if (pMMIO[i].Limit != 0) n++;
186         }
187         return n;
188 }
189
190 static CIM_STATUS GetCreativeMMIO(MMIORANGE *pMMIO)
191 {
192         CIM_STATUS Status = CIM_UNSUPPORTED;
193         u8 Bus, Dev, Reg, BusStart, BusEnd;
194         u32     Value;
195         device_t dev0x14 = dev_find_slot(0, PCI_DEVFN(0x14, 4));
196         device_t tempdev;
197         Value = pci_read_config32(dev0x14, 0x18);
198         BusStart = (Value >> 8) & 0xFF;
199         BusEnd = (Value >> 16) & 0xFF;
200         for(Bus = BusStart; Bus <= BusEnd; Bus++)
201         {
202                 for(Dev = 0; Dev <= 0x1f; Dev++)
203                 {
204                         tempdev = dev_find_slot(Bus, Dev << 3);
205                         Value = pci_read_config32(tempdev, 0);
206                         printk(BIOS_DEBUG, "Dev ID %x \n", Value);
207                         if((Value & 0xffff) == 0x1102)
208                         {//Creative
209                                 //Found Creative SB
210                                 u32     MMIOStart = 0xffffffff;
211                                 u32 MMIOLimit = 0;
212                                 for(Reg = 0x10; Reg < 0x20; Reg+=4)
213                                 {
214                                         u32     BaseA, LimitA;
215                                         BaseA = pci_read_config32(tempdev, Reg);
216                                         Value = BaseA;
217                                         if(!(Value & 0x01))
218                                         {
219                                                 Value = Value & 0xffffff00;
220                                                 if(Value !=  0)
221                                                 {
222                                                         if(MMIOStart > Value)
223                                                                 MMIOStart = Value;
224                                                         LimitA = 0xffffffff;
225                                                         //WritePCI(PciAddress,AccWidthUint32,&LimitA);
226                                                         pci_write_config32(tempdev, Reg, LimitA);
227                                                         //ReadPCI(PciAddress,AccWidthUint32,&LimitA);
228                                                         LimitA = pci_read_config32(tempdev, Reg);
229                                                         LimitA = Value + (~LimitA + 1);
230                                                         //WritePCI(PciAddress,AccWidthUint32,&BaseA);
231                                                         pci_write_config32(tempdev, Reg, BaseA);
232                                                         if (LimitA > MMIOLimit)
233                                                                 MMIOLimit = LimitA;
234                                                 }
235                                         }
236                                 }
237                                 printk(BIOS_DEBUG, " MMIOStart %x MMIOLimit %x \n", MMIOStart, MMIOLimit);
238                                 if (MMIOStart < MMIOLimit)
239                                 {
240                                         Status = SetMMIO(MMIOStart>>8, MMIOLimit>>8, 0x80, pMMIO);
241                                         if(Status == CIM_ERROR) return Status;
242                                 }
243                         }
244                 }
245         }
246         if(Status == CIM_SUCCESS)
247         {
248                 //Lets optimize MMIO
249                 if(FinalizeMMIO(pMMIO) > 4)
250                 {
251                         Status = CIM_ERROR;
252                 }
253         }
254
255         return Status;
256 }
257
258 static void ProgramMMIO(MMIORANGE *pMMIO, u8 LinkID, u8 Attribute)
259 {
260         int i, j, n = 7;
261         device_t k8_f1;
262
263         k8_f1 = dev_find_slot(0, PCI_DEVFN(0x18, 1));
264
265         for(i = 0; i < 8; i++)
266         {
267                 int k = 0, MmioReg;
268                 u32 Base = 0;
269                 u32 Limit = 0;
270                 for(j = 0; j < 8; j++)
271                 {
272                         if (Base < pMMIO[j].Base)
273                         {
274                                 Base = pMMIO[j].Base;
275                                 k = j;
276                         }
277                 }
278                 if(pMMIO[k].Limit != 0)
279                 {
280                         if(Attribute & MMIO_ATTRIB_NP_ONLY && pMMIO[k].Attribute == 0 )
281                         {
282                                 Base = 0;
283                         }
284                         else
285                         {
286                                 Base = pMMIO[k].Base | 0x3;
287                                 Limit= ((pMMIO[k].Limit - 1) & 0xffffff00) | pMMIO[k].Attribute | (LinkID << 4);
288                         }
289                         FreeMMIO(&pMMIO[k]);
290                 }
291                 if (Attribute & MMIO_ATTRIB_SKIP_ZERO && Base == 0 && Limit == 0) continue;
292                 MmioReg = (Attribute & MMIO_ATTRIB_BOTTOM_TO_TOP)?n:(7-n);
293                 n--;
294                 //RWPCI(PCI_ADDRESS(0,CPU_DEV,CPU_F1,0x80+MmioReg*8),AccWidthUint32 |S3_SAVE,0x0,0x0);
295                 pci_write_config32(k8_f1, 0x80+MmioReg*8, 0);
296
297                 //WritePCI(PCI_ADDRESS(0,CPU_DEV,CPU_F1,0x84+MmioReg*8),AccWidthUint32 |S3_SAVE,&Limit);
298                 pci_write_config32(k8_f1, 0x84+MmioReg*8, Limit);
299
300                 //WritePCI(PCI_ADDRESS(0,CPU_DEV,CPU_F1,0x80+MmioReg*8),AccWidthUint32 |S3_SAVE,&Base);
301                 pci_write_config32(k8_f1, 0x80+MmioReg*8, Base);
302         }
303 }
304 #endif
305
306 static void internal_gfx_pci_dev_init(struct device *dev)
307 {
308         unsigned char * bpointer;
309         volatile u32 * GpuF0MMReg;
310         volatile u32 * pointer;
311         int i;
312         u16 command;
313         u32 value;
314         u16 deviceid, vendorid;
315         device_t nb_dev = dev_find_slot(0, 0);
316         device_t k8_f2 = dev_find_slot(0, PCI_DEVFN(0x18, 2));
317         device_t k8_f0 = dev_find_slot(0, PCI_DEVFN(0x18, 0));
318         static const u8 ht_freq_lookup [] = {2, 0, 4, 0, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 0, 0, 28, 30, 32};
319         static const u8 ht_width_lookup [] = {8, 16, 0, 0, 2, 4, 0, 0};
320         static const u16 memclk_lookup_fam0F [] = {100, 0, 133, 0, 0, 166, 0, 200};
321         static const u16 memclk_lookup_fam10 [] = {200, 266, 333, 400, 533, 667, 800, 800};
322
323         /* We definetely will use this in future. Just leave it here. */
324         /*struct southbridge_amd_rs780_config *cfg =
325            (struct southbridge_amd_rs780_config *)dev->chip_info;*/
326
327         deviceid = pci_read_config16(dev, PCI_DEVICE_ID);
328         vendorid = pci_read_config16(dev, PCI_VENDOR_ID);
329         printk(BIOS_DEBUG, "internal_gfx_pci_dev_init device=%x, vendor=%x.\n",
330              deviceid, vendorid);
331
332         command = pci_read_config16(dev, 0x04);
333         command |= 0x7;
334         pci_write_config16(dev, 0x04, command);
335
336         /* Clear vgainfo. */
337         bpointer = (unsigned char *) &vgainfo;
338         for(i=0; i<sizeof(ATOM_INTEGRATED_SYSTEM_INFO_V2); i++)
339         {
340                 *bpointer = 0;
341                 bpointer++;
342         }
343
344         GpuF0MMReg = (u32 *)pci_read_config32(dev, 0x18);
345
346         /* GFX_InitFBAccess. */
347         value = nbmc_read_index(nb_dev, 0x10);
348         *(GpuF0MMReg + 0x2000/4) = 0x11;
349         *(GpuF0MMReg + 0x2180/4) = ((value&0xff00)>>8)|((value&0xff000000)>>8);
350         *(GpuF0MMReg + 0x2c04/4) = ((value&0xff00)<<8);
351         *(GpuF0MMReg + 0x5428/4) = ((value&0xffff0000)+0x10000)-((value&0xffff)<<16);
352         *(GpuF0MMReg + 0xF774/4) = 0xffffffff;
353         *(GpuF0MMReg + 0xF770/4) = 0x00000001;
354         *(GpuF0MMReg + 0x2000/4) = 0x00000011;
355         *(GpuF0MMReg + 0x200c/4) = 0x00000020;
356         *(GpuF0MMReg + 0x2010/4) = 0x10204810;
357         *(GpuF0MMReg + 0x2010/4) = 0x00204810;
358         *(GpuF0MMReg + 0x2014/4) = 0x10408810;
359         *(GpuF0MMReg + 0x2014/4) = 0x00408810;
360         *(GpuF0MMReg + 0x2414/4) = 0x00000080;
361         *(GpuF0MMReg + 0x2418/4) = 0x84422415;
362         *(GpuF0MMReg + 0x2418/4) = 0x04422415;
363         *(GpuF0MMReg + 0x5490/4) = 0x00000001;
364         *(GpuF0MMReg + 0x7de4/4) |= (1<<3) | (1<<4);
365         /* Force allow LDT_STOP Cool'n'Quiet workaround. */
366         *(GpuF0MMReg + 0x655c/4) |= 1<<4;
367
368         // disable write combining, needed for stability
369         // reference bios does this only for RS780 rev A11
370         // need to figure out why we need it for all revs
371         *(GpuF0MMReg + 0x2000/4) = 0x00000010;
372         *(GpuF0MMReg + 0x2408/4) = 1 << 9;
373         *(GpuF0MMReg + 0x2000/4) = 0x00000011;
374
375         /* GFX_InitFBAccess finished. */
376
377 #if (CONFIG_GFXUMA == 1) /* for UMA mode. */
378         /* GFX_StartMC. */
379         set_nbmc_enable_bits(nb_dev, 0x02, 0x00000000, 0x80000000);
380         set_nbmc_enable_bits(nb_dev, 0x01, 0x00000000, 0x00000001);
381         set_nbmc_enable_bits(nb_dev, 0x01, 0x00000000, 0x00000004);
382         set_nbmc_enable_bits(nb_dev, 0x01, 0x00040000, 0x00000000);
383         set_nbmc_enable_bits(nb_dev, 0xB1, 0xFFFF0000, 0x00000040);
384         set_nbmc_enable_bits(nb_dev, 0xC3, 0x00000000, 0x00000001);
385         set_nbmc_enable_bits(nb_dev, 0x07, 0xFFFFFFFF, 0x00000018);
386         set_nbmc_enable_bits(nb_dev, 0x06, 0xFFFFFFFF, 0x00000102);
387         set_nbmc_enable_bits(nb_dev, 0x09, 0xFFFFFFFF, 0x40000008);
388         set_nbmc_enable_bits(nb_dev, 0x06, 0x00000000, 0x80000000);
389         /* GFX_StartMC finished. */
390 #else
391         /* for SP mode. */
392         set_nbmc_enable_bits(nb_dev, 0xaa, 0xf0, 0x30);
393         set_nbmc_enable_bits(nb_dev, 0xce, 0xf0, 0x30);
394         set_nbmc_enable_bits(nb_dev, 0xca, 0xff000000, 0x47000000);
395         set_nbmc_enable_bits(nb_dev, 0xcb, 0x3f000000, 0x01000000);
396         set_nbmc_enable_bits(nb_dev, 0x01, 0, 1<<0);
397         set_nbmc_enable_bits(nb_dev, 0x04, 0, 1<<31);
398         set_nbmc_enable_bits(nb_dev, 0xb4, 0x3f, 0x3f);
399         set_nbmc_enable_bits(nb_dev, 0xb4, 0, 1<<6);
400         set_nbmc_enable_bits(nb_dev, 0xc3, 1<<11, 0);
401         set_nbmc_enable_bits(nb_dev, 0xa0, 1<<29, 0);
402         nbmc_write_index(nb_dev, 0xa4, 0x3484576f);
403         nbmc_write_index(nb_dev, 0xa5, 0x222222df);
404         nbmc_write_index(nb_dev, 0xa6, 0x00000000);
405         nbmc_write_index(nb_dev, 0xa7, 0x00000000);
406         set_nbmc_enable_bits(nb_dev, 0xc3, 1<<8, 0);
407         udelay(10);
408         set_nbmc_enable_bits(nb_dev, 0xc3, 1<<9, 0);
409         udelay(10);
410         set_nbmc_enable_bits(nb_dev, 0x01, 0, 1<<2);
411         udelay(200);
412         set_nbmc_enable_bits(nb_dev, 0x01, 0, 1<<3);
413         set_nbmc_enable_bits(nb_dev, 0xa0, 0, 1<<31);
414         udelay(500);
415         set_nbmc_enable_bits(nb_dev, 0x02, 0, 1<<31);
416         set_nbmc_enable_bits(nb_dev, 0xa0, 0, 1<<30);
417         set_nbmc_enable_bits(nb_dev, 0xa0, 1<<31, 0);
418         set_nbmc_enable_bits(nb_dev, 0xa0, 0, 1<<29);
419         nbmc_write_index(nb_dev, 0xa4, 0x23484576);
420         nbmc_write_index(nb_dev, 0xa5, 0x00000000);
421         nbmc_write_index(nb_dev, 0xa6, 0x00000000);
422         nbmc_write_index(nb_dev, 0xa7, 0x00000000);
423         /* GFX_StartMC finished. */
424
425         /* GFX_SPPowerManagment, don't care for new. */
426         /* Post MC Init table programming. */
427         set_nbmc_enable_bits(nb_dev, 0xac, ~(0xfffffff0), 0x0b);
428
429         /* Do we need Write and Read Calibration? */
430         /* GFX_Init finished. */
431 #endif
432
433         /* GFX_InitIntegratedInfo. */
434         /* fill the Integrated Info Table. */
435         vgainfo.sHeader.usStructureSize = sizeof(ATOM_INTEGRATED_SYSTEM_INFO_V2);
436         vgainfo.sHeader.ucTableFormatRevision = 1;
437         vgainfo.sHeader.ucTableContentRevision = 2;
438
439 #if (CONFIG_GFXUMA == 0) /* SP mode. */
440         // Side port support is incomplete, do not use it
441         // These parameters must match the motherboard
442         vgainfo.ulBootUpSidePortClock = 667*100;
443         vgainfo.ucMemoryType = 3;  // 3=ddr3 sp mem, 2=ddr2 sp mem
444         vgainfo.ulMinSidePortClock = 333*100;
445 #endif
446
447         vgainfo.ulBootUpEngineClock = 500 * 100;                // setup option on reference BIOS, 500 is default
448
449         // find the DDR memory frequency
450         if (is_family10h()) {
451                 value = pci_read_config32(k8_f2, 0x94);         // read channel 0 DRAM Configuration High Register
452                 if (extractbit(value, 14))                      // if channel 0 disabled, channel 1 must have memory
453                         value = pci_read_config32(k8_f2, 0x194);// read channel 1 DRAM Configuration High Register
454                 vgainfo.ulBootUpUMAClock = memclk_lookup_fam10 [extractbits (value, 0, 2)] * 100;
455         }
456         if (is_family0Fh()) {
457                 value = pci_read_config32(k8_f2, 0x94);
458                 vgainfo.ulBootUpUMAClock = memclk_lookup_fam0F [extractbits (value, 20, 22)] * 100;
459         }
460
461         /* UMA Channel Number: 1 or 2. */
462         vgainfo.ucUMAChannelNumber = 1;
463         if (is_family0Fh()) {
464                 value = pci_read_config32(k8_f2, 0x90);
465         if (extractbit(value, 11))  // 128-bit mode
466                 vgainfo.ucUMAChannelNumber = 2;
467         }
468         if (is_family10h()) {
469                 u32 dch0 = pci_read_config32(k8_f2, 0x94);
470                 u32 dch1 = pci_read_config32(k8_f2, 0x194);
471                 if (extractbit(dch0, 14) == 0 && extractbit(dch1, 14) == 0) { // both channels enabled
472                         value = pci_read_config32(k8_f2, 0x110);
473                         if (extractbit(value, 4))  // ganged mode
474                         vgainfo.ucUMAChannelNumber = 2;
475                 }
476         }
477       
478         // processor type
479         if (is_family0Fh())
480                 vgainfo.ulCPUCapInfo = 3;
481         if (is_family10h())
482                 vgainfo.ulCPUCapInfo = 2;
483
484         /* HT speed */
485         value = pci_read_config8(nb_dev, 0xd1);
486         value = ht_freq_lookup [value] * 100;  // HT link frequency in MHz
487         vgainfo.ulHTLinkFreq = value * 100;    // HT frequency in units of 100 MHz
488         vgainfo.ulHighVoltageHTLinkFreq = vgainfo.ulHTLinkFreq;
489         vgainfo.ulLowVoltageHTLinkFreq = vgainfo.ulHTLinkFreq;
490
491         if (value <= 1800)
492                 vgainfo.ulLowVoltageHTLinkFreq = vgainfo.ulHTLinkFreq;
493         else {
494                 int sblink, cpuLnkFreqCap, nbLnkFreqCap;
495                 value = pci_read_config32(k8_f0, 0x64);
496                 sblink = extractbits(value, 8, 10);
497                 cpuLnkFreqCap = pci_read_config16(k8_f0, 0x8a + sblink * 0x20);
498                 nbLnkFreqCap = pci_read_config16(nb_dev, 0xd2);
499                 if (cpuLnkFreqCap & nbLnkFreqCap & (1 << 10)) // if both 1800 MHz capable
500                 vgainfo.ulLowVoltageHTLinkFreq = 1800*100;
501         }
502
503         /* HT width. */
504         value = pci_read_config8(nb_dev, 0xcb);
505         vgainfo.usMinDownStreamHTLinkWidth = 
506         vgainfo.usMaxDownStreamHTLinkWidth = 
507         vgainfo.usMinUpStreamHTLinkWidth = 
508         vgainfo.usMaxUpStreamHTLinkWidth =
509         vgainfo.usMinHTLinkWidth =
510         vgainfo.usMaxHTLinkWidth = ht_width_lookup [extractbits(value, 0, 2)];
511
512         if (is_family0Fh()) {
513                 vgainfo.usUMASyncStartDelay = 322;
514                 vgainfo.usUMADataReturnTime = 286;
515         }
516
517         if (is_family10h()) {
518                 static u16 t0mult_lookup [] = {10, 50, 200, 2000};
519                 int t0time, t0scale;
520                 value = pci_read_config32(k8_f0, 0x16c);
521                 t0time = extractbits(value, 0, 3);
522                 t0scale = extractbits(value, 4, 5);
523                 vgainfo.usLinkStatusZeroTime = t0mult_lookup [t0scale] * t0time;
524                 vgainfo.usUMASyncStartDelay = 100;
525                 if (vgainfo.ulHTLinkFreq < 1000 * 100) { // less than 1000 MHz
526                         vgainfo.usUMADataReturnTime = 300;
527                         vgainfo.usLinkStatusZeroTime = 6 * 100;   // 6us for GH in HT1 mode
528                 }
529                 else {
530                         int lssel;
531                         value = pci_read_config32(nb_dev, 0xac);
532                         lssel = extractbits (value, 7, 8);
533                         vgainfo.usUMADataReturnTime = 1300;
534                         if (lssel == 0) vgainfo.usUMADataReturnTime = 150;
535                 }
536         }
537
538         /* Transfer the Table to VBIOS. */
539         pointer = (u32 *)&vgainfo;
540         for(i=0; i<sizeof(ATOM_INTEGRATED_SYSTEM_INFO_V2); i+=4)
541         {
542 #if (CONFIG_GFXUMA == 1)
543                 *GpuF0MMReg = 0x80000000 + uma_memory_size - 512 + i;
544 #else
545                 *GpuF0MMReg = 0x80000000 + 0x8000000 - 512 + i;
546 #endif
547                 *(GpuF0MMReg+1) = *pointer++;
548         }
549
550         /* GFX_InitLate. */
551         {
552                 u32 temp;
553                 temp = pci_read_config8(dev, 0x4);
554                 //temp &= ~1; /* CIM clears this bit. Strangely, I can'd. */
555                 temp |= 1<<1|1<<2;
556                 pci_write_config8(dev, 0x4, temp);
557
558                 // if the GFX debug bar is writable, then it has
559                 // been programmed and can be safely enabled now
560                 temp = pci_read_config32(nb_dev, 0x8c);
561
562                 // if bits 1 (intgfx_enable) and 9 (gfx_debug_bar_enable)
563                 // then enable gfx debug bar (set gxf_debug_decode_enable)
564                 if (temp & 0x202)
565                         temp |= (1 << 10);
566                 pci_write_config32(nb_dev, 0x8c, temp);
567
568         }
569
570 #ifdef DONT_TRUST_RESOURCE_ALLOCATION
571         /* NB_SetupMGMMIO. */
572
573         /* clear MMIO and CreativeMMIO. */
574         bpointer = (unsigned char *)MMIO;
575         for(i=0; i<sizeof(MMIO); i++)
576         {
577                 *bpointer = 0;
578                 bpointer++;
579         }
580         bpointer = (unsigned char *)CreativeMMIO;
581         for(i=0; i<sizeof(CreativeMMIO); i++)
582         {
583                 *bpointer = 0;
584                 bpointer++;
585         }
586
587         /* Set MMIO ranges in K8. */
588         /* Set MMIO TOM - 4G. */
589         SetMMIO(0x400<<12, 0x1000000, 0x80, &MMIO[0]);
590         /* Set MMIO for VGA Legacy FB. */
591         SetMMIO(0xa00, 0xc00, 0x80, &MMIO[0]);
592
593         /* Set MMIO for non prefetchable P2P. */
594         temp = pci_read_config32(dev0x14, 0x20);
595         Base32 = (temp & 0x0fff0) << 8;
596         Limit32 = ((temp & 0x0fff00000) + 0x100000) >> 8;
597         if(Base32 < Limit32)
598         {
599                 Status = GetCreativeMMIO(&CreativeMMIO[0]);
600                 if(Status != CIM_ERROR)
601                         SetMMIO(Base32, Limit32, 0x0, &MMIO[0]);
602         }
603         /* Set MMIO for prefetchable P2P. */
604         if(Status != CIM_ERROR)
605         {
606                 temp = pci_read_config32(dev0x14, 0x24);
607
608                 Base32 = (temp & 0x0fff0) <<8;
609                 Limit32 = ((temp & 0x0fff00000) + 0x100000) >> 8;
610                 if(Base32 < Limit32)
611                         SetMMIO(Base32, Limit32, 0x0, &MMIO[0]);
612         }
613
614         FinalizeMMIO(&MMIO[0]);
615
616         ProgramMMIO(&CreativeMMIO[0], 0, MMIO_ATTRIB_NP_ONLY);
617         ProgramMMIO(&MMIO[0], 0, MMIO_ATTRIB_NP_ONLY | MMIO_ATTRIB_BOTTOM_TO_TOP | MMIO_ATTRIB_SKIP_ZERO);
618 #endif
619
620         pci_dev_init(dev);
621
622         /* clk ind */
623         clkind_write(dev, 0x08, 0x01);
624         clkind_write(dev, 0x0C, 0x22);
625         clkind_write(dev, 0x0F, 0x0);
626         clkind_write(dev, 0x11, 0x0);
627         clkind_write(dev, 0x12, 0x0);
628         clkind_write(dev, 0x14, 0x0);
629         clkind_write(dev, 0x15, 0x0);
630         clkind_write(dev, 0x16, 0x0);
631         clkind_write(dev, 0x17, 0x0);
632         clkind_write(dev, 0x18, 0x0);
633         clkind_write(dev, 0x19, 0x0);
634         clkind_write(dev, 0x1A, 0x0);
635         clkind_write(dev, 0x1B, 0x0);
636         clkind_write(dev, 0x1C, 0x0);
637         clkind_write(dev, 0x1D, 0x0);
638         clkind_write(dev, 0x1E, 0x0);
639         clkind_write(dev, 0x26, 0x0);
640         clkind_write(dev, 0x27, 0x0);
641         clkind_write(dev, 0x28, 0x0);
642         clkind_write(dev, 0x5C, 0x0);
643 }
644
645
646 /*
647 * Set registers in RS780 and CPU to enable the internal GFX.
648 * Please refer to CIM source code and BKDG.
649 */
650
651 static void rs780_internal_gfx_enable(device_t dev)
652 {
653         u32 l_dword;
654         int i;
655         device_t nb_dev = dev_find_slot(0, 0);
656         msr_t sysmem;
657
658 #if (CONFIG_GFXUMA == 0)
659         u32 FB_Start, FB_End;
660 #endif
661
662         printk(BIOS_DEBUG, "rs780_internal_gfx_enable dev = 0x%p, nb_dev = 0x%p.\n", dev, nb_dev);
663
664         /* The system top memory in 780. */
665         sysmem = rdmsr(0xc001001a);
666         printk(BIOS_DEBUG, "Sysmem TOM = %x_%x\n", sysmem.hi, sysmem.lo);
667         pci_write_config32(nb_dev, 0x90, sysmem.lo);
668
669         sysmem = rdmsr(0xc001001D);
670         printk(BIOS_DEBUG, "Sysmem TOM2 = %x_%x\n", sysmem.hi, sysmem.lo);
671         htiu_write_index(nb_dev, 0x31, sysmem.hi);
672         htiu_write_index(nb_dev, 0x30, sysmem.lo | 1);
673
674         /* Disable external GFX and enable internal GFX. */
675         l_dword = pci_read_config32(nb_dev, 0x8c);
676         l_dword &= ~(1<<0);
677         l_dword |= 1<<1;
678         pci_write_config32(nb_dev, 0x8c, l_dword);
679
680         /* NB_SetDefaultIndexes */
681         pci_write_config32(nb_dev, 0x94, 0x7f);
682         pci_write_config32(nb_dev, 0x60, 0x7f);
683         pci_write_config32(nb_dev, 0xe0, 0);
684
685         /* NB_InitEarlyNB finished. */
686
687         /* LPC DMA Deadlock workaround? */
688         /* GFX_InitCommon*/
689         device_t k8_f0 = dev_find_slot(0, PCI_DEVFN(0x18, 0));
690         l_dword = pci_read_config32(k8_f0, 0x68);
691         l_dword &= ~(3 << 21);
692         l_dword |= (1 << 21);
693         pci_write_config32(k8_f0, 0x68, l_dword);
694
695         /* GFX_InitCommon. */
696         nbmc_write_index(nb_dev, 0x23, 0x00c00010);
697         set_nbmc_enable_bits(nb_dev, 0x16, 1<<15, 1<<15);
698         set_nbmc_enable_bits(nb_dev, 0x25, 0xffffffff, 0x111f111f);
699         set_htiu_enable_bits(nb_dev, 0x37, 1<<24, 1<<24);
700
701 #if (CONFIG_GFXUMA == 1)
702         /* GFX_InitUMA. */
703         /* Copy CPU DDR Controller to NB MC. */
704         device_t k8_f1 = dev_find_slot(0, PCI_DEVFN(0x18, 1));
705         device_t k8_f2 = dev_find_slot(0, PCI_DEVFN(0x18, 2));
706         device_t k8_f4 = dev_find_slot(0, PCI_DEVFN(0x18, 4));
707         for (i = 0; i < 12; i++)
708         {
709                 l_dword = pci_read_config32(k8_f2, 0x40 + i * 4);
710                 nbmc_write_index(nb_dev, 0x30 + i, l_dword);
711         }
712
713         l_dword = pci_read_config32(k8_f2, 0x80);
714         nbmc_write_index(nb_dev, 0x3c, l_dword);
715         l_dword = pci_read_config32(k8_f2, 0x94);
716         set_nbmc_enable_bits(nb_dev, 0x3c, 0, !!(l_dword & (1<<22))<<16);
717         set_nbmc_enable_bits(nb_dev, 0x3c, 0, !!(l_dword & (1<< 8))<<17);
718         l_dword = pci_read_config32(k8_f2, 0x90);
719         set_nbmc_enable_bits(nb_dev, 0x3c, 0, !!(l_dword & (1<<10))<<18);
720    if (is_family10h())
721    {
722            for (i = 0; i < 12; i++)
723            {
724                    l_dword = pci_read_config32(k8_f2, 0x140 + i * 4);
725                    nbmc_write_index(nb_dev, 0x3d + i, l_dword);
726            }
727
728            l_dword = pci_read_config32(k8_f2, 0x180);
729            nbmc_write_index(nb_dev, 0x49, l_dword);
730            l_dword = pci_read_config32(k8_f2, 0x194);
731            set_nbmc_enable_bits(nb_dev, 0x49, 0, !!(l_dword & (1<<22))<<16);
732            set_nbmc_enable_bits(nb_dev, 0x49, 0, !!(l_dword & (1<< 8))<<17);
733            l_dword = pci_read_config32(k8_f2, 0x190);
734            set_nbmc_enable_bits(nb_dev, 0x49, 0, !!(l_dword & (1<<10))<<18);
735
736            l_dword = pci_read_config32(k8_f2, 0x110);
737            nbmc_write_index(nb_dev, 0x4a, l_dword);
738            l_dword = pci_read_config32(k8_f2, 0x114);
739            nbmc_write_index(nb_dev, 0x4b, l_dword);
740            l_dword = pci_read_config32(k8_f4, 0x44);
741            set_nbmc_enable_bits(nb_dev, 0x4a, 0, !!(l_dword & (1<<22))<<24);
742            l_dword = pci_read_config32(k8_f1, 0x40);
743            nbmc_write_index(nb_dev, 0x4c, l_dword);
744            l_dword = pci_read_config32(k8_f1, 0xf0);
745            nbmc_write_index(nb_dev, 0x4d, l_dword);
746    }
747
748
749         /* Set UMA in the 780 side. */
750         /* UMA start address, size. */
751         /* The UMA starts at 0xC0000000 of internal RS780 address space
752             [31:16] addr of last byte | [31:16] addr of first byte
753         */
754         nbmc_write_index(nb_dev, 0x10, ((uma_memory_size - 1 + 0xC0000000) & (~0xffff)) | 0xc000);
755         nbmc_write_index(nb_dev, 0x11, uma_memory_base);
756         nbmc_write_index(nb_dev, 0x12, 0);
757         nbmc_write_index(nb_dev, 0xf0, uma_memory_size >> 20);
758         /* GFX_InitUMA finished. */
759 #else
760         /* GFX_InitSP. */
761         /* SP memory:Hynix HY5TQ1G631ZNFP. 128MB = 64M * 16. 667MHz. DDR3. */
762
763         /* Enable Async mode. */
764         set_nbmc_enable_bits(nb_dev, 0x06, 7<<8, 1<<8);
765         set_nbmc_enable_bits(nb_dev, 0x08, 1<<10, 0);
766         /* The last item in AsynchMclkTaskFileIndex. Why? */
767         /* MC_MPLL_CONTROL2. */
768         nbmc_write_index(nb_dev, 0x07, 0x40100028);
769         /* MC_MPLL_DIV_CONTROL. */
770         nbmc_write_index(nb_dev, 0x0b, 0x00000028);
771         /* MC_MPLL_FREQ_CONTROL. */
772         set_nbmc_enable_bits(nb_dev, 0x09, 3<<12|15<<16|15<<8, 1<<12|4<<16|0<<8);
773         /* MC_MPLL_CONTROL3. For PM. */
774         set_nbmc_enable_bits(nb_dev, 0x08, 0xff<<13, 1<<13|1<<18);
775         /* MPLL_CAL_TRIGGER. */
776         set_nbmc_enable_bits(nb_dev, 0x06, 0, 1<<0);
777         udelay(200); /* time is long enough? */
778         set_nbmc_enable_bits(nb_dev, 0x06, 0, 1<<1);
779         set_nbmc_enable_bits(nb_dev, 0x06, 1<<0, 0);
780         /* MCLK_SRC_USE_MPLL. */
781         set_nbmc_enable_bits(nb_dev, 0x02, 0, 1<<20);
782
783         /* Pre Init MC. */
784         nbmc_write_index(nb_dev, 0x01, 0x88108280);
785         set_nbmc_enable_bits(nb_dev, 0x02, ~(1<<20), 0x00030200);
786         nbmc_write_index(nb_dev, 0x04, 0x08881018);
787         nbmc_write_index(nb_dev, 0x05, 0x000000bb);
788         nbmc_write_index(nb_dev, 0x0c, 0x0f00001f);
789         nbmc_write_index(nb_dev, 0xa1, 0x01f10000);
790         /* MCA_INIT_DLL_PM. */
791         set_nbmc_enable_bits(nb_dev, 0xc9, 1<<24, 1<<24);
792         nbmc_write_index(nb_dev, 0xa2, 0x74f20000);
793         nbmc_write_index(nb_dev, 0xa3, 0x8af30000);
794         nbmc_write_index(nb_dev, 0xaf, 0x47d0a41c);
795         nbmc_write_index(nb_dev, 0xb0, 0x88800130);
796         nbmc_write_index(nb_dev, 0xb1, 0x00000040);
797         nbmc_write_index(nb_dev, 0xb4, 0x41247000);
798         nbmc_write_index(nb_dev, 0xb5, 0x00066664);
799         nbmc_write_index(nb_dev, 0xb6, 0x00000022);
800         nbmc_write_index(nb_dev, 0xb7, 0x00000044);
801         nbmc_write_index(nb_dev, 0xb8, 0xbbbbbbbb);
802         nbmc_write_index(nb_dev, 0xb9, 0xbbbbbbbb);
803         nbmc_write_index(nb_dev, 0xba, 0x55555555);
804         nbmc_write_index(nb_dev, 0xc1, 0x00000000);
805         nbmc_write_index(nb_dev, 0xc2, 0x00000000);
806         nbmc_write_index(nb_dev, 0xc3, 0x80006b00);
807         nbmc_write_index(nb_dev, 0xc4, 0x00066664);
808         nbmc_write_index(nb_dev, 0xc5, 0x00000000);
809         nbmc_write_index(nb_dev, 0xd2, 0x00000022);
810         nbmc_write_index(nb_dev, 0xd3, 0x00000044);
811         nbmc_write_index(nb_dev, 0xd6, 0x00050005);
812         nbmc_write_index(nb_dev, 0xd7, 0x00000000);
813         nbmc_write_index(nb_dev, 0xd8, 0x00700070);
814         nbmc_write_index(nb_dev, 0xd9, 0x00700070);
815         nbmc_write_index(nb_dev, 0xe0, 0x00200020);
816         nbmc_write_index(nb_dev, 0xe1, 0x00200020);
817         nbmc_write_index(nb_dev, 0xe8, 0x00200020);
818         nbmc_write_index(nb_dev, 0xe9, 0x00200020);
819         nbmc_write_index(nb_dev, 0xe0, 0x00180018);
820         nbmc_write_index(nb_dev, 0xe1, 0x00180018);
821         nbmc_write_index(nb_dev, 0xe8, 0x00180018);
822         nbmc_write_index(nb_dev, 0xe9, 0x00180018);
823
824         /* Misc options. */
825         /* Memory Termination. */
826         set_nbmc_enable_bits(nb_dev, 0xa1, 0x0ff, 0x044);
827         set_nbmc_enable_bits(nb_dev, 0xb4, 0xf00, 0xb00);
828 #if 0
829         /* Controller Termation. */
830         set_nbmc_enable_bits(nb_dev, 0xb1, 0x77770000, 0x77770000);
831 #endif
832
833         /* OEM Init MC. 667MHz. */
834         nbmc_write_index(nb_dev, 0xa8, 0x7a5aaa78);
835         nbmc_write_index(nb_dev, 0xa9, 0x514a2319);
836         nbmc_write_index(nb_dev, 0xaa, 0x54400520);
837         nbmc_write_index(nb_dev, 0xab, 0x441460ff);
838         nbmc_write_index(nb_dev, 0xa0, 0x20f00a48);
839         set_nbmc_enable_bits(nb_dev, 0xa2, ~(0xffffffc7), 0x10);
840         nbmc_write_index(nb_dev, 0xb2, 0x00000303);
841         set_nbmc_enable_bits(nb_dev, 0xb1, ~(0xffffff70), 0x45);
842         /* Do it later. */
843         /* set_nbmc_enable_bits(nb_dev, 0xac, ~(0xfffffff0), 0x0b); */
844
845         /* Init PM timing. */
846         for(i=0; i<4; i++)
847         {
848                 l_dword = nbmc_read_index(nb_dev, 0xa0+i);
849                 nbmc_write_index(nb_dev, 0xc8+i, l_dword);
850         }
851         for(i=0; i<4; i++)
852         {
853                 l_dword = nbmc_read_index(nb_dev, 0xa8+i);
854                 nbmc_write_index(nb_dev, 0xcc+i, l_dword);
855         }
856         l_dword = nbmc_read_index(nb_dev, 0xb1);
857         set_nbmc_enable_bits(nb_dev, 0xc8, 0xff<<24, ((l_dword&0x0f)<<24)|((l_dword&0xf00)<<20));
858
859         /* Init MC FB. */
860         /* FB_Start = ; FB_End = ; iSpSize = 0x0080, 128MB. */
861         nbmc_write_index(nb_dev, 0x11, 0x40000000);
862         FB_Start = 0xc00 + 0x080;
863         FB_End = 0xc00 + 0x080;
864         nbmc_write_index(nb_dev, 0x10, (((FB_End&0xfff)<<20)-0x10000)|(((FB_Start&0xfff)-0x080)<<4));
865         set_nbmc_enable_bits(nb_dev, 0x0d, ~0x000ffff0, (FB_Start&0xfff)<<20);
866         nbmc_write_index(nb_dev, 0x0f, 0);
867         nbmc_write_index(nb_dev, 0x0e, (FB_Start&0xfff)|(0xaaaa<<12));
868 #endif
869
870         /* GFX_InitSP finished. */
871 }
872
873 static struct pci_operations lops_pci = {
874         .set_subsystem = pci_dev_set_subsystem,
875 };
876
877 static struct device_operations pcie_ops = {
878         .read_resources = rs780_gfx_read_resources,
879         .set_resources = pci_dev_set_resources,
880         .enable_resources = pci_dev_enable_resources,
881         .init = internal_gfx_pci_dev_init,      /* The option ROM initializes the device. rs780_gfx_init, */
882         .scan_bus = 0,
883         .enable = rs780_internal_gfx_enable,
884         .ops_pci = &lops_pci,
885 };
886
887 /*
888  * We should list all of them here.
889  * */
890 static const struct pci_driver pcie_driver_780 __pci_driver = {
891         .ops = &pcie_ops,
892         .vendor = PCI_VENDOR_ID_ATI,
893         .device = PCI_DEVICE_ID_ATI_RS780_INT_GFX,
894 };
895
896 static const struct pci_driver pcie_driver_780c __pci_driver = {
897         .ops = &pcie_ops,
898         .vendor = PCI_VENDOR_ID_ATI,
899         .device = PCI_DEVICE_ID_ATI_RS780C_INT_GFX,
900 };
901 static const struct pci_driver pcie_driver_780m __pci_driver = {
902         .ops = &pcie_ops,
903         .vendor = PCI_VENDOR_ID_ATI,
904         .device = PCI_DEVICE_ID_ATI_RS780M_INT_GFX,
905 };
906 static const struct pci_driver pcie_driver_780mc __pci_driver = {
907         .ops = &pcie_ops,
908         .vendor = PCI_VENDOR_ID_ATI,
909         .device = PCI_DEVICE_ID_ATI_RS780MC_INT_GFX,
910 };
911 static const struct pci_driver pcie_driver_780e __pci_driver = {
912         .ops = &pcie_ops,
913         .vendor = PCI_VENDOR_ID_ATI,
914         .device = PCI_DEVICE_ID_ATI_RS780E_INT_GFX,
915 };
916 static const struct pci_driver pcie_driver_785g __pci_driver = {
917         .ops = &pcie_ops,
918         .vendor = PCI_VENDOR_ID_ATI,
919         .device = PCI_DEVICE_ID_ATI_RS785G_INT_GFX,
920 };
921 static const struct pci_driver pcie_driver_785c __pci_driver = {
922         .ops = &pcie_ops,
923         .vendor = PCI_VENDOR_ID_ATI,
924         .device = PCI_DEVICE_ID_ATI_RS785C_INT_GFX,
925 };
926 static const struct pci_driver pcie_driver_785m __pci_driver = {
927         .ops = &pcie_ops,
928         .vendor = PCI_VENDOR_ID_ATI,
929         .device = PCI_DEVICE_ID_ATI_RS785M_INT_GFX,
930 };
931 static const struct pci_driver pcie_driver_785mc __pci_driver = {
932         .ops = &pcie_ops,
933         .vendor = PCI_VENDOR_ID_ATI,
934         .device = PCI_DEVICE_ID_ATI_RS785MC_INT_GFX,
935 };
936 static const struct pci_driver pcie_driver_785d __pci_driver = {
937         .ops = &pcie_ops,
938         .vendor = PCI_VENDOR_ID_ATI,
939         .device = PCI_DEVICE_ID_ATI_RS785D_INT_GFX,
940 };
941
942 /* step 12 ~ step 14 from rpr */
943 static void single_port_configuration(device_t nb_dev, device_t dev)
944 {
945         u8 result, width;
946         u32 reg32;
947         struct southbridge_amd_rs780_config *cfg =
948             (struct southbridge_amd_rs780_config *)nb_dev->chip_info;
949
950         printk(BIOS_DEBUG, "rs780_gfx_init single_port_configuration.\n");
951
952         /* step 12 training, releases hold training for GFX port 0 (device 2) */
953         PcieReleasePortTraining(nb_dev, dev, 2);
954         result = PcieTrainPort(nb_dev, dev, 2);
955         printk(BIOS_DEBUG, "rs780_gfx_init single_port_configuration step12.\n");
956
957         /* step 13 Power Down Control */
958         /* step 13.1 Enables powering down transmitter and receiver pads along with PLL macros. */
959         set_pcie_enable_bits(nb_dev, 0x40, 1 << 0, 1 << 0);
960
961         /* step 13.a Link Training was NOT successful */
962         if (!result) {
963                 set_nbmisc_enable_bits(nb_dev, 0x8, 0, 0x3 << 4); /* prevent from training. */
964                 set_nbmisc_enable_bits(nb_dev, 0xc, 0, 0x3 << 2); /* hide the GFX bridge. */
965                 if (cfg->gfx_tmds)
966                         nbpcie_ind_write_index(nb_dev, 0x65, 0xccf0f0);
967                 else {
968                         nbpcie_ind_write_index(nb_dev, 0x65, 0xffffffff);
969                         set_nbmisc_enable_bits(nb_dev, 0x7, 1 << 3, 1 << 3);
970                 }
971         } else {                /* step 13.b Link Training was successful */
972                 set_pcie_enable_bits(dev, 0xA2, 0xFF, 0x1);
973                 reg32 = nbpcie_p_read_index(dev, 0x29);
974                 width = reg32 & 0xFF;
975                 printk(BIOS_DEBUG, "GFX Inactive Lanes = 0x%x.\n", width);
976                 switch (width) {
977                 case 1:
978                 case 2:
979                         nbpcie_ind_write_index(nb_dev, 0x65,
980                                                cfg->gfx_lane_reversal ? 0x7f7f : 0xccfefe);
981                         break;
982                 case 4:
983                         nbpcie_ind_write_index(nb_dev, 0x65,
984                                                cfg->gfx_lane_reversal ? 0x3f3f : 0xccfcfc);
985                         break;
986                 case 8:
987                         nbpcie_ind_write_index(nb_dev, 0x65,
988                                                cfg->gfx_lane_reversal ? 0x0f0f : 0xccf0f0);
989                         break;
990                 }
991         }
992         printk(BIOS_DEBUG, "rs780_gfx_init single_port_configuration step13.\n");
993
994         /* step 14 Reset Enumeration Timer, disables the shortening of the enumeration timer */
995         set_pcie_enable_bits(dev, 0x70, 1 << 19, 1 << 19);
996         printk(BIOS_DEBUG, "rs780_gfx_init single_port_configuration step14.\n");
997 }
998
999 static void dual_port_configuration(device_t nb_dev, device_t dev)
1000 {
1001         u8 result, width;
1002         u32 reg32, dev_ind = dev->path.pci.devfn >> 3;
1003         struct southbridge_amd_rs780_config *cfg =
1004                     (struct southbridge_amd_rs780_config *)nb_dev->chip_info;
1005
1006         /* 5.4.1.2 Dual Port Configuration */
1007         set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 1 << 31);
1008         set_nbmisc_enable_bits(nb_dev, 0x08, 0xF << 8, 0x5 << 8);
1009         set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 0 << 31);
1010
1011         /* 5.7. Training for Device 2 */
1012         /* 5.7.1. Releases hold training for GFX port 0 (device 2) */
1013         PcieReleasePortTraining(nb_dev, dev, dev_ind);
1014         /* 5.7.2- 5.7.9. PCIE Link Training Sequence */
1015         result = PcieTrainPort(nb_dev, dev, dev_ind);
1016
1017         /* Power Down Control for Device 2 */
1018         /* Link Training was NOT successful */
1019         if (!result) {
1020                 /* Powers down all lanes for port A */
1021                 /* nbpcie_ind_write_index(nb_dev, 0x65, 0x0f0f); */
1022                 /* Note: I have to disable the slot where there isnt a device,
1023                  * otherwise the system will hang. I dont know why. */
1024                 set_nbmisc_enable_bits(nb_dev, 0x0c, 1 << dev_ind, 1 << dev_ind);
1025
1026         } else {                /* step 16.b Link Training was successful */
1027                 reg32 = nbpcie_p_read_index(dev, 0xa2);
1028                 width = (reg32 >> 4) & 0x7;
1029                 printk(BIOS_DEBUG, "GFX LC_LINK_WIDTH = 0x%x.\n", width);
1030                 switch (width) {
1031                 case 1:
1032                 case 2:
1033                         nbpcie_ind_write_index(nb_dev, 0x65,
1034                                                cfg->gfx_lane_reversal ? 0x0707 : 0x0e0e);
1035                         break;
1036                 case 4:
1037                         nbpcie_ind_write_index(nb_dev, 0x65,
1038                                                cfg->gfx_lane_reversal ? 0x0303 : 0x0c0c);
1039                         break;
1040                 }
1041         }
1042 }
1043
1044 /* For single port GFX configuration Only
1045 * width:
1046 *       000 = x16
1047 *       001 = x1
1048 *       010 = x2
1049 *       011 = x4
1050 *       100 = x8
1051 *       101 = x12 (not supported)
1052 *       110 = x16
1053 */
1054 static void dynamic_link_width_control(device_t nb_dev, device_t dev, u8 width)
1055 {
1056         u32 reg32;
1057         device_t sb_dev;
1058         struct southbridge_amd_rs780_config *cfg =
1059             (struct southbridge_amd_rs780_config *)nb_dev->chip_info;
1060
1061         /* step 5.9.1.1 */
1062         reg32 = nbpcie_p_read_index(dev, 0xa2);
1063
1064         /* step 5.9.1.2 */
1065         set_pcie_enable_bits(nb_dev, 0x40, 1 << 0, 1 << 0);
1066         /* step 5.9.1.3 */
1067         set_pcie_enable_bits(dev, 0xa2, 3 << 0, width << 0);
1068         /* step 5.9.1.4 */
1069         set_pcie_enable_bits(dev, 0xa2, 1 << 8, 1 << 8);
1070         /* step 5.9.2.4 */
1071         if (0 == cfg->gfx_reconfiguration)
1072                 set_pcie_enable_bits(dev, 0xa2, 1 << 11, 1 << 11);
1073
1074         /* step 5.9.1.5 */
1075         do {
1076                 reg32 = nbpcie_p_read_index(dev, 0xa2);
1077         }
1078         while (reg32 & 0x100);
1079
1080         /* step 5.9.1.6 */
1081         sb_dev = dev_find_slot(0, PCI_DEVFN(8, 0));
1082         do {
1083                 reg32 = pci_ext_read_config32(nb_dev, sb_dev,
1084                                           PCIE_VC0_RESOURCE_STATUS);
1085         } while (reg32 & VC_NEGOTIATION_PENDING);
1086
1087         /* step 5.9.1.7 */
1088         reg32 = nbpcie_p_read_index(dev, 0xa2);
1089         if (((reg32 & 0x70) >> 4) != 0x6) {
1090                 /* the unused lanes should be powered off. */
1091         }
1092
1093         /* step 5.9.1.8 */
1094         set_pcie_enable_bits(nb_dev, 0x40, 1 << 0, 0 << 0);
1095 }
1096
1097 /*
1098 * GFX Core initialization, dev2, dev3
1099 */
1100 void rs780_gfx_init(device_t nb_dev, device_t dev, u32 port)
1101 {
1102         u32 reg32;
1103         struct southbridge_amd_rs780_config *cfg =
1104             (struct southbridge_amd_rs780_config *)nb_dev->chip_info;
1105
1106         printk(BIOS_DEBUG, "rs780_gfx_init, nb_dev=0x%p, dev=0x%p, port=0x%x.\n",
1107                     nb_dev, dev, port);
1108
1109         /* GFX Core Initialization */
1110         //if (port == 2) return;
1111
1112         /* step 2, TMDS, (only need if CMOS option is enabled) */
1113         if (cfg->gfx_tmds) {
1114         }
1115
1116 #if 1                           /* external clock mode */
1117         /* table 5-22, 5.9.1. REFCLK */
1118         /* 5.9.1.1. Disables the GFX REFCLK transmitter so that the GFX
1119          * REFCLK PAD can be driven by an external source. */
1120         /* 5.9.1.2. Enables GFX REFCLK receiver to receive the REFCLK from an external source. */
1121         set_nbmisc_enable_bits(nb_dev, 0x38, 1 << 29 | 1 << 28 | 1 << 26, 1 << 28);
1122
1123         /* 5.9.1.3 Selects the GFX REFCLK to be the source for PLL A. */
1124         /* 5.9.1.4 Selects the GFX REFCLK to be the source for PLL B. */
1125         /* 5.9.1.5 Selects the GFX REFCLK to be the source for PLL C. */
1126         set_nbmisc_enable_bits(nb_dev, 0x28, 3 << 6 | 3 << 8 | 3 << 10,
1127                                1 << 6 | 1 << 8 | 1 << 10);
1128         reg32 = nbmisc_read_index(nb_dev, 0x28);
1129         printk(BIOS_DEBUG, "misc 28 = %x\n", reg32);
1130
1131         /* 5.9.1.6.Selects the single ended GFX REFCLK to be the source for core logic. */
1132         set_nbmisc_enable_bits(nb_dev, 0x6C, 1 << 31, 1 << 31);
1133 #else                           /* internal clock mode */
1134         /* table 5-23, 5.9.1. REFCLK */
1135         /* 5.9.1.1. Enables the GFX REFCLK transmitter so that the GFX
1136          * REFCLK PAD can be driven by the SB REFCLK. */
1137         /* 5.9.1.2. Disables GFX REFCLK receiver from receiving the
1138          * REFCLK from an external source.*/
1139         set_nbmisc_enable_bits(nb_dev, 0x38, 1 << 29 | 1 << 28, 1 << 29 | 0 << 28);
1140
1141         /* 5.9.1.3 Selects the GFX REFCLK to be the source for PLL A. */
1142         /* 5.9.1.4 Selects the GFX REFCLK to be the source for PLL B. */
1143         /* 5.9.1.5 Selects the GFX REFCLK to be the source for PLL C. */
1144         set_nbmisc_enable_bits(nb_dev, 0x28, 3 << 6 | 3 << 8 | 3 << 10,
1145                                0);
1146         reg32 = nbmisc_read_index(nb_dev, 0x28);
1147         printk(BIOS_DEBUG, "misc 28 = %x\n", reg32);
1148
1149         /* 5.9.1.6.Selects the single ended GFX REFCLK to be the source for core logic. */
1150         set_nbmisc_enable_bits(nb_dev, 0x6C, 1 << 31, 0 << 31);
1151 #endif
1152
1153         /* step 5.9.3, GFX overclocking, (only need if CMOS option is enabled) */
1154         /* 5.9.3.1. Increases PLL BW for 6G operation.*/
1155         /* set_nbmisc_enable_bits(nb_dev, 0x36, 0x3FF << 4, 0xB5 << 4); */
1156         /* skip */
1157
1158         /* step 5.9.4, reset the GFX link */
1159         /* step 5.9.4.1 asserts both calibration reset and global reset */
1160         set_nbmisc_enable_bits(nb_dev, 0x8, 0x3 << 14, 0x3 << 14);
1161
1162         /* step 5.9.4.2 de-asserts calibration reset */
1163         set_nbmisc_enable_bits(nb_dev, 0x8, 1 << 14, 0 << 14);
1164
1165         /* step 5.9.4.3 wait for at least 200us */
1166         udelay(300);
1167
1168         /* step 5.9.4.4 de-asserts global reset */
1169         set_nbmisc_enable_bits(nb_dev, 0x8, 1 << 15, 0 << 15);
1170
1171         /* 5.9.5 Reset PCIE_GFX Slot */
1172         /* It is done in mainboard.c */
1173         set_pcie_reset();
1174         mdelay(1);
1175         set_pcie_dereset();
1176
1177         /* step 5.9.8 program PCIE memory mapped configuration space */
1178         /* done by enable_pci_bar3() before */
1179
1180         /* step 7 compliance state, (only need if CMOS option is enabled) */
1181         /* the compliance stete is just for test. refer to 4.2.5.2 of PCIe specification */
1182         if (cfg->gfx_compliance) {
1183                 /* force compliance */
1184                 set_nbmisc_enable_bits(nb_dev, 0x32, 1 << 6, 1 << 6);
1185                 /* release hold training for device 2. GFX initialization is done. */
1186                 set_nbmisc_enable_bits(nb_dev, 0x8, 1 << 4, 0 << 4);
1187                 dynamic_link_width_control(nb_dev, dev, cfg->gfx_link_width);
1188                 printk(BIOS_DEBUG, "rs780_gfx_init step7.\n");
1189                 return;
1190         }
1191
1192         /* 5.9.12 Core Initialization. */
1193         /* 5.9.12.1 sets RCB timeout to be 25ms */
1194         /* 5.9.12.2. RCB Cpl timeout on link down. */
1195         set_pcie_enable_bits(dev, 0x70, 7 << 16 | 1 << 19, 4 << 16 | 1 << 19);
1196         printk(BIOS_DEBUG, "rs780_gfx_init step5.9.12.1.\n");
1197
1198         /* step 5.9.12.3 disables slave ordering logic */
1199         set_pcie_enable_bits(nb_dev, 0x20, 1 << 8, 1 << 8);
1200         printk(BIOS_DEBUG, "rs780_gfx_init step5.9.12.3.\n");
1201
1202         /* step 5.9.12.4 sets DMA payload size to 64 bytes */
1203         set_pcie_enable_bits(nb_dev, 0x10, 7 << 10, 4 << 10);
1204         /* 5.9.12.5. Blocks DMA traffic during C3 state. */
1205         set_pcie_enable_bits(dev, 0x10, 1 << 0, 0 << 0);
1206
1207         /* 5.9.12.6. Disables RC ordering logic */
1208         set_pcie_enable_bits(nb_dev, 0x20, 1 << 9, 1 << 9);
1209
1210         /* Enabels TLP flushing. */
1211         /* Note: It is got from RS690. The system will hang without this action. */
1212         set_pcie_enable_bits(dev, 0x20, 1 << 19, 0 << 19);
1213
1214         /* 5.9.12.7. Ignores DLLPs during L1 so that txclk can be turned off */
1215         set_pcie_enable_bits(nb_dev, 0x2, 1 << 0, 1 << 0);
1216
1217         /* 5.9.12.8 Prevents LC to go from L0 to Rcv_L0s if L1 is armed. */
1218         set_pcie_enable_bits(dev, 0xA1, 1 << 11, 1 << 11);
1219
1220         /* 5.9.12.9 CMGOOD_OVERRIDE for end point initiated lane degradation. */
1221         set_nbmisc_enable_bits(nb_dev, 0x6a, 1 << 17, 1 << 17);
1222         printk(BIOS_DEBUG, "rs780_gfx_init step5.9.12.9.\n");
1223
1224         /* 5.9.12.10 Sets the timer in Config state from 20us to */
1225         /* 5.9.12.11 De-asserts RX_EN in L0s. */
1226         /* 5.9.12.12 Enables de-assertion of PG2RX_CR_EN to lock clock
1227          * recovery parameter when lane is in electrical idle in L0s.*/
1228         set_pcie_enable_bits(dev, 0xB1, 1 << 23 | 1 << 19 | 1 << 28, 1 << 23 | 1 << 19 | 1 << 28);
1229
1230         /* 5.9.12.13. Turns off offset calibration. */
1231         /* 5.9.12.14. Enables Rx Clock gating in CDR */
1232         set_nbmisc_enable_bits(nb_dev, 0x34, 1 << 10/* | 1 << 22 */, 1 << 10/* | 1 << 22 */);
1233
1234         /* 5.9.12.15. Sets number of TX Clocks to drain TX Pipe to 3. */
1235         set_pcie_enable_bits(dev, 0xA0, 0xF << 4, 3 << 4);
1236
1237         /* 5.9.12.16. Lets PI use Electrical Idle from PHY when
1238          * turning off PLL in L1 at Gen2 speed instead Inferred Electrical Idle. */
1239         set_pcie_enable_bits(nb_dev, 0x40, 3 << 14, 2 << 14);
1240
1241         /* 5.9.12.17. Prevents the Electrical Idle from causing a transition from Rcv_L0 to Rcv_L0s. */
1242         set_pcie_enable_bits(dev, 0xB1, 1 << 20, 1 << 20);
1243
1244         /* 5.9.12.18. Prevents the LTSSM from going to Rcv_L0s if it has already
1245          * acknowledged a request to go to L1. */
1246         set_pcie_enable_bits(dev, 0xA1, 1 << 11, 1 << 11);
1247
1248         /* 5.9.12.19. LDSK only taking deskew on deskewing error detect */
1249         set_pcie_enable_bits(nb_dev, 0x40, 1 << 28, 0 << 28);
1250
1251         /* 5.9.12.20. Bypasses lane de-skew logic if in x1 */
1252         set_pcie_enable_bits(nb_dev, 0xC2, 1 << 14, 1 << 14);
1253
1254         /* 5.9.12.21. Sets Electrical Idle Threshold. */
1255         set_nbmisc_enable_bits(nb_dev, 0x35, 3 << 21, 2 << 21);
1256
1257         /* 5.9.12.22. Advertises -6 dB de-emphasis value in TS1 Data Rate Identifier
1258          * Only if CMOS Option in section. skip */
1259
1260         /* 5.9.12.23. Disables GEN2 capability of the device. */
1261         set_pcie_enable_bits(dev, 0xA4, 1 << 0, 0 << 0);
1262
1263         /* 5.9.12.24.Disables advertising Upconfigure Support. */
1264         set_pcie_enable_bits(dev, 0xA2, 1 << 13, 1 << 13);
1265
1266         /* 5.9.12.25. No comment in RPR. */
1267         set_nbmisc_enable_bits(nb_dev, 0x39, 1 << 10, 0 << 10);
1268
1269         /* 5.9.12.26. This capacity is required since links wider than x1 and/or multiple link
1270          * speed are supported */
1271         set_pcie_enable_bits(nb_dev, 0xC1, 1 << 0, 1 << 0);
1272
1273         /* 5.9.12.27. Enables NVG86 ECO. A13 above only. */
1274         if (get_nb_rev(nb_dev) == REV_RS780_A12)                        /* A12 */
1275                 set_pcie_enable_bits(dev, 0x02, 1 << 11, 1 << 11);
1276
1277         /* 5.9.12.28 Hides and disables the completion timeout method. */
1278         set_pcie_enable_bits(nb_dev, 0xC1, 1 << 2, 0 << 2);
1279
1280         /* 5.9.12.29. Use the bif_core de-emphasis strength by default. */
1281         /* set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 28, 1 << 28); */
1282
1283         /* 5.9.12.30. Set TX arbitration algorithm to round robin */
1284         set_pcie_enable_bits(nb_dev, 0x1C,
1285                              1 << 0 | 0x1F << 1 | 0x1F << 6,
1286                              1 << 0 | 0x04 << 1 | 0x04 << 6);
1287
1288         /* Single-port/Dual-port configureation. */
1289         switch (cfg->gfx_dual_slot) {
1290         case 0:
1291                 /* step 1, lane reversal (only need if build config option is enabled) */
1292                 if (cfg->gfx_lane_reversal) {
1293                         set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 1 << 31);
1294                         set_nbmisc_enable_bits(nb_dev, 0x33, 1 << 2, 1 << 2);
1295                         set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 0 << 31);
1296                 }
1297                 printk(BIOS_DEBUG, "rs780_gfx_init step1.\n");
1298
1299                 printk(BIOS_DEBUG, "device = %x\n", dev->path.pci.devfn >> 3);
1300                 if((dev->path.pci.devfn >> 3) == 2) {
1301                         single_port_configuration(nb_dev, dev);
1302                 } else {
1303                         set_nbmisc_enable_bits(nb_dev, 0xc, 0, 0x2 << 2); /* hide the GFX bridge. */
1304                         printk(BIOS_INFO, "Single port. Do nothing.\n"); // If dev3
1305                 }
1306
1307                 break;
1308         case 1:
1309                 /* step 1, lane reversal (only need if build config option is enabled) */
1310                 if (cfg->gfx_lane_reversal) {
1311                         set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 1 << 31);
1312                         set_nbmisc_enable_bits(nb_dev, 0x33, 1 << 2, 1 << 2);
1313                         set_nbmisc_enable_bits(nb_dev, 0x33, 1 << 3, 1 << 3);
1314                         set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 0 << 31);
1315                 }
1316                 printk(BIOS_DEBUG, "rs780_gfx_init step1.\n");
1317                 /* step 1.1, dual-slot gfx configuration (only need if CMOS option is enabled) */
1318                 /* AMD calls the configuration CrossFire */
1319                 set_nbmisc_enable_bits(nb_dev, 0x0, 0xf << 8, 5 << 8);
1320                 printk(BIOS_DEBUG, "rs780_gfx_init step2.\n");
1321
1322                 printk(BIOS_DEBUG, "device = %x\n", dev->path.pci.devfn >> 3);
1323                 dual_port_configuration(nb_dev, dev);
1324                 break;
1325
1326         case 2:
1327                 if(is_dev3_present()){
1328                         /* step 1, lane reversal (only need if CMOS option is enabled) */
1329                         if (cfg->gfx_lane_reversal) {
1330                                 set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 1 << 31);
1331                                 set_nbmisc_enable_bits(nb_dev, 0x33, 1 << 2, 1 << 2);
1332                                 set_nbmisc_enable_bits(nb_dev, 0x33, 1 << 3, 1 << 3);
1333                                 set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 0 << 31);
1334                         }
1335                         printk(BIOS_DEBUG, "rs780_gfx_init step1.\n");
1336                         /* step 1.1, dual-slot gfx configuration (only need if CMOS option is enabled) */
1337                         /* AMD calls the configuration CrossFire */
1338                         set_nbmisc_enable_bits(nb_dev, 0x0, 0xf << 8, 5 << 8);
1339                         printk(BIOS_DEBUG, "rs780_gfx_init step2.\n");
1340
1341
1342                         printk(BIOS_DEBUG, "device = %x\n", dev->path.pci.devfn >> 3);
1343                         dual_port_configuration(nb_dev, dev);
1344
1345                 }else{
1346                         if (cfg->gfx_lane_reversal) {
1347                                 set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 1 << 31);
1348                                 set_nbmisc_enable_bits(nb_dev, 0x33, 1 << 2, 1 << 2);
1349                                 set_nbmisc_enable_bits(nb_dev, 0x36, 1 << 31, 0 << 31);
1350                         }
1351                         printk(BIOS_DEBUG, "rs780_gfx_init step1.\n");
1352
1353                         if((dev->path.pci.devfn >> 3) == 2)
1354                                 single_port_configuration(nb_dev, dev);
1355                         else{
1356                                 set_nbmisc_enable_bits(nb_dev, 0xc, 0, 0x2 << 2); /* hide the GFX bridge. */
1357                                 printk(BIOS_DEBUG, "If dev3.., single port. Do nothing.\n");
1358                             }
1359                 }
1360                 break;
1361
1362         default:
1363                 printk(BIOS_INFO, "Incorrect configuration of external GFX slot.\n");
1364                 break;
1365         }
1366 }